对大数据的认识及理解
读《大数据时代》有感:大数据时代的取舍
在《大数据时代》的一开头,讲了这样一则小故事,尤为发人深省——作者维克托的继父去世的时候留下了16000张收藏的照片,这些照片全都是他几十年来周游世界的影像记录。因为体量庞大,维克托选择保留其中的一部分。如何裁决这么多幅照片呢?最后被选出的53张照片具有两个共同特点:1.照片上有认识或可能认识的人;2.照片拍摄得很漂亮。这种取舍是严格按照维克托所设定的程序进行的,其背后投射出人类对大数据时代未来的思考——在记忆成为常态的时代里,什么会是遗忘的例外?说得更玄一些,大数据时代,人类应该如何构建积极而安全的未来
《大数据时代》书分三部分,分别是商业变革、管理变革和大思维变革。在翻开这本书之前,我们不妨拿这三部分去套一下开头的故事。16000张照片精选出一部分是需要一个工具和流程的,有些人依赖情感感性地挑拣,有些人选择按照心中一个可识别的具体要求过滤。这是对待数据本身的管理方式不同。如果是160000张照片,1600000张照片甚至更多呢?一种算法在精密地处理着每张照片,而维克托选择了这样的两个要求,就要承担使用数据之后万一错过某张绝世佳作的责任。再来看这16000张照片本身,它们本身就是有价值的,每一张都是长辈生活点滴的封存,每一张都有着娓娓道来的动人瞬间。只不过或许有些照片定格的瞬间更加难得,有些风景照却可以日后故地重游重拍,因此让数据价值说话,在维克托的心目中,满足这两个条件的照片更具有被保留的意义,于是商业变革的缩影也可见一斑。最后要提到的,就是大思维变革,更多、更杂也更好的数据看似遮挡视线,但换个方式面对它们,就是在一个兼具广泛性和多样性的空间里选择更适合人类的数据使用方式,让数据不再单纯被陈列,而是可以活起来。不过此处还遗留着一个不大不小的问题,被舍弃的那一万五千多张照片,它们的命运将会何去何从,如果是纸质的可以撕掉、烧掉,但如果是现在存储在电子媒介中的,我们能确保点击删除的那个时刻,这些照片真的从此从这个世界上消失了吗?这些数据,真的是个体可控制,人类可管理的吗
一、思维转变,“样本=总体”
如果在法律的范畴中,我们提到大数据时代,第一反应是各种各样的。思维变革强调数据处理方式变化引起的思考模式转变。
1、更多
从前收集数据是一件令人苦恼的事情,于是人们无意识地选择规避大数据体量,人为限制了与数据的交流。如今,技术条件已经大大地提高,我们的习惯却常常停留在原地,因此大数据时代通过一些外在的动力去转变这种桎梏是非常有必要的。比如我们想知道应用《婚姻法》24条判案调解的情况,以前或许停留在抽查层面,不然就是要花费大量的时间挨个调研,费时费力还不一定全面。而现在,包括中国裁判文书网、北大法宝在内的多家平台可以提供大数据检索,简单输入关键词就可以在海量的数据库里精确定位到需要的案例信息,并且呈现出来的数据有一定的区分,网站通常会自动提供一些分类指标,例如是在哪个地区哪级法院,案由是什么,方便后期进行图表统计,用以画出饼图、树状图更直观地了解数据面貌。
2、更杂
但是问题也接踵而来,很多人会发现搜索结果有时并不一定完全符合预设情境,甚至文不对题,比如搜索“转让股权”而非“股权转让”就可能导致一些案例擦肩而过。而数据本身来源的多样性也导致了数据质量不一,各地区各层级司法文书的撰写水平存在差异,于是经检索获得的数据不一定都能充分发挥效用。但是纷繁的数据反应出数据体量的庞大,精确性依赖的应当是算法而非数据源,大数据的利益促使人们精进算法,多次尝试不同的搜索方式以弥补数据瑕疵,我们添加标签时所固带的不准确性从某种意义上说明我们能够接受世界的纷繁复杂,这是对更加精确系统的一种对抗。因为精确的系统通常试图让我们接受一个世界贫乏而规整的现象——因贫乏而规整,然而事实上现实就是纷繁复杂的,天地间存在的事物远多于系统所设想的。不是“一个唯一的真理”,一款法律条文不是只能适用于一种案情,多款法律条文组合可以推导出不同的逻辑链条。要想获得大规模数据带来的好处,混乱应该是一种标准途径,而不应该是竭力避免的。
3、更好
还有一点极为精妙地同时出现在法律和大数据的世界里,中国作为非判例法国家,查询其他相似案例固然可以帮助人们预测案情未来走向,但是这些信判例却不可以直接作为法源或是最有力的论证。不过,判例中所提到的法律条文,法律条文串起的逻辑思路却能另一起案件中得以运用。相似不代表相同,这是大数据时代个性化定制中存在的问题,人们在淘宝买了一件衣服之后,相似的预测方式会让系统推荐同样的款式不同的店家,或许由于渠道或者面料的不同,价格存在一定差异,但是消费者很少会在短时间内重复购入。而相关的预测方式会考虑这件衣服的特质和要素,譬如蚕丝面料、短袖、款式较为保守等等,这通常折射出消费者的偏向,于是再有这些元素组合而成的衣服也很有可能受到青睐。让数据更好意味着提高数据的效用,选择关联度高的数据,能成功起到预测的作用。法律是具有预测的功能的,而大数据可以验证或者说提高预测的可信度。当我们看到大量的案例真真实实地告诉我们许多故意杀人罪犯罪嫌疑人最终真的被判处死刑时,我们愈发地相信写在刑法里的条文所具有的威慑力,更加谨言慎行。
二、量化数据,从“T”到“I”
大数据发展的核心动力来源于人类测量、记录和分析世界的渴望,如今的信息技术变革重点落在“T”(技术)上,而不是在“I”(信息)上。现在,我们是时候把聚光灯打向“I”,开始关注数据本身了。
数字化和数据化是两个不同的词语,比如说有一篇判决书适用法律严丝合缝、遣词造句文采斐然,人们把判决书的每一页拍下来,再上传到网上,于是更多的人打开一张张jpg,开始阅读这篇判决书,这是数字化。而中国裁判文书网、北大法宝的字符串已经经过了有效的处理,在我们看来的汉字对于电脑而言是不同意味的0和1,这些网站的后台当然不是活生生的工作人员在一张一张翻看全国各地的司法文书,人为地看到“一审”就归到“一审”那摞纸上,而是计算机算法自动识别着不同的字符串,按照指定要求分门别类,这是数据化。存储成本的大幅下降,使得保存数据比丢弃数据更加容易,书盈四壁固然学问高深,但是大数据时代的数据却可以得到更长久、更妥善的保存。数据的非竞争性使其不同于物质性的东西,价值本身不会随着使用次数增多而减少,可以不断地被处理。前文已叙,对搜索点击的个人用户而言,法律数据库的好处自然是不言而喻。而大数据时代能容许数据发挥的价值,还远不限于这些现时的眼前的帮助。数据的真实价值就像漂浮在海洋中的冰山,第一眼只能看到冰山一角,绝大部分隐藏在表面之下。又像是静止在山坡上的小球,它原地静止时不声不响,一旦释放滚下山坡,其中的动能就能被发现。数据的二次利用使得隐藏价值得以有效释放。
大数据分析实训心得体会
透过实训中心老师的课堂讲解与企业化标准的培训,使我加深了对自我专业的认识。从而确定自我以后的努力方向。要想在短暂的实训时间内,尽可能多的学到东西,就需要我们跟老师或同学进行很好的沟通,加深彼此的了解。只有我们跟老师多沟通,让老师更了解我们,才能跟真切的对我们进行培训工作。由此,班级的文化“共享”就在生活中慢慢构成了。
“纸上得来终觉浅,绝知此事要躬行!”在这短短的时间里,让我深深的感觉到自我在实际应用中所学专业知识的匮乏。让我真真领悟到“学无止境”这句话的涵义。而老师在专业认识周中所讲的,都是课本上没有而对我们又十分实用的东西,这又给我们的实训增加了浓墨淡采的光辉。我懂得了实际生活中,专业知识是怎样应用与实践的。在这些过程中,我不仅仅明白了职业生涯所需具备的专业知识,而且让我深深体会到一个团队中各成员合作的重要性,要善于团队合作,善于利用别人的智慧,这才是大智慧。靠单一的力量是很难完成一个大项目的,在进行团队合作的时候,还要耐心听取每个成员的意见,使我们的组合到达更加完美。
这次实训带给我太多的感触,它让我明白工作上的辛苦,事业途中的艰辛。让我明白了实际的工作并不像在学校学习那样简单。
人非生而知之,虽然我此刻的知识结构还很差,但是我明白要学的知识,一靠努力学习,二靠潜心实践。没有实践,学习就是无源之水,无本之木。这次实训让我在一瞬间长大:我们不可能永远呆在象牙塔中,过着一种无忧无虑的生活,我们总是要走上社会的,而社会,就是要靠我们这些年轻的一代来推动。这就是我们不远千里来实训的心得和感受,而不久后的我,面临是就业压力,还是继续深造,我想我都就应好好经营自我的时间,充实、完善自我,不要让自我的人生留下任何空白!
实训中除了学到不少专业知识,也了解一些社会的现实性,包括人际交往,沟通方式及相关礼节方面的资料,对于团队开发来说,团结一致使我深有体会。团队的合作注重沟通和信任,不能不屑于做小事,永远都要持续亲和诚信,把专业理论运用到具体实践中,不仅仅加深我对理论的掌握和运用,还让我拥有了一次又一次难忘的开发经理,这是也是实训最大的收获。
此刻我对“一个人最大的财富是他的人生经历和关系网络”这句话十分的有感情,因为它确实帮了我们不少。除此课本上的知识毕竟有限。透过实训,我班同学都有这样一个感觉,课本上的理论知识与实际工作有很大差距,只有知识是远远不够的,专业技能急需提高。
从最初的笨手笨脚,到此刻能够熟练的按照流程开发软件,这都与我班每个人的努力是分不开的。十个月的实训,教会了我们很多东西,同时也锻炼了大家踏实、稳重的潜力,每个人都很珍惜这来之不易的实训机会。
在实际工作中经常会和不一样的人打交道,然而他们的态度是不可恭维的,你会感觉到他的不耐烦以及他的高傲,所以这就需要学会沟通的方式及说话技巧,学会灵活应对。透过这十个月的实训,我班同学都收获颇丰,总体来说对这次实训还是很满意的。尽管实训很累,每一天早出晚归。但真的很感谢学校能够带给我们这样好的实训机会,以及东软给予我们的实训平台。我们深刻的了解到,只有经历过,才明白其中的滋味。对于我而言,喜欢体验生活,能够说透过这次实训,真真切切的让我了解了什么是软件开发,什么是软件工程,让我对于软件最初的观点也有了本质性的改变!程序员不仅仅仅是一份职业,更是一份细心加一份耐心加一份职责心=人生价值的诠释。即将走向工作岗位的我们更要不断加强自我的专业技能,社会不会要一个一无是处的人,所以我们要更多更快的从一个学校人向社会人转变。为此我们将会在以后的日子里继续努力,不断激励经验,不断磨砺自我,早日走向工作岗位。
大数据时代读书心得体会
4月13日下午,在湖南大学东楼205参加了关于《大数据时代》的读书交流活动。通过相互交流学习,使我更深层次的理解了大数据时代的利与弊,机遇和挑战。在写心得体会前,我想再重新审视一下关于大数据的历史沿革和现实意义。
首先,最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡,麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能领域,成为重要的生产因素。人们对于海量数据的挖掘和运用,预示着新一波生产率增长和消费者盈余浪潮的到来。”“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日,却因为近年来互联网和信息行业的发展而引起人们关注。大数据作为云计算、物联网之后又IT行业又一大颠覆性的技术革命。云计算主要为数据资产提供了保管、访问的场所和渠道,而数据才是真正有价值的资产。企业内部的经营交易信息、物联网世界中的商品物流信息,互联网世界中的人与人交互信息、位置信息等,其数量将远远超越现有企业IT架构和基础设施的承载能力,实时性要求也将大大超越现有的计算能力。如何盘活这些数据资产,使其为国家治理、企业决策乃至个人生活服务,是大数据的核心议题,也是云计算内在的灵魂和必然的升级方向。
其次,进入2012年,大数据(bigdata)一词越来越多地被提及,人们用它来描述和定义信息爆炸时代产生的海量数据,并命名与之相关的技术发展与创新。它已经上过《纽约时报》《华尔街日报》的专栏封面,进入美国白宫的新闻,现身在国内一些互联网主题的讲座沙龙中,甚至被嗅觉灵敏的国金证券、国泰君安、银河证券等写进了投资推荐报告。数据正在迅速膨胀并变大,它决定着企业的未来发展,虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患,但是随着时间的推移,人们将越来越多的意识到数据对企业的重要性。正如《纽约时报》2012年2月的一篇专栏中所称,“大数据”时代已经降临,在商业、经济及其他领域中,决策将日益基于数据和分析而作出,而并非基于经验和直觉。哈佛大学社会学教授加里·金说:“这是一场革命,庞大的数据资源使得各个领域开始了量化进程,无论学术界、商界还是政府,所有领域都将开始这种进程。”
最后,随着云时代的来临,大数据(Bigdata)也吸引了越来越多的关注。著云台的分析师团队认为,大数据(Bigdata)通常用来形容一个公司创造的大量非结构化和半结构化数据,这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起,因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。“大数据”在互联网行业指的是这样一种现象:互联网公司在日常运营中生成、累积的用户网络行为数据。这些数据的规模是如此庞大,以至于不能用G或T来衡量。大数据到底有多大?一组名为“互联网上一天”的数据告诉我们,一天之中,互联网产生的全部内容可以刻满1.68亿张DVD;发出的邮件有2940亿封之多(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字量);卖出的手机为37.8万台,高于全球每天出生的婴儿数量37.1万……,截止到xx年,数据量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=1PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。国际数据公司(IDC)的研究结果表明,xx年全球产生的数据量为0.49ZB,xx年的数据量为0.8ZB,xx年增长为1.2ZB,xx年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。而到xx年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB.IBM的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。而到了xx年,全世界所产生的数据规模将达到今天的44倍。
首先,谈谈大数据带给生活的转变。大数据已经是信息产业发展的必然趋势,可以说,大数据现在已经开始慢慢渗透入我们的生活,如:现在流行的打车软件、三维立体化社区的建立、某些从事生产销售的行业利用大数据来优化规模和实现利益最大化。而我们很多人对大数据还很陌生,只是被动的适应着大数据给生活带来的改变。大数据时代是以云计算为基础的,所以,要实现大数据,相关的很多的硬件设备都要更新换代,信息处理系统、信息传输系统、信息反馈系统、信息决策系统都将面临新的挑战,相关产业都要重新调整产业结构,在那时,可以夸张的说,信息就是黄金,信息就是石油。大数据时代的到来会解放更多的劳动生产力,势必将会更加加剧生产力过剩的现状,社会两极分化现象会更加明显,掌握不了信息资源,很难再翻身,要防止信息垄断带来的可怕局面。大数据时代的到来会使人们的生活节奏急速加快,信息的时效性决定了它的流通速率,人们的生活节奏要跟上信息流通的速率,就不得不加快自己的节奏,人们会越来越忙,到那时,就像现在的日本,可能想找个人听你说说话,真的是一件很难的事。
第二,关于数据管理的看法。大数据时代,数据管理是一件很重要的工作,如何才能避免自己的数据被非法窃取、丢失和被盗?我的看法是,人防、技防、物防一体化。人防,即我们要从思想上牢固树立信息安全防范的意识,不主动泄露信息,要管理好自己身边的信息设备;技防,就是要运用软件来管理和处理数据,经常检查更新数据库,定时查杀电脑病毒,确保电脑状况安全;物防,就是重要的数据一定要备份保留,而且应当做到备份与原始文件是物理隔离,无关的信息应当及时删除,减轻硬盘的压力。
三、怎么保护自己的隐私。隐私,顾名思义,就是不愿意让别人看到的东西,所以,在大数据时代,更要管理好自己的隐私,以免对自己和家人造成麻烦和损失。越是隐私的信息,越要远离网络,不要再公开的社交网络储存和展示个人图片、资料等信息,免得被非法人士采用和窃取。建议还是用纸质的日记代替电脑日记,避免信息传播范围太大,管理好自己的日记本。研发一种新的硬件连接器,总是以随机码来保护自己真实IP地址,提高网络安全的可靠性,加强对联网信息的管理和保护。
大数据与互联网心得体会
今天有幸拜读了陈勇、杨定平、宋智一三位学者的《中国互联网金融研究报告》这部营销新著,使我受益匪浅。该书是专家、学者对当前中我国互联网金融长期研究的结晶,是互联网金融学的前沿,对互联网金融方面的概念进行了科学的定义,剖析了我国互联网金融的现状,展望了互联网金融的远景,为我国互联网金融的发展指明了方向。
本书结合我国当前国情,详细论述了我国互联网金融的现状,内容详尽,各有千秋。其中对煜达投资城的研究最为透彻,煜隆创业投资有限公司董事长杨定平先生以服务实体中小微企业为宗旨,依靠资深技术团队,搭建产学研为一体的平台,创建了煜达投资城,该平台从单纯的平台中介服务转向家居产业链金融、股权投资、新兴产业投资四大模块,采用线上线下相结合的方式,进行科学管理,化解风险,为投资人赚取丰厚的利润,解决了融资人的燃眉之急,实现了投资、融资双赢的目的。
投资实业是煜达投资城的主要特色,也是公司业务的主要发展方向,实体产业主要有雅堂家居有限公司、盛世鸿雅家具有限公司和四川面道股份有限公司。家居产业链金融是煜达投资城的又一大创举,这种方式风险可控,操作简便。“不熟悉的不做”是规避风险的最佳选择。
总之,本书的亮点很多,值得投资人去研究,去发掘,去推广,本人才疏学浅,抛砖引玉,有不当之处望各位批评指正。
大数据分析实训心得体会
这次实训,除了让我对商业企业的基本业务有了必须了解,并且能进行基本操作外,我觉得自我在其他方面的收获也是挺大的。作为一名一向生活在单纯的大学校园的我,这次的实训无疑成为了我踏入社会前的一个平台,为我今后踏入社会奠定了基础。
首先,我觉得在学校和单位的很大一个不一样就是进入社会以后务必要有很强的职责心。在工作岗位上,我们务必要有强烈的职责感,要对自我的岗位负责,要对自我办理的业务负责。如果没有完成当天就应完成的工作,那职员务必得加班;如果不留意出现了错误,也务必负责纠正。
其次,我觉得工作后每个人都务必要坚守自我的职业道德和努力提高自我的职业素养,正所谓做一行就要懂一行的行规。在这一点上我从实训单位同事那里深有体会。比如,有的事务办理需要工作证件,虽然对方可能是自我认识的人,他们也会要求对方出示证件,而当对方有所微词时,他们也总是耐心的解释为什么务必得这么做。此刻商业企业已经纳入正规化管理,所以职员的工作态度问题尤为重要,这点我有亲身感受。
最后,我觉得到了实际工作中以后,学历并不显得最重要,主要看的是个人的业务潜力和交际潜力。任何工作,做得时间久了是谁都会做的,在实际工作中动手潜力更重要。
因此,我体会到,如果将我们在大学里所学的知识与更多的实践结合在一齐,用实践来检验真理,使一个本科生具备较强的处理基本实务的潜力与比较系统的专业知识,这才是我们实训的真正目的。
很感谢实训单位给我这个这么好的实训机会,让我学习很多、成长很多、收获很多。
大数据类读书笔记
《大数据》一书对美国大数据的应用进行了十分详细的介绍与分析,我印象最深的为两点。
第一,以海量数据的处理作为政策制定的依据。看这本书的时候,我想到了这两年很火的一个美国人——斯诺登。在其曝光的“棱镜”计划中美政府直接从包括微软、谷歌、雅虎、Facebook、AOL、Skype以及苹果在内的国际公司服务器收集信息。美国政府从这些海量数据中寻找自己需要的数据,并以此作为所谓安全政策制定的依据之一。姑且不论媒体对此计划的口诛笔伐及相应的道德风险,仅从政策制定方面来说,依据于海量数据的政策制定科学性肯定比一般计划要高得多。
2007年,雅虎 首席执行沃兹博士在《自然》上发表的《21世纪的科学》中提到,得益于计算机技术和海量数据库的发展,我们每个人在现实世界中的活动得到前所未有的记录, 这种记录也更为细致,为社会科学的定量分析提供了极为丰富的数据。打个比方,从你的QQ空间、微博、微信中一个普通朋友都能了解到你在哪儿、做了哪些事 情、现在的状态是什么,而新闻的跟帖、网站的下载记录、社交平台的互动记录等等都为社会行为的研究提供了大量的数据。我想到最近比较火爆的穿戴设备,如果 该技术得到普及过后,拥有穿戴设备的人群的生活轨迹、生理各项指标都能轻而易举地得到,相信这些大量的原始数据如能安全有效利用定能为卫生政策的制定提供 科学依据。
第二,万事万物, 凡存在,皆联网,凡联网,皆计算。2005年起,美国食品与药品管理局开始在药品上推行配备RFID做法即每个食品包装上安装一个薄如纸张或小如豆粒的无 线传感器。通过这个移动传感器,对食品进行连续跟踪,一旦相应的安全事故爆发,就能通过数据库追踪溯源,快速确定传染源与影响范围。这一技术相对于国内尚 在起步阶段的食品追溯具有极强的借鉴性。上面提到的穿戴设备其实就可以视为一个穿戴在人身上的RFID。
2010年的时 候,美国国家气象局在全国2000两客运大巴上装备了传感器,随着大巴的移动,沿途手机所有地点的温度、湿度、露水、光照度等数据,并立即传给国家气象局 数据中心。数据的采集是每10秒中一次,每天采集10万次以上的数据,这些实时的、高精度的数据意味着天气预报将不再仅仅是”预“,将逐渐走向“实”报、 “精”报。
胡适说中国人习惯于当“差不多先生”,凡是马马虎虎、不求精确。黄仁宇认为,中国不懂得用数字来管理国家。作者引用这两位先生的名 言,当然是要彰显传统中国和今天美国之间的差异。但是我们也必须认识到:这两位先生身经当时中国的混乱,激愤而出此言。在大数据浪潮迅猛而来的时候,中国 与100年前已经完全不一样了,我们已经有足够的能力与自信来面对各项挑战。2003年中国开始着手制定医疗系统的最小数据集,3年之后卫生部出台了第一 版中国医院最小数据集的标准。也是在2003年,中国创立了第一个全国性的大型社会调查项目,开始对社会的发展和变迁进行全方位、综合性、纵贯性的问卷访 谈调查,即“杨文昊在KOD里面穿的裤子”。可以看到,中国政府和企业已经投入到了大数据时代的浪潮之中了。我个人也有几点应对的想法。
一是鼓励、扶持基 于数据的创新创业。书中提到,政策扶持的传统方法,可能是以政府主导建立大数据产业园,对新兴企业提供办公场所等便利条件或者现金支持,这固然有效,但更 为有效的是调动全社会的力量。调动全社会的力量来支持可以包括扶植民间团体,快速推进新技术、新理念在全社会的传播。现在云技术大众基本上都耳熟能详了, 而这主要是各大互联网服务上都相继推出了相应的云服务以及各大媒体对这项技术的关注,促进了大众对新技术的了解与支持。
二是政府机构要建 立专门机构来统筹管理数据工作。在大数据时代不同的数据需要整合,公安、消防、民政、社保等等数据都需要进行联动,将沉睡在数据库内的数据唤醒,为政府制 定政策所用,避免各自为政、多头管理的情况发生。数据的联通也能在一定程度上减少群众的“办证”问题,相信在大数据时代,大家可能只需要一张身份卡就能满 足绝大部分的数据需要。
三是围绕个人数据安全,加强管理。任何技术都是双刃剑,耍得好可以披荆斩棘,耍得不好则会害人伤己,大数据也不列外。如何保障个人隐私也成为了大数据时代面临的一个重大挑战。
不过有意外收获,作者在文章后部主要讲了,大数据带来的消极影响,例如政府会通过大数据判断一个人将要出现的违法行为,提前对他进行拘捕,或者监视(这个已经在纽约警察局使用)但这样带来严重的后果,现在的法律是基于人已经发生的行为进行处罚,如果我们今后使用这套系统来作为法官的判决依据的话,这样就违背降低我们作为人的重要组成部分---自由选择的能力,行为责任自负。这便成了集体选择的结果,不是个人自由意志了。这样在否认个人为其行为承担责任,实际上就是在摧毁人们自由选择的权利。而且现在的预测不能达到很准确的答案。分析的数据质量不佳就会加剧问题的不良后果。
作者最后说了这么一段话“大数据不是一个充斥算法和冰冷机器的世界,人类的作用依然无法替代,大数据为我们提供的不是最终答案们只是一个参考答案,暂时的,只是问了等待更害的解决办法,在不久的未来。”
另外一个随之而来的问题就是数据授权使用,泄露问题,数据会有二次利用发现潜在价值,但这又产生更严重的问题,二次利用如何授权管理,是否涉及违法。解决办法是通过会计行业,可以有一个充当审计工作的外部算法师,作为第三方公证机构在出现问题时,可以进行审核算法和数据的使用情况,在公司内部也可以设立内部算法师,很类似公司自己的律师一样,一方面参加产品研发,另一方面在公司使用数据出现问题时也可以及时阻止,提醒。
大数据确实在某种程度上可以降低风险,保护国家安全,但信用卡,保险业就会通过大数据分析拒绝一部分人(因为他们还不起账),但我们想想,人类进步,就是通过反抗,妥协,权衡,再平衡。有了一切大数据的预测,就少了很多的可能性,在某种程度会降低我们的社会进步。
说实话之前听到大数据的概念觉得很有前景,很神奇,很向往,这本书给我带来的更多的是对大数据会给我们带来不亚于克隆人的糟糕影响。让我有了对技术给人类社会带来的负面影响有了一个全面的思考认识。读到后半部分的时候,我很沮丧啊,觉得这么好的技术,竟然负面影响超过了正面的,我很失落,也不再看好大数据。不过后来作者的一席话让我重振信心,他举例,曾经印刷术出现之前大部分的书全部在修道院,教皇手里,有了印刷术之后人们有了书,有了更开阔的思路,更多的想法,有了言论等等,这个的影响力要比大数据大很多,人类还是一步一步建立起来相应的制度,法律,直到今天我们已经有了对应的很完善稳定的法律体系。
我们还是应该对科技充满信心,科技依然是那个推动社会进步的原动力,只是我们需要及时完善相对应的管理措施。
最后说说对作者写的书的评价吧,其实我觉得写的一般,不过很符合外国人的写书风格,简单明了,很容易看懂,理解都不需动脑子,举例很少(可能因为本身合适的例子就很少吧)来来回回就那几个例子,有点像我们高考作文,来来回回那几个例子,什么场景都能用,哈哈。总的来说还是不错的,评级6分吧。
最后说一句,美国确实在大数据上走在了前面,不是单纯技术上,技术科技学的很快,但是实际运用起来出现的问题,不是其他人能立即学会处理应对的,这又燃起了让我去美帝的欲望。
大数据类读书笔记
不过有意外收获,作者在文章后部主要讲了,大数据带来的消极影响,例如政府会通过大数据判断一个人将要出现的违法行为,提前对他进行拘捕,或者监视(这个已经在纽约警察局使用)但这样带来严重的后果,现在的法律是基于人已经发生的行为进行处罚,如果我们今后使用这套系统来作为法官的判决依据的话,这样就违背降低我们作为人的重要组成部分---自由选择的能力,行为责任自负。这便成了集体选择的结果,不是个人自由意志了。这样在否认个人为其行为承担责任,实际上就是在摧毁人们自由选择的权利。而且现在的预测不能达到很准确的答案。分析的数据质量不佳就会加剧问题的不良后果。
作者最后说了这么一段话“大数据不是一个充斥算法和冰冷机器的世界,人类的作用依然无法替代,大数据为我们提供的不是最终答案们只是一个参考答案,暂时的,只是问了等待更害的解决办法,在不久的未来。”
另外一个随之而来的问题就是数据授权使用,泄露问题,数据会有二次利用发现潜在价值,但这又产生更严重的问题,二次利用如何授权管理,是否涉及违法。解决办法是通过会计行业,可以有一个充当审计工作的外部算法师,作为第三方公证机构在出现问题时,可以进行审核算法和数据的使用情况,在公司内部也可以设立内部算法师,很类似公司自己的律师一样,一方面参加产品研发,另一方面在公司使用数据出现问题时也可以及时阻止,提醒。
大数据确实在某种程度上可以降低风险,保护国家安全,但信用卡,保险业就会通过大数据分析拒绝一部分人(因为他们还不起账),但我们想想,人类进步,就是通过反抗,妥协,权衡,再平衡。有了一切大数据的预测,就少了很多的可能性,在某种程度会降低我们的社会进步。
说实话之前听到大数据的概念觉得很有前景,很神奇,很向往,这本书给我带来的更多的是对大数据会给我们带来不亚于克隆人的糟糕影响。让我有了对技术给人类社会带来的负面影响有了一个全面的思考认识。读到后半部分的时候,我很沮丧啊,觉得这么好的技术,竟然负面影响超过了正面的,我很失落,也不再看好大数据。不过后来作者的一席话让我重振信心,他举例,曾经印刷术出现之前大部分的书全部在修道院,教皇手里,有了印刷术之后人们有了书,有了更开阔的思路,更多的想法,有了言论等等,这个的影响力要比大数据大很多,人类还是一步一步建立起来相应的制度,法律,直到今天我们已经有了对应的很完善稳定的法律体系。
我们还是应该对科技充满信心,科技依然是那个推动社会进步的原动力,只是我们需要及时完善相对应的管理措施。
最后说说对作者写的书的评价吧,其实我觉得写的一般,不过很符合外国人的写书风格,简单明了,很容易看懂,理解都不需动脑子,举例很少(可能因为本身合适的例子就很少吧)来来回回就那几个例子,有点像我们高考作文,来来回回那几个例子,什么场景都能用,哈哈。总的来说还是不错的,评级6分吧。
最后说一句,美国确实在大数据上走在了前面,不是单纯技术上,技术科技学的很快,但是实际运用起来出现的问题,不是其他人能立即学会处理应对的,这又燃起了让我去美帝的欲望。
大数据读后感
从徐子沛的《大数据》中得到的感悟
数据,对于我们现代社社会来说,已经是再熟悉不过了。大量化(Volu)、多样化(Variety)、快速化(Velocity)和大价值(Value)。这四个V就是大数据的基本特征。每天我们都不得不和数据打交道,比如我们平常所说得“眼观六路,耳听八方,”就是生活中一个很好的的收集数据的例子。还有,在我们平时的学习中,我们对于一些学习上的数据的整理等等。可以说,数据已经成为了我们的影子一样,无时无刻的在我们的身边活动。
拿到《大数据》这本书时,吸引我的不是书评的内容,而是书的封面上的一句话“除了上帝,任何人都可以用数据说话。”也就是说,上帝可以不用数据来说话,但是,作为一个平常人,我们做事,言论等都必须用数据来说话。用数据论来证我们的观点正确性。
那么数据真的就是那么重要吗?其实不然,数据果真有那么的重要。作者在书中大量应用世界头号强国美国的例子来说明美国是如何利用数据以及数据在美国人的利用下,是如何造福美国人的。使得美国人走上了民主、发展的道路。书中还引用了大量的利用数据的案例,以及利用数据会有什么样的后果。当然,作者在书中也很明确的表达了自己观点,也就是数据要被人利用,利用的好了,造福人类,否则,祸害无穷。
毫无疑问,我们正处在一个真正意义的大数据时代。但是,大数据浪潮的来龙去脉如何?数据技术变革何以能推动政府信息的公开、透明和社会公正?又何以给我们带来无限的商机,既便利又危及我们每个人的生活?《大数据》给了我们一个很好的答案。在拿到徐子沛《大数据》时,与其说这是个新概念,还不如说就是一个现实。信息技术的迅速发展和普遍应用,存储能力的膨胀,网络传输的便捷,必然产生巨大的数据量。即使是一个公司,经过多年的积累,产生的数据也是惊人的。每天繁多的数据,这就是要求企业要很好地存储数据,利用数据通过数据,使得数据说话,提升企业的业绩和知名度。
对于一个企业来说,比较实际的倒是关注一下企业微观大数据,如何充分利用现有的、能够得到的和自己创造的数据,采用《大数据》里提及的新技术、新方法、新理念,筛选、组织、关联、分析,精细化管理和挖掘数据,探索规律性的东西,指导企业活动。尽可能多的获取数据,首先是要有心,对于公司员工来说,随时随地注意收集客户数据、需求数据、产品数据、市场数据、资源数据等,经过整理,把它变成公司的数据资产;然后是要有据,信息与数据最大的不同,就是数据是能够度量或者确定的信息,不能“毛估估”,收集数据要精细化,要准确;其次要有序,数据需要存储,更加需要整理,单个数据没有很大意义,静止的数据也没有很大意义,有价值的数据是流动的、与其他数据交互作用的。一个大杂烩的数据库,在需要时让人找不到北,没有任何意义。再次,需要技术支持,大量的数据如何检索,如何关联,单靠人脑是不行的,需要建立基于特定理论的数据处理系统来分析管理。对于一个企业,最理想的是建立一个类似人类神经系统的数据管理系统,采用各种信息终端采集内部和外部信息,通过分析、归纳、筛选,形成管理数据,某些数据可以成为系统的“本能”,一旦触发能够自动做出反应;某些数据可以成为组合信息提交大脑综合分析,作出决策和反应。数据应该为人服务,这是一条基本原则。在大数据时代始终发挥人的主观能动性,采用先进的理念和技术驾驭数据,让人们生活更方便,工作效率更高,劳动强度降低,为社会创造更多的物质财富和精神财富。
《大数据》是一本视野独特的书。它以数据为轴线,描绘了美国走过的改革创新的过程,行文如流水,引人入胜。书中,我读到的不是大数据处理技术,更多的是与大数据相关的美国政治、经济、社会和文化的演进,从民主和国家战略的层面细解大数据的影响力。美国是全书的主体,但又处处反观中国当下的现实。内容非常值得我们身处改革开放前沿的政府工作者深思。它让我们更加深刻地理解了汪洋书记提出的“坚持用数据说话、用数据改进管理、用数据推动创新”的深刻内涵和殷切期望。我们只有重视数据,加强对数据的收集、分析和使用,才能更好地应对正在到来的数据革命的挑战。那么,作为与数据打交道、用数据说话的前线统计工作者,如何应对大数据时代的种种挑战
对比《大数据》,结合平时工作和学习的实际情况,我认为最少应该认真思考和解决好三个问题:
一、提供什么样的数据
在中国,统计部门提供的数据,是各级政府部门和广大人民群众了解国家社会经济发展和人民生活状况主要渠道。只有真实可靠统计数据,才能使政府决策有的放矢,人民了解国家经济与人民生活的真实状况。如果统计数据虚假不实,就会误导政府和人民,让政府失信于人民。因此,我们一定把握好数据的生命线—质量关,确保给国家和人民提供准确、真实、可靠、无误的数据。
2、如何高效有序地收集数据
面对信息大爆炸时代海量数据,必须充分利用高科技手段,高效有序地收集整理各种数据,以满足政府和人民群众越来越广泛的信息需求。为此,我们需要建立完善数据收集网络,包括部门内部的纵向数据收集网络和部门之间的横向数据收集网络,通过这种纵横结合的网络数据收集系统,针对特定主题,持续不断地收集相关数据,为大数据发展提供基础。需要运用互联网、电子计算机等现代技术手段,加快数据收集、加工数据的速度,确保政府和人民及时得到所需数据。
三、如何加强数据分析利用能力
收集数据的目的是为分析利用数据。通过数据分析挖掘数据背后隐含的经济规律及有利于提高效率、改进工作的因素,提高政府管理、决策和人民生活水平,实现“用数据改进管理”。因此,作为统计人,不仅要做好数据收集的及时有效和真实正确,更重要的是要善于分析利用数据,写好专业分析报告,发现问题、支撑决策、评估绩效的目的。
此外我们还可以看到不少政府机构或者其他一些组织也在开始大数据解决他们遇到的一些问题。在本书的最后一章,作者告诉了我们大数据可能带来的坏处。如:通过大数据可能我们的个人各种信息、隐私会很容易地被大数据的拥有者找到,这些信息,可能被政府用来监管我们等;通过大数据可以预测可能发生的事,或者预测我们人个人本书即将做的行为,书中有个例子:警察通过大数据分析得出一个人即将可能犯罪,并把它逮捕了,但事实上这个人现在并没有犯罪。也许这就限制、约束了我们个人的自由。
看完这本书,颠覆了自己之前的一些想法:以前我们认为错误的数据是没有用,我们需要保证统计的数据的准确性,但是在大数据中,错误的数据也是有用的,它和其他所有相对正确的数据一起构成了整体,也就算不了什么了。我们同样可以从这些数据中得出比较正确的预测和分析。Google利用人们搜索的关键字来预测和判断某个地区是否发生流感,Google通过分析这个地区的人们搜索和流感有关的词的数量等来分析得出。Google从互联网抓取数以亿记的各种语言、各种翻译水平的翻译结果,使用其翻译出来的准确率比那些微软使用正确的词库翻译出来的句子准备率更高。我自己的感想是,其实大数据无处不在,只要我们细心,我们就可以挖掘出身边的那些大数据,并做一些有意义的是,就像书中说的那样,我们不需要强求每条数据都那么真实准确,但是从大量的数据中我们就可以得出相对准备的结果。未来成功的公司必定是是那些拥有大量数据、并使用那些数据为大众提供服务的公司。
公布官员财产美国是怎么做的,美国能让少部人腐败起来吗,美国式上访是怎么回事,凭什么美国矿难那么少,全民医改美国做得到吗,美国总统大选有什么利器才能赢,下一轮全球洗牌我们世界工厂会被淘汰吗……除了上帝,任何人都必须用数据来说话。也就是是说,美国更好的利用了数据,那么,我们何尝不去利用大数据时代的数据呢
大数据时代作文
一年四季,桃花只盛开一次;一年有三百六十五天,而春天只有短短的三个月……数字可以用来对比,可以用来表达世间所有美好的事物。它触摸不到却能让我们领略人间的温暖与冷漠。当我们走进数据时代,你会发现世间冷暖,尽收眼底。
数据虽是生冷的数字,但它能折射出人间的冷暖。漫步于天地,没有数据的世界一片茫然,它可以带给我们准确的度量,可以让我们知晓天下事。可以让我们的生活更加丰富多彩,充满生机。数据折射出人间冷暖。
数据提醒着人们过错的同时。也反映出时间的冷酷无情。到了上世纪九十年代。长江里仅剩二百余头白鳍豚,到了1997年,这种身长六英尺左右的动物只剩下了十七头。到了2004年,这种白鳍豚已经几乎消失在人们的视线。这一系列逐渐变少的数字无一不敲打着人们的警钟,提醒着人们保护环境的重要性,这些数据反映的不只是人们意识淡薄,更是对人间冷酷无情的极大反射!生命如此脆弱却被人类毫不留情地亲手扼杀。这些直击人心的数字是冷漠无情后付出的惨痛的代价,它时时刻刻都让我们为自己的所做所为感到羞耻。
数字也会如阳光般轻柔,带给我们温暖。当你考试得了满分,拿着卷子看至那鲜红的数字,你会感到无以言表的快乐与激动:当卖水果的老大爷今天顾客满员,多挣了一百元钱,看着那鲜红的钞票,就会感到幸福满满,生活幸福指数提高,经济发展的进步,每项数据都那么鼓舞人心,温暖心灵。数据有时就像乌云上的阳光,他会带你穿过层层阻碍,走向未知的世界。即使是很微小的事情,也会被数据折射幸福的光芒。
数据丰富着人们的生活,改变着我们的思维方式,仿佛离开了数据就会将自己陷入无边的黑暗。古人也常常用数据描述着事物的发展,曹刿论战中一鼓作气,再而衰,三而竭;登高中万里悲秋常作客,百年多病独登台。诗人们多运用数字夸张的手法表现内心情感,数字使他们的情感表达的更加淋漓尽致。作为新一届高三生,我们每天也会看到许多数字,距离高考仅剩二百余天,这将激励着我们去女里奋斗,为了明天的辉煌而放手一搏!
数字如微风吹过,激起阵阵涟漪;数字如阳光拂过,留下丝丝温暖,我们在这条数据时代的道路上走过,留下了我们的足迹,感受世间冷暖,感受着数据带给我们的幸福生活。
1.根据统计图中的数据填写下面的统计表。 风华小学兴趣小组男、女生人数统计图
2.A、B两个城市2013年下半年各月平均气温如下表。根据表中的数据,完成下面的条形统计图 ...
3.佳美超市甲、乙两种品牌的果汁今年第一季度销售情况统计如下:根据表中的数据,完成下 ...
4.下面是英华小学五年级一班男、女生立定跳远测试情况统计图。根据图中的数据完成填空。
5.东平小学五年级同学最喜欢的运动项目统计如下,根据这些数据填写统计表。 乒乓球:男 ...
6.用7个同样的三角形拼成了一个梯形(如下图)。根据图中的数据,你能算出这个梯形的面 ...
7.西岭小学五(1)班四个小组的同学分别测量了学校操场的长度,得到的数据如下表: 先算 ...
8.有关数据表明,一些哺乳动物的平均寿命如下。 (1) 牛的平均寿命比马短百分之几? (2 ...
读徐子沛《大数据》有感
张登泰
大数据,是近年来相当火爆的一个词汇。马云说,未来的世界是数据的世界,大数据之争,将引发"第三次世界大战".刚好办公室读书角有一本《大数据》,于是拿来闲时翻阅,浅读之后觉得颇有启发,感想略记如下。
徐子沛的《大数据》,讲述了美国的数据管理发展历程,呈现了数据与政治、数据与经济的紧密关系。全书的主体是美国,但是也处处在反观中国的当下。
数据是对信息数字化的记录,其本身并无意义,只有当数据积累到一定程度,并进行统计、分析、提炼后,才能赋予价值。
书中举了很多例子,看完很受启发。比如沃尔玛,沃尔玛通过销售数据分析发现,每到星期六、星期天,有两样东西是成比例的增长,啤酒和尿布。这是为什么呢,后来研究发现,星期六、星期天常常是女人在家做事,男人到购物店买东西,买东西就买尿布,买尿布的时候男人就想,挺辛苦的买点啤酒犒劳自已,所以啤酒和尿布就一块增加了。是不是想不到会是这样。
大数据对于企业的管理和运营是影响巨大的。联系到自己的工作实际,备件管理,很重要的方面就是备件成本预控,这涉及到对备件消耗和储备的预判与控制。船舶在进入某项目施工之前或之初,就能较准确预判出该船舶施工期间的备件消耗,从而给出准确的备件需求计划。这说起来容易,做起来很难。靠经验很多时候确实也可以大致预判,但是变数也很大。若能依托大数据,通过积累公司的所有船舶在所有工程的施工数据、备件消耗数据,并进入统计分析系统导出备件消耗特性,那对于备件成本预控将是革命性的进步。
看过杨德诺公司的一份演示稿,稿件用图表形象的罗列了各种土质工况下的单方成本组成,包括备件消耗成本和船舶修理成本。显然,杨德诺公司拥有大数据,并在利用大数据进行企业管理和运营,强大的数据支持让他们在项目投标和项目实施中,不断的取得胜利。
大数据的建立需要坚持不懈的进行数据的准确采集,需要积累到一定的量才有统计分析价值,才能最终从量变走向质变。对于大数据的厚积薄发,书中引用了《笑傲江湖》岳不群的一段话——岳不群叹了口气,缓缓地道:"三十多年前,咱们气宗是少数,剑宗中的师伯、师叔占了大多数。再者,剑宗功夫易于速成,见效极快。大家都练十年,定是剑宗占上风;各练二十年,那便是各擅胜场,难分上下;要到二十年之后,练气宗功夫的才渐渐地越来越强;到得三十年时,练剑宗功夫的便再也不能望气宗之项背了。然而要到二十余年之后,才真正分出高下,这二十余年中双方争斗之烈,可想而知。"
公司近年来已经开始布局大数据,通过建立各种信息管理平台,不断加大对信息数据的采集力度,这是对大数据的认同。那么如何做到坚持不懈的进行数据的准确采集,以及进行数据的有机整合,让数据形成运营支持和决策支持,实现数据价值变现呢。我对公司未来充满期待。
大数据时代已经到来,得数据者得天下!