【读书笔记】巧说《大数据》

《大数据》徐子沛著 广西师范大学出版社 2012年七月第一版

一、前言

 随着大数据时代真真正正地来临，无处不在的大数据对如今的生活产生了巨大的影响。2015年大数据这个词更是被炒的火热，连各种讲座，也因冠上了“大数据”的名号而被广泛宣传。而大数据究竟是什么呢？它是怎样存在于我们的生活。读过《大数据》这本书，或许才有了一点了解。

  大三寒假放假前在图书馆看到了这本书，想到15年秋招有学长被某司面试官问到你眼中的“大数据”是怎样的？借到了这本书，寒假时家里的环境太过温馨，所以并没有读这本书，收假后，又重新续借。这才正式看《大数据》，不由得为了自己的懒癌找了个大大的借口。最终利用三天课余时间看完了全书。

二、这本书讲了什么

  这本书以美国多半个世纪信息开放、技术创新的历史，利用一些经典的案例来阐述究竟什么是大数据？它在现实中以怎样的形式存在，起到了什么作用。其中包括：奥巴马建设“前所未有的开放政府”的雄心、公开财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球星期，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等，数据创新给公民、政府、社会带来的种种挑战。

  全书虽以美国为主体，但也反观中国的现实问题。

  大数据之所以产生，是因为今天无处不在的传感器和微处理器。使用机械或电子设备都会留下数据痕迹，这些痕迹表明了他的性能、位置或状态。这些设备和使用它们的人，通过互联网互相交流，形成了庞大的数据源。这些数据源和其他来源的数据相结合后被使用，形成了大数据。

   要抓住大数据的机遇，必须要做到以下几点：从技术角度来说，需要收集并且开发特定的工具，来管理大规模并行服务器产生的结构化和非结构化数据，（这些数据可能是自己专有的，也可能来源于"云"）当然有了数据，还得需要分析，那么分析软件就是用来挖掘数据的意义。

三、大数据起到了哪些重要的作用

1、奥巴马上任第一天签署的总统备忘案《透明和开放的政府》，其中讲到：

（1）政府应该是透明的。政府将根据法律和政策，采取适当地措施，以便公众查询、获取的方式发布信息，各部门要利用现代信息技术，将日常工作和决策的相关信息上网公示，以便公众获取。各行政部门和机构还应征求公众的反馈，以确定哪些信息对公众最有价值。

（2）政府应该是参与性的。政府需要从集体的智慧和信息中受益，各部门要就如何增加和改善公众参与政府决策这个问题，广泛征求公众的建议。

（3）政府应该是多方协作的。各行政部门和机构应利用新的工具、方法和系统，在各部门、各级政府之间全面协作。此外，还要与非营利组织、企业和个人进行协作。各行政部门和机构要广泛征求公众的反馈，以评估协作的效果，确定新的协作机会。

在此，奥巴马就巧妙的利用了大数据，来提高和改善政府与民众的关系，包括政务信息透明化以及办公公众参与化。

在美国200多年的历史中，作为总体开放政府的雄心，并不多见。但在开国之初，美国的建国者就对信息的作用展开了思考和辩论。《独立宣言》（托马斯、杰裴逊）、《管家法》、《信息自由法》（摩斯-信息自由法之父）等等都不同程度的提到了信息公开之类的信息，但对于公开哪部分内容以及如何公开一直有着无法解决的矛盾。

2、数据美国

1998年，联邦政府共拥有432所数据中心，专门负责各类数据的存储和维护工作。2010年，数据中心的总数跃升到2094所，翻了几倍。

1996年，联邦政府的年度IT预算是180亿美元，2010年，以及高达784亿美元，这些投资的一半以上都用在了购买存储数据的硬件设备上。

数据的存储单位

   最小数据集在美国演变成一个一般性的概念，它指代国家的管理层面针对某个业务管理领域强制手机的数据指标，对于养老院的管理，美国国会规定，每个养老院必须提交一系列关于老人健康指标的最小数据集给州政府的医疗管理部门，该部门汇总后，再提交联邦政府的管理部门。

  这样的话，对于老人就能更好的被服务。

 数据的生命力，甚至比程序更持久，程序可以不断地升级、换代甚至退出使用，但保存数据的数据库会继续存在，其价值很可能与日俱增、历久弥新。

   美国建立的“交通事故死亡报告分析系统”，随着数据多年的积累，根据数据分析的结果，不断进行调整，制定新的政策，新政策实施，再进行数据收集，进行新一轮评估，周而复始，再根据结果，进行全国推广。使得全国车祸出事率大大降低。

其通过：

（1）数据收集：建立收集网络，保证数据质量

（2）数据分析：确定存在问题、研究新的政策、评估政策绩效

（3）数据分布：接受社会监督、鼓励民间接入、推动政策复制、调动政策竞争

3、大数据战略将争夺世界下一个前沿

   之所以要称之为战略，是因为“大数据”之“大”，并不仅仅在于其“容量之大”，数据的收集、保存、维护以及共享等任务，都将成为具有研究意义的现象和挑战。更多的意义在于：人类可以分析和使用的数据在大量增加，通过这些数据的交换、整合和分析，人类可以发现新的知识，创造新的价值。

提取>存储>分析>共享>可视化

4、航班延误分析系统

   近几年来，在中国，因为航班延误产生的各种纠纷常常成为热点话题，美国当然也会存在航班延误的情况，但缺很少有冲突类似的情况。Data.gov上线后，美国交通部开放全美航班起飞、到达、延误的数据，程序员利用该数据开发了一个航班延误分析系统，该系统向全社会免费开放，任何人都可以查询全国各次航班的延误率以及机场等候时间，因其简单、实用取得了极好的效果。

该系统公布这些数据起到的作用：

（1）帮消费者找到表现最佳、最符合自己需要的航班。

（2）最大程度上降低了旅客等待时间的不确定性

（3）有利用推动航空市场的良性竞争。

四、总结

    大数据在美国的各种应用起到的效果，可以看出数据在当今社会的重要性。我国庞大的人口，也需要大数据来快速的分析、总结。为大家的生活，工作，以及政府的发展都会带来巨大的好处。当然，这也不是一时能够完成的，希望能够在此多投入资金，把大数据利用起来。

一只大三产品狗