2015-11-07 大数据-读书笔记

《大数据：正在到来的数据革命》——书评

我们信靠上帝。除了上帝任何人 都应该用数据说话。——爱德华·戴明

这也许是我对全书最深的印象了。

全书都在诠释这句话，从美国信息发的兴立，写到数据对政府、商业、乃至全社会的影响，再到云计算、数据挖掘，大数据的爆发。通过这本书。我们能意识到的，就是数据与我们的生活越来越紧密，大数据将会在未来影响我们生活的方方面面。

在阅读这本书之前，说起数据的实例，我能想到也仅能想到的便是啤酒与尿片的事例。看完此书后，才了解到当初对于大数据的了解是多么的贫瘠。不得不说《大数据》这本书对于大数据的起因、发展、以及在现实中的应用写的非常详细。将它作为了解大数据以及拓宽眼界的术无疑是非常适合的。但单是看这本书并不能让我们对这个市场有什么创新性的认识或想法。涂子沛在书中探讨的核心观点：数据最终还是要为人类服务的，我们记录数据并不是将自己的行为僵化成为一串符号，而是要根据这种精确的记录让自己的决策变得更加智慧。他用整本书诠释了他的观点——用整本书的数据为我们提供大数据的资料。简而言之：我们通过这本书延伸思考会得到很多。

《大数据》从奥巴马建设“前所未有的开放政府”出发，描写了半个多世纪以来数据对美国社会政治、商业、文化等方方面面的影响，谈及了1930年以来历任美国总统，可谓波澜壮阔。本书通过讲述美国半个多世纪信息开放、技术创新的历史，以别开生面的经典案例——奥巴马建设“前所未有的开放政府”的雄心、公共财政透明的曲折、《数据质量法》背后的隐情、全民医改法案的波澜、统一身份证的百年纠结、街头警察的创新传奇、美国矿难的悲情历史、商务智能的前世今生、数据开放运动的全球兴起，以及云计算、Facebook和推特等社交媒体、Web3.0与下一代互联网的未来图景等等，为您一一细解，数据创新给公民、政府、社会带来的种种挑战和变革。《大数据》这部书，清楚地叙述了资讯时代对我们生活的影响与社会的控御力。它以数据为轴线，描绘了美国走过的开放创新历程。从该历程中我们看到，数据挖掘是一种知识生产过程，从中产生创新，产生管理，产生推动社会变革的理论与实践。更有意思的是，美国政治的发展，公民权利的实现，以及各种自由与福利的保障，都和对数据的创造性应用密切相关。这对已经步入信息时代的中国，尤其有借鉴意义。

涂子沛曾经说过：中国其实是一个缺乏数据观念的国家。很多人质疑他的说法，说中国人很讲究数字，算账也算得很清楚，怎么能说没有数据观念？他说：数字不等于数据，数据需要绝对的真实和有效，很多时候我们满足于玩数字游戏，却并没有尊重真实的数据。

在书中我们会有一个很清晰的认识：中国的信息公开度远远低于美国。而现实中：中国在信息公开和大数据方面，落后美国100年。

我们应该做的措施：

• 一是政府机构、行业组织和大型企业要建立专门的数据治理机构来统筹数据治理的工作，例如数据治理委员会、大数据管理局等，数据治理的重点在于数据定义的一致性和数据的质量。在大数据时代，不同系统之间的数据要进行整合，因此要有统一的元数据定义，这不仅是中国而且是全世界当下都在面临的挑战。各个领域和行业的数据标准制定得好，将会起到事半功倍的效果。就单个企业而言，要认识到，未来的竞争是知识生产率而不是劳动生产率的竞争，数据分析产生的价值可能比较碎片化，分布在商业流程的各个环节，数据挖掘的投资回报也有不确定性，但企业领导必须有眼光，把数据治理的工作尽快统筹起来，为增强企业在大数据时代的竞争力做好准备。此外，数据治理机构的首长应该由组织的高层领导担任，否则标准无法推进到全局，也改善不了整个行业或组织的情况。
• 二是开放数据。数据增值的关键在于整合，但自由整合的前提是数据的开放。开放数据是指将原始的数据及其相关元数据以可以下载的电子格式放在互联网上，让其他方自由使用。开放数据和公开数据是两个不同的概念，公开是信息层面的，是一条一条的；开放是数据库层面的，是一片一片的。开放也不一定代表免费，企业的数据，可以以收费的形式开放。开放也是有层次的，可以对某个群体、某个组织，也可以对整个社会开放。在大数据的时代，开放数据的意义，不仅仅是满足公民的知情权，更在于让大数据时代最重要的生产资料数据自由地流动起来，以催生创新，推动知识经济和网络经济的发展，促进中国的经济增长由粗放型向精细型转型升级。
• 三是鼓励、扶持基于数据的创新和创业。政策扶持的传统方法，可能是以政府为主导建立大数据产业园，对新兴企业提供办公场所等便利条件或者现金支持，这固然有效，但更有效的方式是调动全社会的力量。例如，拨款支持大数据开源社区、程序员协会等民间组织的建设，通过扶持类似的民间团体，快速推进新技术、新理念在全社会的传播和普及；再例如，以开放的数据为基础，举办应用程序开发大赛，向全社会征询数据使用、创新的意见，主办方可以是政府，也可以是企业，拿出一定的资金，奖励最优秀的应用程序，激发民间蕴藏的创新力量。
• 四是要在全社会弘扬数据文化。数据文化，是尊重事实、推崇理性、强调精确的文化。要承认，回望历史，中国是个数据文化匮乏的国家，就现状而言，中国数据的公信力弱、质量低，数据定义的一致性差也是不争的事实。这方面，政府应该发挥主导作用，首先在公共领域推行数据治国的理念，要认识到，在大数据时代，公共决策最重要的依据将是系统的数据，而不是个人经验和长官意志，过去深入群众、实地考察的工作方法尽管仍然有效，但对决策而言，系统采集的数据、科学分析的结果更为重要。政府应加大数据治国的舆论宣传，将数据的知识纳入公务员的常规培训体系，力争在全社会形成“用数据来说话、用数据来管理、用数据来决策、用数据来创新”的文化氛围和时代特点。
• 最后是要围绕个人数据安全，逐步加强隐私立法。任何技术都是双刃剑，大数据也不例外。如何在推动数据开放的同时有效地保护公民隐私，将是大数据时代的一个重大挑战。