大数据日课小结

大数据日课小结 关于5月9号 Seth Stephens-Davidowltz 的新书 《Everybody Lies:Big Data, New Date, and What the Internet Can Tell Us About Who We Really Are》.

作者背景：本科---斯坦福大学哲学

                      博士---哈佛经济学

                     前工作---Google数据科学家

                     现就职---沃顿商学院老师

菲兹杰拉德说过：“检验一流智力的标准，就是看你能不能在头脑中同时存在两种相反的想法，还维持正常行事的能力。”

麦兹伯格的《意会》与本书立意相悖，就像阴阳互补，并非剑宗与气宗之别。《意会》的重点是大数据不行，得靠人；本书说的是，了解真实的人，还得靠数据本身，因为数据不会说谎，而人会。

其中，举了三个例子说明了人是会隐瞒一些事实的，无论出于什么目的与心理，问卷调查亦或是心理测试，一些展露出去的东西，人们会有意无意的隐瞒或者完善一些表象，导致了普查数据或者立于表面的数据会有错误性。假设，别人问你的事情涉及隐私，或许你不一定会乐意如实相告，而数据却骗不了人，比方说，我们遇到了问题，会问BAIDU、Google，去寻求一些线索、答案。这些浏览数据就会在网路上留下痕迹，成为大数据的其中之一。

“大数据”这个词现今的使用频率很高，那么怎样去区分是否需要用到大数据。一些简单直观的问题，我们未必需要大数据；而一些需要参照对比，或者更为复杂的问题我们需要使用到大数据。

赛斯在书里列举了大数据三个关键用途

1.从罕见的案例中发现规律

胰腺癌的预防：数据指出，胰腺癌患者发病前未必是完全没有征兆的。会出现后背疼痛、皮肤变黄、消化不良伴随腹痛的症状。将大数据用于疾病预防，特别是一些特殊疾病或重大疾病的预防的确是一件很好的事情。

2.量化一个效应的大小

抑郁症与晒太阳的关系。抑郁症患者搬去一个大部分时间阳光灿烂的地区会比住在阴雨地区的治疗效果更好。

3.发现反直觉的结论

其实，我觉得这一点俗套一些来说，就是把我以为的可能用大数据加以辩证，得到不同的结果，更科学化的结果。纠正一些思维定式中的谬误。大数据可以得出一些跟我们的直觉相反，但却是更可信的结论。

关于Google与BAIDU对于日常检索的实用性在前一篇《分拣与方式》中已经提及了，不再加以赘述。