《信号与噪声》

▍概述

本书作者纳特西尔弗（Nate Silver）曾经在棒球预测和选举预测两大领域都取得了成功。在棒球预测中，他建立的PECOTA系统（PECOTA：“投手经验比对与优化测试算法”的首字母缩写）在2003年~2008年领先于其他预测系统；在选举预测中，他建立的538网站（取自选举人票的总票数538张）在2008年的美国总统竞选中，命中了总共50个州中的49个州。

在《信号与噪声》中，西尔弗对“预测”进行了全面的审视，书中对房市、选举、棒球、天气、地震、经济、传染病、NBA、国际象棋、扑克牌、股票、气候，甚至恐怖袭击等诸多方面的预测进行了分析，并提出了一套完整的预测框架。

虽然涉猎众广，且“预测”在一般意义上被认为是一个技术性的词汇，本书却并不是本“手把手”的操作书，而是一部方法论。

在绝大部分篇幅里，我们找不到任何的“鱼”：具体的预测技巧。相反，作者在一遍又一遍（上述13个领域构成了本书的13章）地教授“渔”：预测的目标怎么定，预测的质量有多高，影响的因素在哪里，改进的方法有什么。

▍一、前提假设

既然是方法论，当然会有一个前提假设。

本书假设的前提有三点：

1、世界上存在着客观真理；

2、人类无法直接认识客观真理；

3、人类可以通过对自己观念的修正来不断地接近客观真理。

▍二、前七章概述

当然作者不是一开门就抛出这套理论，不然马上就会遭到异议。因为作者所提出的和我们——至少最近二三十年的几代——所接受的系统性的科学教育中隐含的本质是相悖的。我们接受的科学主义的核心是：通过科学可以认识世界——换个说法，即客观真理。

为了让读者能循序渐接受，全书的前七章实际上都在铺垫。

简要罗列前七章主要领域的预测分析：

（注：理论指理论根基，模型指数据模型，数据指数据质量，预测指预测效果；另外差、中、好是我总结的，不代表作者观点）

1、房市：理论差、模型差、数据差、人为影响大，预测差；

2、选举：理论中、模型中、数据中、人为影响大，预测差；

3、棒球：理论好、模型中、数据好、人为影响小，预测好；

4、天气：理论好、模型中、数据好、人为影响小，预测好；

5、地震：理论差、模型差、数据差、人为影响大、预测差；

6、经济：理论差、模型差、数据差、人为影响大、预测差；

7、传染病：理论差、模型差、数据中、人为影响大、预测差。

实际上，“房市”和“经济”是同一类。

我们看到，预测基本是由“人”、“理论”、“数据”三者相互作用而产生的（下文我将它们称为“预测三要素”，当然此处也不代表作者观点）。好的预测需要“天时地利人和”：好的理论、好的模型、好的数据和减少人为影响同时作用。若一个元素不好，甚至每个元素都不好，预测的结果也不会好。

▍三、预测三要素：人

之前不是说过作者的538网站在选举预测中大获成功吗？为什么选举预测总体上还是很差呢？

因为那只是个例。选举期间，真正面对广大受众的，在新闻、访谈、社论中出镜、执笔的专家们所做的预测，准确率是极低的。作者以广受欢迎的政治节目“麦克劳夫伦讨论小组”为例：小组成员的平均预测准确率是49%~52%，和掷硬币猜人头的概率相当。

“麦克劳夫伦讨论小组”中的成员可谓名副其实的“圈内人士”：他们来自《芝加哥论坛报》、《福克斯新闻》、《新闻周刊》，民调的数据也很容易获取，为什么他们的预测效果仍然不好呢？作者给出的答案是：立场。

保守派不会预测自由派当选，自由派也一样。更重要的是，有时预测者并不在意预测的结果，他们更在意过程——是否吸引了足够多的受众。于是他们的选择是：坚持观点，和加大嗓门坚持观点。

也就是说，预测者们专注于观点本身——无论对错——带来的影响力，而不关心结果如何。在现实中能被我们轻易识别出的，也正是那些站定派别后就不再换边的人。

但选举总会有结果，与此相比那些需要更长时间才能检验结果的领域，比如地震和经济预测上，在谋求影响力的推动下，不断产生“青蛙预测地震”或“橄榄球超级碗大赛冠军预测经济走势”这样的论调就不足为奇了。

回头再看，作者的538网站之所以能取得成功，仅仅因为西尔弗盯住民调作为主要指标——竞选级别越高，越接近最终大选，民调的结果就越稳定——而摒弃了人在其中的影响。

与此类似，棒球和天气之所以能取得成功，很大一部分原因也在于预测者们摒弃了个人的好恶，专注于从数据中挖掘证据。

▍四、预测三要素：理论

但是，如果过于强调数据的作用，就会掉入“数据决定论”的陷阱。事实上，作者认为，在人、理论、数据这三者中，数据的重要性反而是最低的，一个正确的理论远胜于千万数据。

例如棒球。棒球运动中，几乎所有运动员的表现都能被量化，但正因为数据庞杂，如何选择合适的数据成了预测的关键。最好的理论需要的并不仅仅是棒球场上量化的数据：本垒打数、保送数——反映了球员现在的能力；也需要结合棒球场外无法量化的数据：态度、自信心——反映了球员未来的潜力。

再如天气。最开始的天气预测实际上是纯数据的：统计“历史上的今天”降水的平均概率。很显然我们都知道不能仅靠过去去预测未来：现在天气预测先将大气层划分为一块块的“网格”，并建立模型预测它们之间相互作用时对天气的变化和影响，精度取决于“网格”的密度。随着科学发展，和对气流、温度变化的持续研究——还有越来越强大的超级计算机的帮助，我们已经能够把大气的“网格”划分得越来越小。

而对于地震、传染病，正因为目前我们对它们的成因或传播方式的研究还有诸多盲点，所以目前的模型都有各自的局限，预测效果也不好。

▍五、预测三要素：数据

虽然数据的顺位不如理论和人，但也是很重要的——经由理论建立的模型需要投入大量的数据才能运算。

但是数据也有自身的问题：太多了。在如今的信息社会，每天都会产出大量的数据，其中真实数据的产出速度远不如虚假、重复数据的产出速度——比如作为一个直观的案例，可以打开微博和朋友圈看看大多数信息的质量——有用的信号太少，噪声太多。

这也是影响经济预测重要因素：美国政府每年公布的数据有4.5万个，而私人数据提供者甚至能追踪400万个不同的统计，其中真正能起到指标意义的数据，只有绝少的一部分。

▍六、预测的偏见

预测需要一个好的理论，但好理论或坏理论都只有人才能建立。

模型结合了理论和数据，但对模型效果的检验需要更多的数据和——人的参与。

此外一些数据本身就是“偏见”的产物：比如棒球运动员的“自信心”，需要人——球探——依靠主观经验去量化。

我们能看到，在预测中“人”的影响无处不在，而人又是带有偏见的，所以大部分的预测难免会被偏见所影响。

▍七、预测的框架——贝叶斯定理

前七章毕，我们眼前有两个问题：

1、人、理论和数据都有各自的局限，如何组织它们？

2、预测难免带有人的偏见，有没有带着人的偏见也能作出好预测的方法？

对此，作者提出了一套预测的框架——贝叶斯定理。

在这里只简要介绍下如何应用贝叶斯定理：

1、承认人在预测前就带有某种偏见。

（举个例子，比如我发现前方蹲着一只生物，我想预测下它到底是什么，此时我有一个初始偏见：遇见一只未知生物时会先下意识地以为它是狗。）

2、将这种偏见表示为概率的形式。

（称作“先验概率”，此时我对我的偏见进行主观量化，我认为该生物是狗的概率为60%）。

3、当更多事件发生时，分别计算出先验条件存在和不存在时相关事件发生的概率。

（我听到了一声“汪”。假如它是狗，那么它发出“汪”的概率是99%——考虑到有些狗可能喜欢说外语，比如“喵”；若非狗，它“汪”的概率是0.5%——考虑到可能有某些大概会说外语的猫，和真能说外语的八哥）。

4、将先验概率用相关事件下的不同概率调整后，计算得到后验概率，这就是你对事件的预测

（最终得到的“后验概率”中，我预测蹲着的生物是狗的可能性变成了99.69%）。

5、此时的“后验概率”就变成了你的“先验概率”。

（也可以被看作是这件事对你的影响程度，比如我再往前走，遇到了另一只蹲着的生物，此时我的初始偏见就变成了：它是狗的可能性是99.69%）

可以看到，应用贝叶斯定理时，即便带有初始偏见，只要经过足够多的事件，不断地检验和修正后，我们的偏见是可以被纠正到很低的水平的——也就是，无限地接近客观真理。

再看看贝叶斯定理下的预测三要素：人既是提供偏见——先验概率的，又是做出客观预测——后验概率的；一个好的理论能保证这一过程的顺利进行；数据——大量持续的数据——是使贝叶斯定理不断应用，后验概率逐渐接近客观真理的保障。

▍八、九至十三章

最后几章主要是应用贝叶斯定理时需要注意的问题，归根结底还是人、理论和数据。

对于人的偏见问题、立场问题，作者几乎在每一章都苦口婆心地唠叨了一遍。例如股票市场中，为什么股票经纪人有没有预测到熊市都会坚持买入？因为他们的考核周期只有90天，而股市在90天内崩盘的可能性只有4%，无论熊市还是牛市，坚持买入对他们最有利。

对于理论，假如现有的模型失败了该怎么办？作者建议启用备用模型——一个合理的基准预测，比如选举预测中，备用的模型是选还在台上的那个。

对于数据，重要的是筛选出信号——有用的那个。我们都知道GDP在公布之后还会被不断被修正，可是你知道修正的范围有多大吗？1965~2009年美国政府修正过的季度GDP中，误差幅度为±4.3%——最初估计为超常增长的，实际上也有可能在衰退。原因在于GDP估值并没有一个公认准确的概率市场——类似于股市对股票的估值，虽然这也是不确切的——实际上大部分数据都如此，因此对于数据需要在应用中注意不断修正。

书中于此相关的论述颇多，就不加赘述了。

▍九、竞争的水位——预测得准还不够

需要特别指出的是，在现实世界里，并不是掌握了贝叶斯定理，做几个准确的预测就能挣钱。例如在扑克牌领域，即便你的预测能达到95%的准确度，依然有可能输，因为顶尖玩家预测的准确度是99%。

在竞争性强的领域，特别是零和博弈的条件下，预测能力最差的玩家最终都会被淘汰。当那些准确度达到85%的玩家都因为亏损而离场后，准确度为86%的玩家就开始亏钱了，顺此而上，最终只有最顶尖的玩家才能生存。

如西尔弗所说：“竞争为人们设定了‘水位’，而个人的利润只是‘冰山一角’，漂浮在水面的仅仅是一小部分竞争优势，而隐蔽在水面下支持它的，是一个由汗水铸成的巨大堡垒。”

▍十、作者的终极理想

作者的终极理想是，如果人人都用贝叶斯定理，那么世界大同将不是梦。

引自书中，贝叶斯定理的收敛性：以股市为例，对市场走势持不同判断的交易者对各自观点进行长期修正后收敛于一点

从表面上看这是合理的，因为不管大家一开始的想法有多大的差距，在严格遵循贝叶斯定理的框架时，经过对各自观念的长期、持续的修正后，最终都将收敛于一点。

但这里其实有一个问题，“不断修正”时需要大家都取相同或接近的概率，而在现实中并没有提供这一概率的公认市场。而让人们从各自的主观出发去估计这一概率——显然大家的估计都是不同的——难免会导致后验概率的不断震荡，最终自由派和保守派是很难收敛到一个点上去的。

《信号与噪声》