哪种不确定?什么黑天鹅?
这没啥用。不敢忽略小概率事件可不叫懂统计学 —— 统计学不是吓唬人用的。真正的本事,是不但知道不该忽略的时候不忽略,而且知道该忽略的时候忽略。
最近,我们专栏特别推崇的两位牛人,一个是《黑天鹅》的作者纳西姆·塔勒布,一个是538网站的主理人纳特·西尔弗(Nate Silver),在Twitter上爆发了一场激烈的争吵。我想给你介绍一下这场争吵 —— 你也许能从中更精确地体会到什么叫“不确定性”,什么叫“预测”,以及什么叫“黑天鹅”。
1.牛人相轻
我先给你说说经过。西尔弗是当今预测界首屈一指的人物。他自学成才,因为在2008年总统大选中成功预测了美国51个州中50个州的选举结果而一举成名,后来创办了“538”网站,专注预测体育比赛和政治竞选结果。他对2012年大选的预测也非常成功,后来还出了一本书叫《信号与噪声》,可谓是预测这个行业的代言人。
但是2016年,西尔弗失手了。他一直预测特朗普当选的概率在50%以下,有时候甚至低于20% —— 而特朗普当选了。当然,绝大多数民调机构都预测失败 —— 某些记者可能会说特朗普当选是个“黑天鹅事件”。但是,刚刚过去的2018年中期选举,西尔弗的预测又比较失败。那既然你是预测名人西尔弗,别人就有权据此嘲笑你。
而西尔弗的反驳是,嘲笑者不懂数学。
他这么说是有道理的。538网站给的预测从来都不是给一个单一的结果,而是一个概率。它不会说“特朗普会输”,它只会说“特朗普赢的概率是35%”。
如果特朗普居然赢了,你很难说是西尔弗预测失败,这可能只不过是一个概率是35%的事件发生了而已!从这个角度来看,你不能说538网站预测错了,咱们以前讲安妮·杜克的《赌博思维》那本书的时候说过这个道理。
但是,塔勒布不干了。塔勒布说我看是西尔弗不懂数学。
塔勒布在Twitter上说话一贯尖酸刻薄,但是他的确有权这么说,因为塔勒布紧接着贴出一篇自己在2017年专门针对这个现象写的一篇数学论文。
塔勒布的意思是说,西尔弗预测出来的概率总是剧烈变化,这种预测毫无价值。
接下来西尔弗的反应可以说是崩了人设 —— 他完全回避了数学,转为对塔勒布人身攻击 ——
所以 Twitter 真不是心平气和讲理的地方啊。那塔勒布的批评有道理吗?
2.什么是预测
咱们得先了解一下现在主流的、科学的预测方法是什么样。包括538网站的预测在内,预测一般分三步。
第一步是用一个数学模型代替真实世界。比如我要预测一场足球比赛,我的预测模型可以是双方球员的能力值决定比赛结果。我只考虑了射门、传球、防守各项能力的对比,但是像裁判执法是否公正,天气之类的因素我就忽略了。任何模型总要忽略一些东西。
第二步是对你的模型进行若干次的模拟。比如说,我的模型里包括22个 AI 球员,他们各自代表一名真实球员的能力值。我可以据此用计算机模拟10万场比赛,看看有多少场是主队赢了,有多少场是客队赢了。
这个方法叫做“蒙特卡洛法” —— 蒙特卡洛本来是摩纳哥的一个赌场的名字,但是现在一提蒙特卡洛人们首先想到的就是计算机模拟,这个方法实在太常用了。
第三步是把你模拟的结果告诉公众。比如在这十万场模拟中,主队赢了72%,客队赢了15%,两队打平的概率是13%,538网站就会把这个结果作为自己的预测。
你发现其中的问题没有?公众想要的是*事件本身的概率*,538网站给的是*它家模型模拟出来的概率*。
那你的模型要是不对呢?
用统计学家的话来说,这种预测包含两种不确定性。
第一种是“偶然不确定性(Aleatoric uncertainty)”, 也叫统计不确定性。它的意思是在给定模型的情况下,在模拟的过程中出现的不确定性有多大。
比如你问我一个骰子投出去之后,数字“6”会不会朝上。我假设这个骰子是公平的,六个面朝上的可能性一样大,所以我告诉你“6”有可能朝上,这个概率是1/6。
就算我这个假设 —— 也就是我用的数学模型 —— 完全正确,我也不可能给你一个确定的答案:我不可能告诉你6一定朝上或者一定不朝上,因为我的模型里包含不确定性。
我不能给你准确的结果,但是我能给你一个准确的概率。
第二种是“认知不确定性(Epistemic uncertainty)”,也叫系统不确定性。意思是说你这个模型可能不对。
也许这个骰子是有缺陷的,而我却以为它是个公平的骰子。也许这场足球比赛的裁判起了很大的作用,可是我完全没考虑裁判因素。
因为偶然不确定性而预测不准,那是运气不好,我可以理直气壮地指责那些指责我的人不懂数学。但要是因为知识不确定性而预测不准,那就是我的问题了,是我考虑不周,是我缺少重要的认知。
什么叫“黑天鹅”呢?黑天鹅说的是认知不确定性。明知道登山有一定的危险,有人还非得登山,结果摔死了 —— 这不叫黑天鹅,这叫运气不好。反过来说,2008年金融危机则可以称为一次黑天鹅事件,因为导致金融危机的一系列连锁反应,这个机制不在经济学家的预测模型之内。
3.预测的市场
那塔勒布为什么要批评西尔弗呢?因为西尔弗没有明确告诉公众他预测的认知不确定性。
下面这张图是2016年总统大选之前6个月,538网站对选举结果预测的概率变化 ——
我们可以看到这个概率一直在波动。有时候538网站认为特朗普当选的概率接近40%,有时候还不到20%。
出现这种情况是因为538的选举模型一直在变。选举过程中总是出现各种事件,出了新事件就修改一下模型,这好像完全符合贝叶斯定理的精神 —— 观点随事实发生改变,这有啥不对呢?
但是塔勒布认为,严肃的预测不应该随着时间发生这么大的变化。塔勒布还专门写了篇数学论文,预测概率变化到什么程度,才是可以接受的。
这个批评也有道理。如果你的预测可以随时变化,那就好像一边看着球赛一边预测比分 —— 这好像谁都会啊,那预测还有什么意义呢?真正的高水平预测难道不应该提前一段时间宣布比赛结果吗?
我看“通往数据科学”网站有一位博客博主 [1] 还提出了另一个批评。他说538这么做相当于是立于不败之地!特朗普没当选,你说自己预测的只是一个概率 —— 可我们听你的预测,总要有个决策吧?决策得有阈值吧?对老百姓来说决策阈值就是50%。你说在50%以下,我就当你说预测特朗普*不会*当选。
2008年和2012年的时候,我们说你预测“准”,也是对着50%这个阈值说的 —— 那时候你坦然地接受了荣誉。如果你不承认50%这个槛,那你那个时候也应该说自己预测的不过是个概率,这只是运气好!
但是另外一个博主 [2] 说的也有道理。他说关键在于塔勒布和西尔弗是不同领域的人。
塔勒布眼中的预测,是真金白银对赌的决策依据,是利益攸关,是 have skin in the game。你说一个预测结果,别人可是会跟着投钱的!你得为预测负责任。
但是对西尔弗来说,预测结果仅仅是个谈资而已。538网站现在已经成了一个互联网基础设施,就好像搜索要上 Google 一样,想猜一件事情的结果就上538网站看预测。538是个满足好奇心的网站,也可以说是个新闻网站。比如昨天特朗普又干了什么事儿,你想知道这件事能在多大程度上影响选举结果,538会告诉你一个数值。
预测的数值变来变去,这正好是538吸引眼球的手段,是西尔弗作为媒体人的本分。西尔弗没有任何意愿老老实实地告诉读者,说我的预测就是闹着玩的,其实我也不知道谁能当选总统。
预测,已经娱乐化了。
这样说来,塔勒布和西尔弗其实都有道理。事实上他们在预测技术上的差异是非常小的。让塔勒布做538网站,他不会做的比西尔弗更好。但是,这个差异是不可调和的。
那我们能从这件事中得到什么呢?在我看来,首先是你能不能严肃认真地对待你的认知。当你谈论预测的时候,你知不知道应该怎么理解预测结果。当你谈论不确定性的时候,你知不知道你说的是哪种不确定性。当你谈论黑天鹅的时候,你知不知道黑天鹅是什么意思。当你谈论塔勒布和西尔弗的时候,你知不知道这俩人是有根本差异的。
一开始你可能想不到这里面有这么大的门道。随着知识的深入,你会对这些事儿越来越敏感。想想吧——
Twitter上出个撕什么什么的事件,竟可以是这样的水平。
参考文献
[1] Isaac Faber, Why you should care about the Nate Silver vs. Nassim Taleb Twitter war, towardsdatascience.com, Dec 17, 2018.
[2] Peter Scheyer, Nate Silver v. Nassim Nicholas Taleb, and Isaac Faber, towardsdatascience.com, Dec 26, 2018.