读「统计学七支柱」——Information

支柱二：Information

Information，信息，本文指的是数据的信息度量——不同数据集的比较信息和随着数据增长而产生的信息增长率。
首先，作者提出一个问题——如果我们通过组合观测值获取信息，那么获取的信息与观测值的个数有什么联系？作者用“沙堆悖论”来说明这个问题：

• 一粒沙子不能称为沙堆
• 向一滩沙子添加一粒沙子，不能使它变成沙堆
• 但是沙堆确确实实存在

证据确实是越多越好，但是要多多少呢？

然后作者使用铸币检查试验，说明了根号n规则，若一枚硬币的误差应该在R之内，那么一百枚硬币的误差则应该在10R之内，而不是100R之内。换个简单的说法就是，如果想要使成绩翻一番，那么需要付出的努力是4倍，而不是2倍。

最后作者指出，数据中的信息是可以度量的，其精度在某种程度上与数据的数量是相关的。