日更-《模型思维》15

第12章 熵：对不确定性建模

熵是对不确定性的一个正式测度。
利用熵，我们可以证明不确定性、信息内容与惊喜之间的等价性。

• 低熵对应于低不确定性，同时揭示的信息很少。如果某个结果发生在低熵系统中，例如太阳从东方升起，我们并不会感到惊讶。
• 而在高熵系统中，比如在抽奖时抽中了某个数字，结果是不确定的，并且实现的结果能够揭示信息。

平衡结果没有不确定性，因此其熵等于零。周期性过程具有不随时间变化的低熵。当然，完全随机过程具有最大的熵。复杂性具有中等程度的熵，因为复杂性位于有序性和随机性之间。