概率和熵的关系

2019-12-20 本文已影响0人 ENEC

ABCD四个选项，不知道正确选项时的熵：

$\frac{1}{4} \log_2 \ 4 +\frac{1}{4} \log_2 \ 4+\frac{1}{4} \log_2 \ 4 +\frac{1}{4} \log_2 \ 4 = 2$

知道C有一半正确可能性时的熵：

$\frac{1}{6} \log_2 \ 6 +\frac{1}{6} \log_2 \ 6+\frac{1}{2} \log_2 \ 2 +\frac{1}{6} \log_2 \ 6 = 1.79$

获得额外信息导致单个事件的概率发生变化，最终表现为整体事件的熵（不确定性）降低

三门问题：三道门的其中一道里有大奖，你选了A门，然后主持人打开B门后发现是空的，要不要改选C门？

原系统的熵：

$\frac{1}{3} \log_2 3 +\frac{1}{3} \log_2 3+\frac{1}{3} \log_2 3=1.585$

主持人不知道B门后是空的：

$P(A|\bar {B} ) = \frac{1\times \frac{1}{3} }{1\times \frac{1}{3} +\frac{1}{2} \times \frac{2}{3}} =\frac{1}{2}$

$\frac{1}{2} \log_2 2 +\frac{1}{2} \log_2 2 =1$

主持人知道B门后是空的：

$P(A|\bar{B} ) = \frac{1\times \frac{1}{3} }{1\times \frac{1}{3} +1\times \frac{2}{3}} =\frac{1}{3}$

$\frac{1}{3}\log_2 3+\frac{2}{3}\log_2 1.5= 0.918$

（贝叶斯公式： $P(A|\bar{B} ) = \frac{P(B|\bar {A} )P(A) }{P(B|\bar{A} )P(A) +P(\bar{B}|\bar {A} )P(\bar{A} )}$ ）

主持人知道B门后是空的这个信息，导致了A、C门后有奖概率的变化，并降低了系统的熵

主持人不知道B门后是空的，相当于直接排除“B有”，信息量0.585（图1）

主持人知道B门后是空的，相当于在“A无”的基础上排除“B有”，信息量0.667（图2）

二者的区别在于，当主持人知道B门（或C门）后为空时，他就不可能打开一扇有东西的门，而在图1中，主持人打开的B门可能不是空的，所以在第二种情况中，系统为答题者提供了更多的信息

图1

图2

更具体来说，图1相当于答题者对系统说：帮我随便排除B、C中的一项，哪怕后面有东西我也认

而图2相当于答题者对系统说：帮我排除B、C中为空的一项

显然图2的信息量更大