信息熵

信息的本质就是消除（事物）不确定性。

不确定性也叫信息熵，要通过一定的信息量来消除。也就是说信息熵和信息量等同。那么如何确定信息熵或信息量呢？香农给出了计算公式：

一个系统中的状态数量（也就是可能性）越多，不确定性就越大。在状态数量保持不变时，如果各个状态的可能性相同，不确定性就会很大。相反，如果只有个别状态容易发生，大部分状态都不可能发生，那么不确定性就小。

举例：我的钥匙放哪里了？

我们经常有这样的经历，早上起来去上班，突然找不到钥匙了，四处寻找。

假如，你的钥匙可能放在了4个地方：第一个是钥匙盒，第二个是书房，第三个是客厅里，第四个是洗手间。

这时候，状态数量为4，分别为钥匙盒，书房，客厅里，洗手间。

如果还有其他状态，比如厨房，抽屉等等，状态越多，钥匙越难找，也就是钥匙所在位置的不确定性越大。

如果我们确定了只可能在钥匙盒，书房，客厅里，洗手间这4个地方。假如在钥匙盒的概率为70%，在书房、客厅、洗手间的概率分别为10%，那么信息熵为 -（0.7）*log2（0.7）-（0.1）*log2（0.1）*3= 0.21+0.99=1.2

如果概率都为0.25(1/4) 那么信息熵为2；

所以，我们的房间越乱，钥匙存在的状态会越多，信息熵会越多，钥匙的不确定性会越大。

如果，状态多而且钥匙出现在各个地方的概率相同，那么钥匙的不确定度会最大。比如，被小偷偷过后的房间，在这种情况下寻找一个东西，是最难的。

信息熵给我们能带来什么启发呢？

平时工作中，如果上级给我们安排的工作都是一些按部就班的工作，结果有确定性预期的工作，其实按照信息熵的原理来看是不值得做的。按部就班说明每一个步骤和动作都是确定性的。这个事情的信息熵很低，我们需要克服它的信息量需要的越少，证明我们的工作价值越低。