熵、相对熵和互信息 —— 读《信息论基础》（三）

熵这个概念，最初来自于热力学第二定律 —— 虽然有多种表述，但是都等价，所以我们这一种：

在孤立系统中，实际发生过程，总使整个系统的熵值趋于增大。

不加以管理和外部信息的输入，系统总是倾向于混乱和无序 —— 大概是这个隐喻，所以任正非才总说要对抗组织的熵增。

而随后，香农发明了信息论的时候，需要针对工程意义上的信息、而不是语义上的信息，也就是工程上的不确定性，给出一个名称，作为区分 —— 然后有一个段子来了：

名不正则言不顺，命名就是召唤，必须要原力觉醒啊 —— 所以entropy就被用上了。而且，更重要的是，别人会不明觉厉，O(∩_∩)O哈哈~ —— 当然了，这也说明了工程意义上的信息，确实不好定义与命名、很难从直观上进行理解。

对于熵的定义，首先看离散空间下的定义：

一些性质：

进一步，从熵的表达式进行一些变化，如果将Ep定义为期望，那么：