信息熵（香农熵）、条件熵、信息增益的简单了解

信息熵（香农熵）

1948年，香农提出了 “信息熵（entropy）”的概念
信息熵是消除不确定性所需信息量的度量，即未知事件可能含有的信息量。通俗的讲信息熵是用来衡量信息量的大小。

• 若不确定性越大，则信息量越大，熵越大。
• 若不确定性越小，则信息量越小，熵越小。
  下面我们引出信息熵的公式：
  
  其中P(x_{i}) 代表随机事件X为x_{i} 的概率，式中对数一般取2为底
  例子:
  
  设上述例子中嫁的变量为Y：
  p(y=嫁) = 1/2
  p(n=不嫁) = 1/2
  所以H(Y) = -1/2log1/2 - 1/2log1/2 = 1

条件熵

信息熵是代表随机变量的复杂度（不确定度），条件熵代表在某一个条件下，随机变量的复杂度（不确定度）
例子：

可以求得随机变量X（嫁与不嫁）的信息熵为：
嫁的个数为6个，占1/2，那么信息熵为-1/2log1/2-1/2log1/2 = -log1/2=0.301
现在假如我知道了一个男生的身高信息
身高有三个可能的取值{矮，中，高}
矮包括{1,2,3,5,6,11,12}，嫁的个数为1个，不嫁的个数为6个
中包括{8,9} ，嫁的个数为2个，不嫁的个数为0个
高包括{4,7,10}，嫁的个数为3个，不嫁的个数为0个
先回忆一下条件熵的公式如下：

我们先求出公式对应的:
H(Y|X = 矮) = -1/7log1/7-6/7log6/7=0.178
H(Y|X=中) = -1log1-0 = 0
H(Y|X=高） = -1log1-0=0
p(X = 矮) = 7/12,p(X =中) = 2/12,p(X=高) = 3/12
则可以得出条件熵为：
7/120.178+2/120+3/12*0 = 0.103

信息增益

信息增益 = 信息熵 - 条件熵
信息增益代表了在一个条件下，信息复杂度（不确定性）减少的程度
上面例子的得知身高信息后，信息增益为（我们知道信息熵与条件熵相减就是我们的信息增益）：
1 - 0.103 = 0.897
所以我们可以得出我们在知道了身高这个信息之后，信息增益是0.897