信息熵、条件熵、相对熵、交叉熵

自信息

简单来说，自信息表述的是随机变量的某个事件发生带来的信息量（一个事件）

image-20200403221749825.png

信息熵

信息熵表述的是随机变量所有事件发生产生的信息量的期望（所有时间）

使用更短的编码来描述更可能的事件，使用更长的编码来描述不太可能的事件。可以引出熵和最短编码长度的关系：熵是传输一个随机变量状态所需的最短平均编码长度。

image-20200403221954543.png

条件熵

条件熵​相当于联合熵​减去单独的熵​，可以理解做：描述X本身所需的信息，加上给定X条件下具体化Y所需要的额外信息

image-20200403222444993.png

相对熵，也称KL散度

image-20200403222709737.png

相对熵可以用来衡量两个概率分布之间的差异

交叉熵

image-20200403222850066.png

而使用非真实分布​来表示来自真实分布​样本的平均编码长度则为：

image-20200403222957092.png
image-20200403223049960.png

• 以下也是我们在机器学习中使用交叉熵作为损失函数的原因，由于真实分布是定值，因此最小化相对熵等价于最小化交叉熵，我们最小化交叉熵来使模型逼近真实分布

  
  image-20200403223305349.png

参考

详解机器学习中的熵、条件熵、相对熵和交叉熵