信息熵+交叉熵+KL散度

2020-04-08 本文已影响0人 zuomeng844

熵的本质是香农信息量 $log\frac{1}{p}$ ，被用于描述一个系统中的不确定性。

在决策树算法中的信息熵: $H(P) = -\sum_{i=1}^np_{i} logp_{i}$

在反向传播算法中衡量两个分布 $p$ 和 $q$ 差异的交叉熵： $H(p,q )=-\sum_{i}^n p logq$

KL散度(相对熵)： $D_{KL}(p∣∣q)=H(p,q)−H(p)= \sum_{i}^n [p_{i}logp_{i} - p_{i}logq_{i}]$