交叉熵

2019-01-26 本文已影响6人 YPY_93a9

1. 熵

$H(x) = \sum\nolimits_{i=1}^np(x_i)log(p(x_i))$

2. 相对熵（KL散度）

P为样本的真实分布，比如[1,0,0]表示当前样本属于第一类。Q用来表示模型所预测的分布，比如[0.7,0.2,0.1] 。如果相对熵的值很小，那我们认为q的分布近似于p。以下为相对熵的公式，其中n表示类别

$D_{KL}(p||q) =\sum\nolimits_{i=1}^np(x_i)log{{p(x_i)}\over{q(x_i)}}$

3. 交叉熵

交叉熵适用于逻辑分类问题

将相对熵变形可得到

$D_{KL}(p||q) = -H(p(x))- \sum\nolimits_{i=1}^np(x_i)log(q(x_i))$

前一部分是p的熵，后一部分是交叉熵