定义

相对熵（relative entropy），又被称为Kullback-Leibler散度（Kullback-Leibler divergence）或信息散度（information divergence），是两个概率分布（probability distribution）间差异的非对称性度量 。在信息理论中，相对熵等价于两个概率分布的信息熵（Shannon entropy）的差值。

计算

离散情况

连续情况

应用

相对熵可以衡量两个随机分布之间的距离，当两个随机分布相同时，它们的相对熵为零，当两个随机分布的差别增大时，它们的相对熵也会增大。所以相对熵可以用于比较分布的相似度。作为一些损失函数的一部分。

在机器学习中，P往往用来表示样本的真实分布，Q用来表示模型所预测的分布，那么KL散度就可以计算两个分布的差异，也就是Loss损失值。
有时会将KL散度称为KL距离，但它并不满足距离的性质，因为KL散度不是对称的，且KL散度不满足三角不等式。

引用

交叉熵、相对熵（KL散度）、JS散度和Wasserstein距离（推土机距离）