KL散度

2023-04-13 本文已影响0人不可能打工

KL散度（Kullback-Leibler divergence），也称为相对熵，是一种用于衡量两个概率分布之间差异的指标。假设 $p(x)$ 和 $q(x)$ 是两个概率分布，KL散度的计算公式如下：

$D_{KL}(p||q) = \sum_{x}p(x)\log\frac{p(x)}{q(x)}$

其中， $D_{KL}(p||q)$ 表示从 $p$ 到 $q$ 的KL散度， $p(x)$ 和 $q(x)$ 分别表示 $x$ 在 $p$ 和 $q$ 中的概率。

KL散度的计算可以理解为从 $p$ 到 $q$ 的信息损失。具体来说， $D_{KL}(p||q)$ 表示在用 $q$ 来近似 $p$ 时，由于 $q$ 无法完全表示 $p$ 的信息，导致信息损失的程度。

KL散度具有以下几个性质：

非负性： $D_{KL}(p||q) \geq 0$ ，当且仅当 $p(x) = q(x)$ 时，等号成立。
不对称性： $D_{KL}(p||q) \neq D_{KL}(q||p)$ ，即从 $p$ 到 $q$ 的KL散度与从 $q$ 到 $p$ 的KL散度不相等。
无限制性： $D_{KL}(p||q)$ 可能为无穷大，即当 $p(x) > 0$ 且 $q(x) = 0$ 时， $D_{KL}(p||q)$ 为无穷大。

KL散度在机器学习中有广泛的应用，例如用于衡量两个概率分布之间的差异，用于优化生成式模型的损失函数等。