学习笔记-拉普拉斯先验与L1正则化和高斯先验与L2正则化

2020-03-07 本文已影响0人 Pluto_wl

在之前的笔记中记录了L1与L2正则化，现在我们来看为什么拉普拉斯先验等同于L1正则化，高斯先验等同于L2正则化。

高斯分布
假设随机变量X分布的期望为 $\mu$ ,方差为 $\delta$
$f(x)=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(x-\mu)^2}{2 \delta ^2 }} \tag{2.1}$
假设数据服从高斯分布，即参数 $\theta$ 服从高斯分布
2.1 将式(2.1)中的 $x$ 替换为 $\theta$
$P(\theta)=f(\theta)=\frac{1}{\sqrt{2\pi}\delta}e^{-\frac{(\theta-\mu)^2}{2 \delta ^2 }} \tag{2.1}$
2.2 取log
$log(P(\theta))=-\sqrt{2\pi}\delta {-\frac{(\theta-\mu)^2}{2 \delta ^2 }} \tag{2.2}$
2.3 令 $\mu=0$
$log(P(\theta))=-log(\sqrt{2\pi}\delta) {-\frac{(\theta)^2}{2 \delta ^2 }} \tag{2.3}$
2.4 令 $\lambda = \frac{1}{2\delta ^2}$
$log(P(\theta))=-log(\sqrt{2\pi}\delta) {-\lambda \theta ^2} \tag{2.4}$
从这里我们可以看出高斯先验等同于一个常数+L2正则化即 MLE+L2正则化