正则化：L0 vs L1 vs L2
2019-05-03 本文已影响7人
cherryleechen
- 为什么正则化可以缓解过拟合？
过拟合时，拟合函数的系数往往非常大。过大的权重会导致模型过多地学习到某些数据的个性特征，从而导致过拟合。更少的参数（实际是更多的参数取值为0或取值趋于0），模型倾向于变得简单。
规则化函数可以有多种选择，不同的选择产生的效果也不同。不过其一般是模型复杂度的单调递增函数，即模型越复杂，规则化的值越大。通常，我们将其定为模型中参数向量的范数。
- L0范数
向量中非0元素的个数。希望中大部分元素是0，实现稀疏。
- L1范数
向量中各元素的绝对值之和。也叫Lasso Regularization。也可以实现稀疏化，通过将无用特征对应的参数- L0 vs L1
L0和L1都可以实现稀疏化。稀疏化的好处，一是进行特征选择，二是可解释性强。不过一般使用L1而不使用L0的原因在于，一是L0很难优化求解，是NP难问题；二是因为L1是L0的最优凸近似，比L0更容易优化求解。
- L0 vs L1
- L2范数
向量中各元素平方和然后开方。用在回归中也称为岭回归(Ridge Regression)。
L2缓解过拟合的原理是，其使得发生很大的变化，模型预测值
的变化也会很有限。
- L1 vs L2
参数更新时，L1通过将
- L1 vs L2
