正则化之参数惩罚

2018-12-26 本文已影响0人若_6dcd

在线性模型中，为了预防overfitting过度拟合，添加了惩罚项 $\frac{\lambda}{2m}\sum_{1}^m\theta_{j}^2$

但是为何要加入这一惩罚项令人困惑。

预防过拟合这个答案给出了解释：

当过拟合的时候，为了匹配测试集里的所有数据，泛化不好的高阶函数会产生很大的抖动，抖动导致导数变得很大，需要系数 $\theta$ 很大才能拟合所有的数据。所以加入惩罚项可以惩罚系数非常大的情况，使得选择系数避开这些抖动非常大的系数。