18.机器学习- 逻辑学习（3）正则化

正则化其实就是将一些特征给减小很多，相当于消掉，这样函数将变得更加简单，那么他过拟合的可能就更小了。

1.正则化公式

我们使用了这个新的代价函数，来权衡两个目标

• 最小化第一项，可以让（预测值-真实值）的平方尽可能的小，从而算法能更好的拟合数据，（第一个目标就是拟合数据）
• 最小化第二项，让参数Wj尽可能的小，这样可以减小过拟合的风险（第二个目标）

这个时候λ的选择就至关重要，因为想要最小化第二项，如果λ取值很大，w的值就需要取接近于0，这样就导致函数约等于0，就是一条直线。

如果λ取值为0，这样就到时w都非常大，这样数据就产生了过拟合的现象。

所以λ需要取值在两者之间较好，会拟合出一个多项式，保留了所有的特征。

2. 用于线性回归的正则化

加上了为了避免过拟合的第二项之后，梯度下降算法就相应的做了变化。

因为第二项是针对w的函数，所以b的更新求导并没有变化。

3. 用于逻辑回归的正则化