ml-正则化(regularization)

2019-11-28 本文已影响0人天凉玩个锤子

过拟合(over-fitting)

过拟合：过于强调拟合原始数据，而丢失了算法的本质：预测新数据。

欠拟合恰好过拟合三者对比

分类问题中也存在类似的问题：

解决办法：

回归模型

正是高次项导致了过拟合的产生。
目标：让高次项系数接近于0。
修改代价函数：

为 $\theta_3$ 和 $\theta_4$ 设置惩罚

问题：并不知道其中哪些特征需要惩罚
思路：对所有特征进行惩罚，让代价函数最优化的软件来选择这些惩罚的程度。

注：通常不对 $\theta_0$ 进行惩罚。

分析：

$\lambda$ 过大，除 $\theta_0$ 以外其他所有参数都较小，模型变成 $h_\theta(x)=\theta_0$ ，是一条平行于 $x$ 的直线，导致欠拟合。

可以看到，每次除了 $\theta_0$ 以外 $\theta_i$ 均在原有的算法更新规则的基础上减少了一个额外的值。

对于逻辑回归，也给代价函数 $J(\theta)$ 增加一个正则化的表达式，得到：

增加一项

计算过程同上文的线性回归，但是由于模型 $h_\theta(x)$ 不同，所以二者有本质不同。

注意：
$\theta_0$ 不参与任何一个正则化。