关于正则化的理解

正则化是通过改变模型参数来防止过拟合的一个方法。

前面使用多项式回归，如果多项式最高次项比较大，模型就容易出现过拟合。正则化是一种常见的防止过拟合的方法，一般原理是在代价函数后面加上一个对参数的约束项，这个约束项被叫做正则化项（regularizer）。在线性回归模型中，通常有两种不同的正则化项：

1.加上所有参数（不包括thea 0）的绝对值之和，即l1l1范数，此时叫做Lasso回归

2.加上所有参数（不包括thea 0）的平方和，即l2l2范数，此时叫做岭回归