<font color=blue> Lasso </font>

在岭回归中，是对w的2范数做约束，就是把约束条件限制在一个球里。放缩是对球的半径的放缩，因此w的每一个维度躲在以同一系数放缩，通过放缩不会产生稀疏的解，即某一w为0。
　　在实际运用中，数据的维度是存在噪声和冗余的，稀疏的解找到有用的维度并减少冗余，提高回归预测的鲁棒性和准确性。

特点

擅长处理具有多重共线性的数据，筛选变量，与岭回归一样是有偏估计。

lasso回归表达式

　　与岭回归的区别主要在其表达式上，其惩罚函数是一个β的一阶函数
将其转换为一个约束项

　　t和λ也是一一对应的，λ增大的过程就是t减小的过程
其几何表现形式

　　由于方框的顶点更容易交于抛物面，也就是lasso更易求解，而该顶点对应的很多系数为0，也就起到了筛选变量的作用。

岭回归和lasso回归过程对比

　　左图为岭回归，右图为lasso回归
　　横轴越往左，自由度越小（即圆或方框在收缩的过程），λ越大，系数（即纵轴）会越趋于0。但是岭回归没有系数真正为0，但lasso的不断有系数变为0.