线性回归Lasso(L1)和岭回归(L2)区别

2017-08-22  本文已影响0人  夏天和冬瓜茶

L1和L2比最大的区别是L1得到的参数解有更多的零,就是解更稀疏。

有两种较直观的解释:

1.最小均方函数导数不为0时,L2导数加上最小均方函数导数肯定不为0。但是L1的正则项是绝对值函数,导数为0只要在x从左边趋向于0和从右边趋向于0时导数异号就行,所以更容易得到稀疏解。

2.目标函数最小均方差解空间为同心圆,L2解空间也为同心圆,L1解空间为菱形,两个解空间相交处为最优值。如图1所示。

目标函数和正则式解空间
上一篇 下一篇

猜你喜欢

热点阅读