岭回归原理推导

岭回归(英文名：ridge regression, Tikhonov regularization)是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。

参考链接：

百度百科岭回归原理介绍

矩阵求导相关知识

可以发现w的绝对值均趋于不断变小，当lambda趋于无穷大时，w趋于0。其中，w随着lambda的改变而变化的轨迹，就称为岭迹。实际计算中可选非常多的lambda值，做出一个岭迹图，看看这个图在取哪个值的时候变稳定了，那就确定lambda值了。

岭回归是对最小二乘回归的一种补充，它损失了无偏性，来换取高的数值稳定性，从而得到较高的计算精度。

通常岭回归方程的R平方值会稍低于普通回归分析，但回归系数的显著性往往明显高于普通回归，在存在共线性问题和病态数据偏多的研究中有较大的实用价值。