岭回归

• 定义：岭回归，又称脊回归、吉洪诺夫正则化（Tikhonov regularization），是对不适定问题（ill-posed problem)进行回归分析时最经常使用的一种正则化方法。
• 原理： 在原先的最小二乘估计中加入一个小扰动，也叫惩罚项，使得原先无法求广义逆的情况下变为可以求广义逆，使得问题稳定并得以求解。岭回归通过对系数向量的长度平方添加处罚来收缩稀疏。
• 适用范围：岭回归是一种专用于共线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、更可靠的回归方法，对病态数据的拟合要强于最小二乘法。当我们在做回归分析的时候，有时会遇到这样两种情况：一是多重共线性，另一个是特征数大于样本数 。遇到这两种情形时，可以采用岭回归分析。
• 优点：岭回归缩小了回归系数，因此对结果影响较小的变量的系数接近零。系数的缩小是通过使用称为L2-正则化的惩罚项对回归模型进行惩罚来实现的，该惩罚项是系数平方的总和。
• 缺点：它将包含最终模型中的所有预测变量，这与逐步回归方法不同，后者通常会选择涉及变量减少的模型。
• 应用： 排除多重共线性和进行变量的选择

岭回归将系数缩小为零，但不会将其中的任何一个都精确设置为零。LASSO回归是克服此缺点的替代方法。

以线性回归为基础，可以衍生出lasso回归、岭回归和弹性回归。线性回归采用误差平方和来作为损失函数，虽然这种算法简单，但是也会出现过拟合的现象，在线性回归损失函数中加入正则项可以有效地解决过拟合问题；线性回归的损失函数中加入自变量系数向量的L1范数后，线性回归变为lasso回归；线性回归的损失函数中加入自变量系数向量的L2范数后，线性回归变为岭回归(Ridge回归)；线性回归的损失函数中加入自变量系数的L1范数和L2范数的结合后，线性回归变为弹性网络（Elastic Net）。

LASSO 回归

• 在特征维度高而且是稀疏线性关系时，可以考虑使用LASSO回归。该方法与岭回归的区别是使用L1正则项，是一种压缩估计方法。它保留了子集收缩的优点，是一种处理具有复共线性数据的有偏估计。
• 优点：通过对所有变量系数进行回归惩罚（penalized regression）, 使得相对不重要的独立变量系数变为0，从而排除在建模之外。LASSO方法不同于传统的逐步回归的最大之处是它可以对所有独立变量同时进行处理，而不是逐步处理。这一改进使得建模的稳定性大大增加。除此以外，LASSO还具有计算速度快，模型容易解释等很多优点。

弹性回归

• 岭回归通过添加回归系数的L2范数对回归系数进行收缩，从而增加估计值的稳定性；LASSO回归则通过添加回归系数的L1范数回归系数进行收缩。不同于岭回归的是，只要惩罚系数足够大，LASSO回归就可把所有系数收缩到0。因此，LASSO回归可以用来进行变量选择，对数据的解释性也更强。
• 弹性网络将岭回归和Lasso回归的优势综合了起来，是一种使用 L1，L2范数作为先验正则项训练的线性回归模型.这种组合允许学习到一个只有少量参数是非零稀疏的模型，就像 Lasso一样，但是它仍然保持一些像Ridge的正则性质。我们可利用 l1_ratio 参数控制L1和L2的凸组合。弹性网络是一不断迭代的方法。弹性网络永远可以产生有效解。由于它不会产生交叉的路径，所以产生的解都相当不错。
• 弹性网络包含了一个混合参数α，它和lambda同时起作用。α是一个0和1之间的数，lambda和前面一样，用来调节惩罚项的大小。当α=0时，弹性网络等价于岭回归；当α=1时，弹性网络等价于Lasso。
• 弹性网络回归善于解决含有相关性参数的模型：lasso回归筛选出相关的参数，并缩减其他无关参数；同时岭回归缩减所有相关性的参数。