sklearn学习笔记——LAR 最小角回归

Lasso回归模型，是常用线性回归的模型，当模型维度较高时，Lasso算法通过求解稀疏解对模型进行变量选择。Lars算法则提供了一种快速求解该模型的方法

lars与正向逐步回归相似。在每个步骤中，它都会找到与目标最相关的特征。当存在多个具有相同相关性的特征时，它不是沿着同一特征继续，而是沿着特征之间的等角方向前进。

具体的做法：

1）LAR最小角回归就是将目标向量拆分为多个参数向量和与参数向量线性无关的残差向量。

2）初始选择目标向量作为残差向量，随后选择一个与其相关性较大的参数向量(X1)，将初始残差向量拆分为参数向量（X1）以及由其他参数（X1，X2，X3，...,Xp）和最终残差构成的中间残差两部分。

3）拆分后在X1方向上的初始长度为0（第一部分），然后慢慢沿X1方向扩大，在此过程中如果中间残差向量与其他参数（X2，X3，...,Xp）的相关性大于X1，则停止移动，并求出原参数与新添加参数平分线，在平分线上投影并计算中间残差。

由于lars是基于残差的迭代重新拟合，因此它对噪声的影响显得特别敏感。

通过这张图可以明确的看到LAR的过程