回归算法对比

2019-10-10 本文已影响0人 Mr_Stark的小提莫

线性回归

优点：建模迅速，对于小数据量、简单的关系很有效；易理解。

缺点：不能处理非线性；不能处理数据特征间具有相关性的多项式回归；难以表达高度复杂的数据。

算法流程

平方误差 $e=\sum\nolimits_{1}^n (y_{i}-X_{i}A)^2$

矩阵形式 $E=(Y-XA)(Y-XA)^{T}$

对A求导：

最小二乘法

由于样本数量n约等于特征数量p时，易过拟合。

岭回归在平房误差基础上增加正则项，通过确定 $\lambda$ 的值来平衡偏差和方差。

新的误差公式

注：I为对角矩阵

优点：可以解决特征数量>样本量多的过拟合问题；可以判断特征的重要程度；增加偏差的同时减小方差。

缺点：它缩小了系数的值，但没有达到零，这表明没有特征选择功能。

适用：用于过拟合严重或各变量之间存在多重共线性的情况。

与岭回归的正则项不同

L1正则

优点：L1范数倾向于产生稀疏系数，能起到“降维”的作用；比Ridge效率高