机器学习基石笔记：09 Linear Regression

2019-05-01 本文已影响6人 cherryleechen

图1 线性回归的假设

图2 线性回归的代价函数

最小化线性回归的样本内代价函数值：

图3 LR代价函数的矩阵形式

图4 基于梯度下降来最小化LR代价函数

图5 梯度计算

图6 矩阵秩的性质

图7 LR权重的解析解

图8 线性回归的算法流程

图9 LR是隐式迭代的

线性回归算法泛化可能的保证：

图10 LR泛化可能的保证1

图11 LR泛化可能的保证2

根据矩阵的迹的性质： $trace(A+B)=trace(A)+trace(B)$ ，得：
$\begin{equation}\begin{aligned} trace(I-H)&=trace(I_{N*N})-trace(H)\\&=N-trace(XX^+)\\&=N-trace(X^T X(X^T X)^{-1})\\&=N-trace(I_{(d+1)*(d+1)})\\&=N-(d+1) \end{aligned}\end{equation}$ 。
$I-H$ 这种转换的物理意义：
原来有一个有 $N$ 个自由度的向量 $y$ ，投影到一个有 $d+1$ 维的空间 $X$ （代表一列的自由度，即单一输入样本的参数），而剩余的自由度最大只有 $N-(d+1)$ 。

图12 LR泛化可能的保证3

图13 LR泛化可能的保证4

线性分类是近似求解，线性回归是解析求解；
线性分类中使用0/1误差，线性回归中使用均方误差；
误差方面，线性分类能小于线性回归，但线性回归速度更快；
可以用线性回归的参数结果初始化线性分类的参数值，
减少迭代过程，加速求解。

图14 线性分类 vs 线性回归1

图15 线性分类 vs 线性回归2

图16 线性分类 vs 线性回归3

上一篇下一篇

猜你喜欢

热点阅读