多元线性回归

2018-11-17 本文已影响0人王金松

y=w0 + w1x1 + w2x2 + w3x3 + w4x4

找到最优解，即损失最小

目标函数（损失函数）J( $\theta$ ) = MSE = $\frac{1}{m}$ $\sum_{i}^n$ ( $y_{i}$ - $\hat{y}$ ) $^2$

1>解析解（有求逆的运算，不是所有的矩阵都有逆运算，并且维度太高，逆运算太慢

如果用这种方式，没必要用归一化）

2>梯度下降，（需要用归一话，可以加速求解，减少迭代次数）

所有的回归都是采用MSE作为损失函数，唯一不一样的是 $\hat{y}$ 的公式