机器学习: 线性回归

2019-02-24 本文已影响59人写代码的海怪

第一次基础线性回归这个概念的时候是在高中，当时也就做做题对XX大厂做销售预测，没想到会在机器学习里再次见到。一说到回归就是对给定的 X 值做预测的了，线性回归就是一种方法。这篇文章将讨论线性回归里的重要概念，并一步步地进行优化。

什么是线性回归

下面的图就是线性回归（线性规划），图里面的点是数据集里的数据，而直线是我们所说的回归方程，显然这个方程是一次的，也就是线性的。

如果将 X 看成时间，Y 看成销售额，那么我们就可以预测 n 年后的销售额啦，这就是线性回归的应用。

这里的回归方程一般我们这样表示。

$\hat{y}(x)=\theta_0+\theta_1x_1+\theta_2x_2+...$

其中 $x_1,x_2,...,x_n$ 是特征值，对应的 $\theta$ 值是 $\theta_1,\theta_2,...,\theta_n$ ，一般使用向量表示。

$\theta=[\theta_0,...,\theta_n],x=[x_0,...,x_n]$

整理一下回归方程如下：

$\hat{y}(x)=\theta x^T$

现在的问题就是怎么确定这些 $\theta$ 值。

确定 $\theta$ 值

Cost Function

这些 $\theta$ 是可以反映出这个函数是否拟合好的，我们应该尽可能地将这个回归函数往数据上靠才行，也就是预测值尽可能等于真实值，进一步来说就是错误率要尽可能低。OK，我们好像找到一个约束条件了——错误率要低。这里复习一下回归方程的错误率公式：

$MSE, J(\theta)=\frac{1}{m}\sum_j{(y^{(j)}-\hat{y}(x^{(j)}))}^2$

我们还发现这样的求和跟矩阵相乘有点关系呀，其中 $y={[y^{(1)},...y^{(m)}]}^T$ ，而且 $x$ 值是矩阵 $X$ 的一部分

所以将上面的式子再整理一下

$J(\theta)=\frac{1}{m}(y^T-\theta X^T) {(y^T-\theta X^T)}^T$

梯度下降

假设有初始值 $\theta=[\theta_1,...,\theta_n]$ 了，现在目标是改变这些值使得 MSE(或者说 $J(\theta)$ ) 最小就可以了，所以在改动的过程中 $J(\theta)$ 是下降的趋势。这里我们可以用导数完成。求导之前为了看得更清楚，规定：

对 $J(\theta)$ 求导数，其中对于单个 $\theta_0$ 的求导过程为

所以整个 Cost Function 的求导结果为

然后将里面的同类项提出来

如果

导数 > 0，说明上升趋势， $\theta$ 值应该减小某个数
导数 < 0，说明下降趋势， $\theta$ 值应该加大某个数

伪代码表示

这里的某个数就是 α*∇J(θ)。每次迭代都会更新 $\theta$ 值， $\theta$ 值更新完后 $J(\theta)$ 又会更新，然后再次求导再更新 $\theta$ 值，如此反复，直到误差小于某个小数，这里是 ε。这整个迭代过程叫做梯度下降，有没有坐滑滑梯的感觉呢？下面的图可以形象地反映整个梯度下降的过程

一直走到极值点才停止。

随机梯度下降

如果你理解了上面的梯度下降，那么这个方法很容易理解。它的主要思想是每次更新 $\theta$ 值的时候，从数据集里随机选一个数据，只用这个数据的 $x$ 和 $y$ 值去做更新，而不是使用全部数据的 $x$ 和 $y$ 值。伪代码如下

和上面的代码相比就多了一行 for j=1:m，意思是从 m 个数据里选一个出来，拿这个数据去更新 $\theta$ 值。当改变这 $\theta$ 时，它会使得回归方程趋向这个点。又因为这个过程是随机的，所以多次迭代后，回归方程会趋向于所有的数据。图下表示回归方程趋向于某个随机选中的点。

当然这种方法有好也有坏，好的地方是拟合速度快。不好的地方是有可能不是严格的梯度下降，比如本来已经很拟合很好了突然选中了外面一个点又往外靠，这就不是梯度下降了。而且更难的地方在于找一个合适的条件让算法停止。

非线性特征值

之前我们都是假想特征值是线性的，但是实际有可能某些特征是 2 次，或者多次，甚至开方的，那怎么办呢？如下图

我们的回归方程就不应该再是线性的了，这里就要说一个特征转化的技巧了，做如下改动

这里就加了一个中间的过渡向量 $\phi(x)$ ，将原来的 $x$ 用 $\phi(x)$ 替代完事了。个人感觉这个思想有点像开发里的中间件，或者是设计模式里的装饰器模式。有了这个技巧后我们还能解决一些奇奇怪怪的特征值如 $1/x, \sqrt{x}, x1 \times x2, ...$ ，把它们都放在 $\phi$ 向量里就 OK 了。