大规模机器学习（一）

大型数据集的学习

It's not who has the best algorithm that wins. It's who has the most data.

在机器学习中，决定因素往往不是算法而是数据集的大小。正如我们之前所学习的欠拟合问题，我们增加数据往往能帮助我们获得更为满意的结果。

但大型数据集的学习都有些独特的问题，尤其是计算问题。

现假设数据集m=100000000，我们想利用该数据集训练一个线性回归或者逻辑回归模型，并使用梯度下降算法最优化模型的代价函数。

为了计算每一步的下降梯度，我们需要对这一亿条数据求和，这计算量是非常大的。因此，我们在事先应该分析我们需不需要这么大的数据集。在本例中，也许我们只用1000个数据也能得到较好的结果。在此期间，我们可以绘制学习曲线来帮助我们判断大数据集有没有必要。

随机梯度下降算法

在之前介绍的线性回归模型中，我们使用梯度下降算法最优化代价函数。在这小节中，我们依旧使用线性回归模型来介绍随机梯度下降算法。

现在回想一下，我们之前所使用的梯度下降算法是如何运算的。

如上图所示，我们在每次更新参数θ时，算法都要对整个训练集遍历求和。我们将这种梯度下降算法称为批量梯度下降算法（Batch Gradient Descent Algorithm）。若训练集m的值非常大时，此时的计算代价就比较高了。

因此，我们使用随机梯度下降算法（Stochastic Gradient Descent Algorithm）来解决该问题。在随机梯度下降算法中，先将训练集进行随机化处理，然后每完成一次计算就更新参数θ。

但随机梯度下降算法每次迭代并不意味着“正确”。因此，随机梯度下降算法可能最终都无法计算出全局最优值，其值实际上为接近全局最优值。

迷你批量梯度下降算法

迷你批量梯度下降算法（Mini-Batch Gradient Descent Algorithm）是介于批量下降算法和随机梯度下降算法之间的梯度下降算法，其每计算b（b为常数）个训练实例，便更新一次参数θ。

其中，常数b的取值范围为2~100。在这样的范围内，我们可以对训练集进行向量化处理。

当对训练集向量化时，迷你梯度下降算法好于随机梯度下降算法。因为此时的迷你梯度下降算法能够实现并行运算，其运算速率相比随机梯度下降算法是要更快的。

随机梯度下降收敛

在之前的学习中，我们通过绘制学习曲线来判断梯度下降算法是否收敛。因此，判断随机梯度下降算法是否收敛，我们仍然采用绘制学习曲线的方法。

其学习曲线如下：

其中，图中蓝色曲线均为最后1000个训练实例在随机梯度下降算法中的学习曲线。第一幅图，红色曲线为学习率α较小时，随机梯度下降算法的学习曲线；第二幅和第三幅图，红色曲线均为最后5000个训练实例在随机梯度下降算法中的学习曲线；第三幅图，紫红色曲线为最后5000个训练实例在随机梯度下降算法中的学习曲线，但其为异常曲线，我们需要调整学习率α或特征变量x；第四幅图，表明我们需要减小学习率α的值。

由于随机梯度下降算法所计算出的最优值实际上为局部最优值，因此为了进一步提升算法，我们也可以令学习率α的值随着迭代次数的增加而减小。如上图所示，例如令：