梯度下降算法

2021-05-05 本文已影响0人三方斜阳

1. 三种梯度下降算法：

Batch Gradient Descent：

全部样本梯度下降一次，批梯度下降每次更新使用了所有的训练数据，最小化损失函数，如果只有一个极小值，那么批梯度下降是考虑了训练集所有数据，是朝着最小值迭代运动的，但是缺点是训练样本很大时，单次迭代需要时间太长，更新速度会很慢。

Stochastic Gradient Descent：

随机梯度下降在每次更新的时候，只考虑了一个样本点，这样会大大加快训练数据，也恰好是批梯度下降的缺点，有可能由于训练数据的噪声点较多，那么每一次利用噪声点进行更新的过程中，就不一定是朝着极小值方向更新，到达loss最低区域后还可能会跳出来，当然这也可以使它从局部最小值区域跳出来，可以使用学习率衰减来缓解这个问题。

Q：为什么随机梯度下降算法为什么可以避免局部最小值？

A：因为它不是精确的沿着某个最优解(可能是局部最优)的方向前进，只随机一部分数据，会存在一定可能性让方向偏离最优方向从而可以跳出局部最小。即便其陷入到局部的极小值点，他计算的梯度仍可能不为0，这样就有可能跳出局部的极小值而继续进行搜索。但也不能说是避免，只是比梯度下降要很大程度缓解这个问题。

Mini-batch Gradient Descent：

部分样本梯度下降一次，小批量梯度下降法是为了解决批梯度下降法的训练速度慢，以及随机梯度下降法的准确性综合而来，它可能不会收敛也可能不会在很小的范围内波动(同样可以用学习率衰减的方法来缓解这个问题)。

总结：

相较于GD，SGD能更有效的利用信息，特别是信息比较冗余的时候。举个例子，比如所有样本都需要向一个方向优化，GD优化一次需要对整个样本集迭代一次，而SGD只对一个样本优化就可以达到同样的效果。SGD相对于GD的另外一个优点是可以跳出局部最小值区域。

而mini-batch GD综合了两者的优点，既有了GD的向量化加速，还能像SGD更有效利用样本信息、可以跳出局部最小值区域的优点。另外，使用mini-batch，你还会发现不需要等待整个训练集被处理完就可以开始进行后续工作。

2. 动量优化法Momentum：

动量方法旨在加速学习，通过优化相关方向的训练和弱化无关方向的振荡，来加速SGD训练，特别是处理高曲率，小但一致的梯度，或是带噪声的梯度。动量算法积累了之前梯度指数级衰减的移动平均，并且继续沿该方向移动，带动量的SGD算法如图红色：

从图中可以看出后者加快了优化速度，抑制了震荡。

其具体的实现是计算梯度的指数加权平均数，并利用它更新权重。相当于对原始梯度做了一个平滑，使得参数更新的方向更加稳定，波动更小，因此速度更快，这要归功于指数加权平均。

指数加权平均：

假设我们有一年365天的气温数据θ1,θ2,...,θ365，把他们化成散点图，如下图所示：

这些数据有些杂乱，我们想画一条曲线，用来表征这一年气温的变化趋势，那么我们需要把数据做一次平滑处理。最常见的方法是用一个滑动窗口滑过各个数据点，计算窗口的平均值，从而得到数据的滑动平均值。但除此之外，我们还可以使用指数加权平均来对数据做平滑。其公式如下：

v就是指数加权平均值，也就是平滑后的气温。β的典型值是0.9，平滑后的曲线如下图所示：

回看Momentum算法：

现在再回过头来看Momentum算法的迭代更新公式：

v是上一个时刻的动量值加上此时的梯度变化值，最终的参数更新考虑了梯度以及动量值的平均，可以防止陷入局部最低点

dw是我们计算出来的原始梯度，v则是用指数加权平均计算出来的梯度。这相当于对原始梯度做了一个平滑，然后再用来做梯度下降。实验表明，相比于标准梯度下降算法，Momentum算法具有更快的收敛速度。为什么呢？看下面的图，蓝线是标准梯度下降法，可以看到收敛过程中产生了一些震荡。这些震荡在纵轴方向上是均匀的，几乎可以相互抵消，也就是说如果直接沿着横轴方向迭代，收敛速度可以加快。Momentum通过对原始梯度做了一个平滑，正好将纵轴方向的梯度抹平了（红线部分），使得参数更新方向更多地沿着横轴进行，因此速度更快。