深度学习中优化的总结
SGD:
批量梯度下降
对于训练数据集,我们首先将其分成n个批量,每个批量包含m个样本。我们每次更新都利用一个批量的数据,而非整个训练集。即:

η为学习率
gt为x在t时刻的梯度。
当训练数据太多或相似训练样例过多,利用整个数据集更新往往时间上不显示。
批量的方法可以减少机器的压力,并且可以更快地收敛。
举例
以一个极端情况为例,若训练集前一半和后一半梯度相同。那么如果前一半作为一个批量,后一半作为另一个批量,那么在一次遍历训练集时,批量的方法向最优解前进两个步骤,而整体的方法只前进一个步骤。
Momentum:
动量法
SGD方法的一个缺点是,其更新方向完全依赖于当前的批量,因而其更新十分不稳定。
它模拟的是物体运动时的惯性,即更新的时候在一定程度上保留之前更新的方向,同时利用当前批量的梯度微调最终的更新方向。这样一来,可以在一定程度上增加稳定性,从而学习地更快,并且还有一定摆脱局部最优的能力:

ρ 即动量,表示要在多大程度上保留原来的更新方向,这个值在0-1之间,在训练开始时,由于梯度可能会很大,所以初始值一般选为0.5;
当梯度不那么大时,改为0.9。
η 是学习率,即当前批量的梯度多大程度上影响最终更新方向
跟普通的SGD含义相同。ρ 与 η 之和不一定为1。
Nesterov Momentum
牛顿动量法
对传统momentum方法的一项改进

1.按照原来的更新方向更新一步(棕色线),
2.在该位置计算梯度值(红色线),
3.用这个梯度值修正最终的更新方向(绿色线)。
上图中描述了两步的更新示意图,其中蓝色线是标准momentum更新路径。
Adagrad:
其实是对学习率进行了一个约束

此处,对gt从1到t进行一个递推形成一个约束项:

ε用来保证分母非0
优点:
1.gt较小时,约束项较大,可以放大梯度
2.gt较大时,约束项较小,可以约束梯度
3.适合处理稀疏梯度
缺点:
1.依赖人工设定全局学习率
2.学习率过大,约束项过于敏感,梯度调节过大
3.中后期,分母上梯度平方的累加将会越来越大,使得约束项趋于0,训练提前结束
Adadelta
Adadelta是对Adagrad的扩展
最初方案依然是对学习率进行自适应约束,但是进行了计算上的简化。
Adagrad会累加之前所有的梯度平方
Adadelta只累加固定大小的项,并且也不直接存储这些项,仅仅是近似计算对应的平均值。即:

在此处Adadelta其实还是依赖于全局学习率的,但是作者做了一定处理,经过近似牛顿迭代法(求根点)之后:

E是求期望
此时Adadelta已经不用依赖于全局学习率了。
特点:
1.训练初中期,加速效果不错,很快
2.训练后期,反复在局部最小值附近抖动
RMSprop
RMSprop 可看作Adadelta的一个特例:
当ρ为0.5时

变为了求梯度平方和的平均数。
再求根的话,就变成了RMS(均方根):

可将RMS就可以作为学习率η的一个约束:

特点:
1.RMSprop依然依赖于全局学习率
2.RMSprop算是Adagrad的一种发展,和Adadelta的变体,效果趋于二者之间
3.适合处理非平稳目标- 对于RNN效果很好
Adam
本质上是带有动量项的RMSprop
利用梯度的一阶矩估计和二阶矩估计动态调整每个参数的学习率。
Adam的优点主要在于经过偏置校正后,每一次迭代学习率都有个确定范围,使得参数比较平稳。公式如下:

mt为对梯度的一阶矩估计
nt为对梯度的二阶矩估计
u和v为衰减率,u通常为0.9
v通常为0.999,可以看作对期望E|gt|和E|g^2..t|
mt~是对mt的校正
nt~是对nt的校正
mt和nt可以近似为对期望的无偏估计
直接对梯度的矩估计对内存没有额外的要求,而且可以根据梯度进行动态调整

对学习率形成一个动态约束,而且有明确的范围。
特点:
1.结合了Adagrad善于处理稀疏梯度和RMSprop善于处理非平稳目标的优点
2.对内存需求较小
3.为不同的参数计算不同的自适应学习率
4.也适用于大多非凸优化- 适用于大数据集和高维空间
Adamax
Adamax是Adam的一种变体,此方法对学习率的上限提供了一个更简单的范围。公式上的变化如下:

Adamax学习率的边界范围更简单
Nadam
Nadam类似于带有Nesterov动量项的Adam。公式如下:

Nadam对学习率有了更强的约束同时对梯度的更新也有更直接的影响。一般而言,在想使用带动量的RMSprop,或者Adam的地方,大多可以使用Nadam取得更好的效果。
动态图理解
损失平面等高线

鞍点处的比较
