DL中的各种优化器
2017-10-13 本文已影响0人
苟且偷生小屁屁
学习笔记
BGD (Batch Gradient Decent)批量梯度下降法

SGD (Stochastic Gradient Decent)随机梯度下降法

MBGD (Mini Batch Gradient Decent)
1851511481.jpg
Momentum 动量法

NAG (Nesterov Accelarated Gradient) 加速梯度下降法

Adagrad

Adadelta


RMSprop


Adam
