DL中的各种优化器

2017-10-13  本文已影响0人  苟且偷生小屁屁

学习笔记

BGD (Batch Gradient Decent)批量梯度下降法

1968133328.jpg

SGD (Stochastic Gradient Decent)随机梯度下降法

867810909.jpg

MBGD (Mini Batch Gradient Decent)


1851511481.jpg

Momentum 动量法

460092378.jpg

NAG (Nesterov Accelarated Gradient) 加速梯度下降法

1118211865.jpg

Adagrad

446294705.jpg

Adadelta

1635012168.jpg 1963371273.jpg

RMSprop


DL中的各种优化器
DL中的各种优化器

Adam


DL中的各种优化器
上一篇 下一篇

猜你喜欢

热点阅读