gradient descent
2020-05-20 本文已影响0人
reargarden
讲到了梯度下降的三种基本形式
- batch gradient descent
- stochastic gradient descent
- mini-batch gradient descent
challeges
梯度下降算法
- Mometum
- Nesterov accelerated gradient
- Adagrad
- Adadelta
- RMSprop
- Adam
- AdaMax
- Nadam
- AMSGrad
并行、分布SGD
优化SGD的其他策略
https://ruder.io/optimizing-gradient-descent/index.html#otherrecentoptimizers （原文）
http://blog.csdn.net/google19890102/article/details/69942970 （中文）
