小批量梯度下降(Mini-Batch gradient desc

2017-10-07  本文已影响0人  天际神游

小批量梯度下降(介于批量梯度下降和随机梯度下降之间)。
b称为小批量大小,一次训练b个样本,然后一直下去。训练一次,就更新了一次参数值。

小批量梯度下降利于向量化,计算速度有时候可以超过随机梯度下降。但是麻烦的是我们需要选择b的值,一般来说2-200都是可以的。

上一篇下一篇

猜你喜欢

热点阅读