小批量梯度下降(Mini-Batch gradient desc
2017-10-07 本文已影响0人
天际神游
小批量梯度下降(介于批量梯度下降和随机梯度下降之间)。
b称为小批量大小,一次训练b个样本,然后一直下去。训练一次,就更新了一次参数值。
小批量梯度下降利于向量化,计算速度有时候可以超过随机梯度下降。但是麻烦的是我们需要选择b的值,一般来说2-200都是可以的。
小批量梯度下降(介于批量梯度下降和随机梯度下降之间)。
b称为小批量大小,一次训练b个样本,然后一直下去。训练一次,就更新了一次参数值。
小批量梯度下降利于向量化,计算速度有时候可以超过随机梯度下降。但是麻烦的是我们需要选择b的值,一般来说2-200都是可以的。