梯度下降方法
2019-07-03 本文已影响0人
孙有涵
1.批量梯度下降
每次遍历所有的样本对进行梯度更新,迭代次数较少,在样本数量较多的训练速度慢。
2.随机梯度下降
每次只是用一个样本,更新速度慢,可能会收敛到局部最优。
3.小批量梯度下降
设置batch__size,结果相对精确,速度相对快。
1.批量梯度下降
每次遍历所有的样本对进行梯度更新,迭代次数较少,在样本数量较多的训练速度慢。
2.随机梯度下降
每次只是用一个样本,更新速度慢,可能会收敛到局部最优。
3.小批量梯度下降
设置batch__size,结果相对精确,速度相对快。