tf.train.exponential_decay()

2020-03-23  本文已影响0人  猴子喜

作用:创建随着Step衰减的学习率

举个例子:

例子

decay step解释:走多少步就按照某个比率(衰减率)衰减一次学习率

什么叫steps?他是 梯度更新的次数,一般就是batch的数目。就是说每一个batch的数据会更新一次梯度。

所以decay steps又可以表达为,经过多少batch,才衰减一次学习率

比如decay steps是5,那么就是说,每计算5个batch的数据,更新5次梯度,衰减一次学习率,然后再输入5个batch,再更新5次梯度,再衰减第二次学习率......

上一篇 下一篇

猜你喜欢

热点阅读