tf.train.exponential_decay()
2020-03-23 本文已影响0人
猴子喜
作用:创建随着Step衰减的学习率
举个例子:

decay step解释:走多少步就按照某个比率(衰减率)衰减一次学习率
什么叫steps?他是 梯度更新的次数,一般就是batch的数目。就是说每一个batch的数据会更新一次梯度。
所以decay steps又可以表达为,经过多少batch,才衰减一次学习率
比如decay steps是5,那么就是说,每计算5个batch的数据,更新5次梯度,衰减一次学习率,然后再输入5个batch,再更新5次梯度,再衰减第二次学习率......