训练过程中Loss变换

2019-09-28  本文已影响0人  半笔闪

训练初级阶段loss平稳减小,准确率平稳提升,当达到一定值时,loss和准确率都再很小的范围内波动。

以上是正常情况,
此时loss突然剧烈增大(非平稳增大),准确率剧烈减小。这个问题的原因可能非常多,下面猜测几种可能:

  1. 有垃圾数据,比如图片与label不匹配的数据在这个时候进入了batch训练。

  2. loss交替增大和减小时可能时来到了局部收敛点,此时可以减小学习率训练。

  3. loss不断剧烈增大,准确率减小到0,此时可能是梯度消失或梯度爆炸了。这个可根据情况优化模型复杂度、增加数据等。

上一篇 下一篇

猜你喜欢

热点阅读