fastai笔记 Lesson 2

2020-04-15  本文已影响0人  Yuyao_b2c0

Things Can Go Wrong:

1.Validation Loss super high --> Learning Rate Too Large
2.Loss 下降的非常缓慢——> Learning Rate Too Small
另一个现象:Training Loss 低于 Validation Loss.说明overfitting,但是也有可能是epoch没训练够导致的
3.Training Loss 低于 Validation Loss 上面提到了,要么learning rate太小,要么epcoh太少,可以先试试调大learning rate如果Validation loss 一下子变得特别高,可以尝试多训练几个epoch

4.error rate 开始升高 ——> overfitting了——> epoch过多了
注意:Training Loss 比 Validation Loss低不代表overfitting,这是正常训练模型会有的现象,error rate在继续降就不是overfitting
5.Learning rate合适、epoch也合适但是accuracy不够 ——> 数据不够充足

SGD and Torch:

上一篇下一篇

猜你喜欢

热点阅读