Batch Normal
2019-08-12 本文已影响0人
dreampai
Batch Normal 缺点：
- BtachSize 太小，效果不佳
- RNN 等动态网络结构使用 Batch Normal 效果不佳
- 训练时候和推理时统计量不一致问题。（线上可以使用训练时刻记录的各个 Mini-Batch）
Batch Normal：
- Forward Network Batch Normal
- CNN Batch Normal
- Batch 内实例之间的相互依赖和影响关系，所以考虑 one-data
Layer Normal：
- RNN Layer Normal（效果可以）
- CNN Layer Normal（效果不佳）
- Forward Network Noraml（效果不佳）
Instance Normal：
- CNN
Group Normal： - CNN
