internal covariate shift

internal covariate shift:Batch Normalize

深度学习网络在训练时容易受到输入层分布变化和前面层参数变化的影响，所以训练时需要用较低的学习率，且对参数初始化非常敏感。这一现象即为internal covariate shift

解决方案：making normal- ization a part of the model architecture and performing the normalization for each training mini-batch.

效果：

可以用较大的学习率

可以不太关心初始化

有部分正则化效果，可以不用Dropout

ImageNet classification上取得当时最好的效果(2015): reaching 4.9% top-5 validation error (and 4.8% test error), exceeding the accuracy of human raters.