Batch Normalization
2019-06-30 本文已影响0人
poteman
- BN的作用
- 使得网络中每层输入数据分布的相对稳定，加速模型学习速度
- 具有一定的正则化效果
- BN的操作流程
-- train的过程
-- test的过程
由于BN是对每一个mini-batch来进行操作的，每一个batch的mean和variance是不能用在test中的，采用moving average的方法来获得test的mean和variance
当前mean = 0.9 * 以前的mean + 0.1 * 当前mean
(across mini-batch)
当前var = 0.9 * 以前的var + 0.1 * 当前var
