tensorflow使用BN—Batch Normalizati
2017-10-20 本文已影响68人
小王子威威
注意：不要随便加BN，有些问题加了后会导致loss变大。
看一下tf的实现，加到卷积后面和全连接层后面都可：
（1）
训练的时候：is_training为True。
对于卷积,x:[bathc,height,width,depth]
对于卷积,我们要feature map中共享γi和βi,所以γ,β的维度是[depth]
另外，这里有使用batch
normalization的示例：martin-gorner/tensorflow-mnist-tutorial
还可以参考：resnet：https://github.com/MachineLP/tensorflow-resnet
还可以看大师之作：CNN和RNN中如何引入BatchNorm
训练好的模型加载：tensorflow中batch
normalization的用法
