Normalization

2020-07-28 本文已影响0人 nonstopfor

Batch Normalization
对一个batch的每个样本计算均值方差，然后进行normalization
Layer Normalization
对每一个feature计算均值方差，然后进行normalization
公式如下：
$LN(x_i)=\alpha*\frac{x_i-u}{\sqrt{\sigma^2+\epsilon}}+\beta$