深度模型压缩：BN和Conv/Fc参数合并

2019-06-04  本文已影响0人  昭君姐

BN一般在Conv之后，结构如下：
Conv/Fc => BN => ReLU => Pool

我们可以把Conv和Fc都按照下述公式进行计算：
\begin{equation} F=Wx+b \end{equation}
BN公式如下：
\begin{equation} BN = \frac{F-mean}{std} \\ BN_{scale} = \gamma BN + \beta \end{equation}

根据上述公式合并可得到：
\begin{equation} BN_{scale} = W_{new}x+b_{new} \\ W_{new} = \frac{\gamma W}{std} \\ b_{new} = \beta - \frac{\gamma mean}{std} \end{equation}

上一篇 下一篇

猜你喜欢

热点阅读