RepVGG: Making VGG-style ConvNet

2023-05-04 本文已影响0人 ce0b74704937

文章地址：《RepVGG: Making VGG-style ConvNets Great Again》

代码地址：https://github.com/megvii-model/RepVGG

文章发表于CVPR2021，文章提出一种将训练态和推断态网络结构解耦的方法。文章认为目前复杂的网络结构能够获取更高的精度，但是存在很明显的缺点：

多分支结构可能会降低推断速度以及更占用显存。例如resnet的残差结构在多个分支的地方需要复制一份tensor用于分支之间的计算，如下图所示

1.png

depthwise conv或者shufflenet中的channel shuffle操作对实际落地的支持可能不太好等

对应的只有简单的由 $3\times 3$ 卷积和relu激活组成的网络，有如下几点优势：

许多多分支的网络虽然在FLOPs上小于VGG，但是推断时并没有更快（例如VGG-16的FLOPs是EfficientNet-B3的8.4倍，但在1080Ti上运行，VGG-16还要快1.6倍）
多分支网络更耗显存，因为每个分支都需要有一份tensor用于计算直到分支通过加（addition）或者串联（concatenation）的方式合并
多分支网络更不灵活，例如resnet必须由resnet block组成，而resnet block中最后一个卷积必须与输入保持一致，否则shortcut结构就不能工作了。更不灵活的是，在对网络进行通道剪枝时，多分支的网络剪枝起来很麻烦而且不合理（因为block内，通道数会互相影响）

为了取长补短，文字提出一种重参(re-parameterization)的方式，将训练态的网结构与推断态的网络结构解耦。即训练时利用多分支的网络结构，推断只有普通的 $3\times 3$ 和relu激活组成的网络。

一、重参的原理

重参的原理就是通过代数的方式将多分支合并为一个分支。

更具体的，我们可以将 $1\times 1$ 的卷积看成是 $3\times 3$ 大小卷积的特例，identity和BN分支可以看成是 $1\times 1$ 卷积的特例。这句话可以用下图表示：

2.png

上图A是将重参前的结构演变为 $3\times 3$ 卷积的流程图，流程分为如下几步：

将 $3\times 3$ 的卷积和bn层合并成 $3\times 3$ 卷积
将 $1\times 1$ 的卷积转换为 $3\times 3$ 的卷积，然后与bn合并成 $3\times 3$ 的卷积
将BN转换为 $3\times 3$ 的卷积
将转换后的三个 $3\times 3$ 的并联的卷积合并为最终的 $3\times 3$ 的卷积

这里在合并前就是训练态的结构，合并后就是推断态的网络结构。

上图B是具体的参数转换流程，为了方便理解这里加以说明一下。上图假设当前网络块的输入 $C_1$ 和输出通道 $C_2$ 都为2。图中对于一个卷积来说，水平方向为输入的通道数，竖直方向为输出通道数。

对于 $1\times 1$ 的卷积来说，将其转换为 $3\times 3$ 的卷积，就是将 $1\times 1$ 的卷积核进行周围补0，补成 $3\times 3$ 的大小即可
对于BN层或者shortcut结构来说，将其转换为 $3\times 3$ 的卷积，就是对应通道数除当前输出通道的中心为对应的值，其它值都为0。例如identity结构，当前中心值为1，其它值都为0，这样与输入相乘后，仍然为输入的值。

具体用公式表示如下(对公式不感兴趣的可以不看，上图已经很清晰了，这里是想说明代数方式如何将网络进行化简合并的)：

先定义一些符号， $3\times 3$ 大小输入通道为 $C_1$ 输出通道为 $C_2$ 的卷积参数表示为 $W^{(3)}\in R^{C_2 \times C_1 \times 3\times 3}$ ，对应输入输出通道数的 $1\times 1$ 卷积参数表示为 $W^{(1)}\in R^{C_2 \times C_1}$ 。跟在 $3\times 3$ 大小卷积后的BN层参数为 $\mu^{(3)}, \theta^{(3)}, \gamma^{(3)}, \beta^{(3)}$ ,跟在 $1\times 1$ 大小卷积后的BN层参数为 $\mu^{(1)}, \theta^{(1)}, \gamma^{(1)}, \beta^{(1)}$ ，identity分支中的BN层参数为 $\mu^{(0)}, \theta^{(0)}, \gamma^{(0)}, \beta^{(0)}$ 。这里假设 $C_1=C_2, H_1=H_2, W_1=W_2$ ，符号 $*$ 表示卷积。那么对于输入 $M^{(1)}\in R^{N \times C_{1} \times H_{1} \times W_1}$ 和输出 $M^{(2)}\in R^{N\times C_2 \times H_2 \times W_2}$ 存在如下关系：

$M^{(2)}=bn(M^{(1)} * W^{(3)}, \mu^{(3)}, \theta^{(3)}, \gamma^{(3)}, \beta^{(3)}) \\ +bn(M^{(1)} * W^{(1)}, \mu^{(1)}, \theta^{(1)}, \gamma^{(1)}, \beta^{(1)}) \\ + bn(M^{(1)}, \mu^{(0)}, \theta^{(0)}, \gamma^{(0)}, \beta^{(0)})$

其中推断态的BN可以写成下式：
$bn(M, \mu, \theta, \gamma, \beta)_{:, i, :, :}=(M_{:, i, :, :}-\mu_i)\frac{\theta_i}{\gamma_i}+\beta_i$

上式中体现了bn的操作索引是在C维度进行的，详细可参考GN-Group Normalization

上式可以化简为：

$bn(M* W, \mu, \theta, \gamma, \beta)*{:, i, :, :}=(M* W')*{:, i, :, :}+b‘_{i}$

其中 $W'*{i, :, :, :}=\frac{\theta_i}{\gamma_i}W*{i, :, :, :}$ , $b'_i=-\frac{\mu_i \gamma_i}{\theta_i}+\beta_i$

到这里重参的原理基本就介绍完了，具体实验请查看原文。

RepVGG: Making VGG-style ConvNet

一、重参的原理

猜你喜欢

热点阅读