轻量级网络之ShuffleNet v2

原论文——ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design, ECCV2018

介绍

论文指出目前的轻量级模型主要根据间接的(undirect)指标FLOPs来设计，而直接的指标如速度(speed)，在相同FLOPs的速度也会不一样。如下图中的(c)(d).

速度不仅跟FLOPs有关，也依赖于其他因素如内存访问的损耗(memory access cost，MAC)，并行度，硬件平台(操作的优化不同)。如下图是shifflenet和mobilenet v2在GPU和ARM上各个操作所占用的时间对比，可以看出不同平台的时间差异，卷积在ARM上占了将近90%的时间，同时也说明时间跟许多因素相关。

因此，论文将speed也作为一个metric来衡量模型，并在不同硬件平台上做比较。同时提出了四条guidelines来指导轻量级模型的设计。基于这些guidelines，提出了ShuffleNet v2，在准确率和速度上都取得了不错的效果。

Guidelines

G1: Equal channel width minimizes memory access cost (MAC).

假设输入map为h w c1, 一个1x1卷积，输出通道c2。那么FLOPs , 假定内存够用，那么mac为。论文给了MAC的下界：

推导： 当且仅当c1等于c2时等号成立，因此印证了guideline：在同等计算量B的条件下，c1=c2时MAC最小。
论文也做了实验，如下表所示，在c1:c2=1:1时batches/sec是最大的。

G2: Excessive group convolution increases MAC.

和上面G1一样的输入，那么一个1x1的group conv（不了解可见轻量级网络之ShuffleNet）的B, MAC为

公式说明在输入确定，B相同时，MAC会随g增大而变大。
下表是对应的实验

在shufflenet中使用了分组卷积，减少计算量，虽然可以使用更大的channel，但是MAC却随之增加了，因此，group的选择也需要做衡量，不能太大，不过这篇论文已经不用group conv了。

G3: Network fragmentation reduces degree of parallelism.

网络分段太多会减少并行度，因为分多次就要算多次，会有额外的overhead等而一次更好地利用并行计算。下表是实验结果，k-fragment是k个1x1卷积，parallel版的就是分支。我们发现parallel的比fragment慢些，这应该是add操作导致的（论文没提这点）。

G4: Element-wise operations are non-negligible.

从上面的Fig2可以看见element-wise操作占据15%，23%的时间，是不可忽略的。这种操作有Relu，addtensor, addbias等。下表为实验结果

Conclusion

用原文的话来说吧

Based on the above guidelines and empirical studies, we conclude that an efficient network architecture should 1) use "balanced convolutions (equal channel width); 2) be aware of the cost of using group convolution; 3) reduce the degree of fragmentation; and 4) reduce element-wise operations. These desirable properties depend on platform characterics (such as memory manipulation and code optimization) that are beyond theoretical FLOPs. They should be taken into accout for practical network design.

ShuffleNet v2

根据四条原则，作者提出了shufflenet v2，先看看模型的block（如下图）。ab是第一版本的，cd是v2的。首先，group conv去掉，满足G2; 三个conv相同channel大小，满足G1；多了个channel split：将输入的c个channel划分为c-c' 和c' ，一个是identity，一个经过三个conv，然后concat到一起，这个满足G4，取替了element-wise操作add。最后经过channel shuffle将两个分支的信息进行交流。

channel split的作用：
第一，划分一半到右分支，意味着右边计算量减少，从而可以提高channel数，提高网络capacity。
第二，左分支相当于一种特征重用(feature reuse), 跟DenseNet和CondenseNet一样的思想。
下图(a)为DenseNet的从source layer到target layer连接的权重的大小，可见target层前1-3层的信息对当前层帮助较大，而越远的连接比较多余。图(b)为ShuffleNet v2的情况，因为shuffle操作会导致每次会有一半的channel到下一层。因此，作者认为shufflenet跟densenet一样的利用到了feature reuse，所以有效。

整个结构定义：

Experiment

实验的表格太长了，所以只列出一部分，可以看出准确率和速度都是很好的，其中speed没有mobilenet快是因为mobilenet的fragment较少(G3)（我数了下确实是）。

这次论文还展示它在大模型时也能取得很好的效果，如下表，加上SE之后甚至比SENet好一些，同时计算量小。

Detection：用了一个light-head rcnn, 把backbone替换为自己的，结果：

注意这里的FLOPS是输入224x224下的计算量，而真实输入为800x1200，故应乘上19倍左右。比较有趣的点是作者发现Xception效果不错，然后发现是因为他的感受野比较大(两个3x3，相当于7x7)。因此，作者加多了一个3x3在第一个1x1conv之前，这就是表中的v2*。有了进一步的提升。

总结

这篇论文我觉得是一篇很不错的论文，提出了speed的重要性，以及四点guidelines，和大部分遵守这些准则的shufflenet v2。当然没有什么是十全十美的，不知会不会有下一个v3呢。