2019-03-24

HetConv: Heterogeneous Kernel-Based Convolutions for Deep CNNs

Introduction

本片文章主要提出新的卷积，从DWC，PWC，GWC在到本文的HetConv。本文卷积的优点是与标准的卷积比，HetConv卷积减少参数量，计算量也同时减少。并且将该结构放入到VGG和ResNet中进行测试，得出最后的实验结果。

Model

标准卷积的计算量为：FL s = D0 × D0 × M × N × K × K ;

HetConv的计算量为： FLk= (Do × Do × M × N × K × K)/P

该图主要说明从深度卷积，逐点卷积再到分组卷积，直到本文提出的HetConv卷积。HetConv结构的filter是0延时，而GWC+PWC或者是DWC+PWC是每个单元都有一个延

实验部分

数据集使用cifar10，和ImageNet测试，把新提出的结构进行对比。

 Cifar10数据集实验

 从实验中可以得出，P4的结果是最好的，也就是1个3*3卷积和3个1*1卷积。且参数量相对比较少

P32指的是输入的通道数为32，P64指的是输入的通道数为63.从图可得，P32的效果最好

SE指的是Squeeze-and-Excitation

MobileNet结果是P32+SE的准确性是最好的，要比只有MobileNet的结构要好很多。

ImageNet数据集测试

VGG-16-P4的结果不如P1的结果好。

ResNet-50 P4的效果要稍微比P1的效果好，而且FLops也要比P1降了很多。

ResNet-34与ResNet-50相比，ResNet-50的结果要比ResNet要好，

结论：对本文的提出新的结构，在后期的实验过程中，可以尝试使用该卷积的形式。

如有不足，请指正。谢谢