35.网络结构与模型压缩、加速-2

2023-02-14 本文已影响0人大勇任卷舒

Depthwise separable convolution是由depthwise conv和pointwise conv构成
depthwise conv(DW)有效减少参数数量并提升运算速度
- 但是由于每个feature map只被一个卷积核卷积，因此经过DW输出的feature map不能只包含输入特征图的全部信息，而且特征之间的信息不能进行交流，导致“信息流通不畅”。
pointwise conv(PW)实现通道特征信息交流，解决DW卷积导致“信息流通不畅”的问题。
假设输入特征的的维度为H * W * c1；卷积核的维度为h1 * w1 * c1，共c2个；输出特征的维度为 H1 * W1 * c2。
传统卷积计算方式如下：
传统卷积运算量为：
DW卷积的计算方式如下：
PW卷积的计算方式如下：
Depthwise separable convolution运算量为：
Depthwise separable convolution相对于传统卷积的运算量：
由此可知，随着卷积通道数的增加，Depthwise separable convolution的运算量相对于传统卷积更少