40.常用的轻量级网络——MobileNet-v2

2023-03-19 本文已影响0人大勇任卷舒

采用Inverted residuals
- 为了保证网络可以提取更多的特征，在residual block中第一个1*1 Conv和3*3 DW Conv之前进行通道扩充
Linear bottlenecks
- 为了避免Relu对特征的破坏，在residual block的Eltwise sum之前的那个 1*1 Conv 不再采用Relu
stride=2的conv不使用shot-cot，stride=1的conv使用shot-cut

Inverted residuals
- ResNet中Residuals block先经过1*1的Conv layer，把feature map的通道数降下来，再经过3*3 Conv layer，最后经过一个1*1 的Conv layer，将feature map 通道数再“扩张”回去
- 即采用先压缩，后扩张的方式。而 inverted residuals采用先扩张，后压缩的方式。
- MobileNet采用DW conv提取特征，由于DW conv本身提取的特征数就少，再经过传统residuals block进行“压缩”，此时提取的特征数会更少，因此inverted residuals对其进行“扩张”，保证网络可以提取更多的特征
Linear bottlenecks
- ReLu激活函数会破坏特征
- ReLu对于负的输入，输出全为0，而本来DW conv特征通道已经被“压缩”，再经过ReLu的话，又会损失一部分特征
- 采用Linear，目的是防止Relu破坏特征
shortcut
- stride=2的conv不使用shot-cot，stride=1的conv使用shot-cut
网络架构