43.常用的轻量级网络——ShuffleNet-v2

• 旨在设计一个轻量级但是保证精度、速度的深度网络

43.1 设计思想

• 影响神经网络速度的4个因素：
  • a. FLOPs(FLOPs就是网络执行了多少multiply-adds操作)
  • b. MAC(内存访问成本)
  • c. 并行度(如果网络并行度高，速度明显提升)
  • d. 计算平台(GPU，ARM)
• ShuffleNet-v2 提出了4点网络结构设计策略：
  • G1.输入输出的channel相同时，MAC最小
  • G2.过度的组卷积会增加MAC
  • G3.网络碎片化会降低并行度
  • G4.元素级运算不可忽视

43.2 网络结构

• depthwise convolution 和 瓶颈结构增加了 MAC，用了太多的 group，跨层连接中的 element-wise Add 操作也是可以优化的点
  • 所以在 shuffleNet V2 中增加了几种新特性。
• 所谓的 channel split 其实就是将通道数一分为2，化成两分支来代替原先的分组卷积结构（G2），并且每个分支中的卷积层都是保持输入输出通道数相同（G1），其中一个分支不采取任何操作减少基本单元数（G3），最后使用了 concat 代替原来的 elementy-wise add，并且后面不加 ReLU 直接（G4），再加入channle shuffle 来增加通道之间的信息交流
  • 对于下采样层，在这一层中对通道数进行翻倍

  • 在网络结构的最后，即平均值池化层前加入一层 1x1 的卷积层来进一步的混合特征

    
    
• 网络结构
  

43.3 ShuffleNet-v2具有高精度的原因

• 由于高效，可以增加更多的channel，增加网络容量
• 采用split使得一部分特征直接与下面的block相连，特征复用(DenseNet)

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通