36.网络结构与模型压缩、加速-3

36.1 输入输出的channel相同时，MAC最小

卷积层的输入和输出特征通道数相等时MAC最小，此时模型速度最快。

• 假设feature map的大小为h*w，输入通道，输出通道。

  • 已知：

    
    
• 根据均值不等式得到(c1-c2)^2>=0，等式成立的条件是c1=c2，也就是输入特征通道数和输出特征通道数相等时，在给定FLOPs前提下，MAC达到取值的下界。

36.2 减少组卷积的数量

过多的group操作会增大MAC，从而使模型速度变慢

• 由以上公式可知，group卷积想比与传统的卷积可以降低计算量，提高模型的效率
  • 如果在相同的FLOPs时，group卷积为了满足FLOPs会是使用更多channels，可以提高模型的精度
  • 但是随着channel数量的增加，也会增加MAC。

• FLOPs：

  
  

• MAC：

  
  

• 由MAC，FLOPs可知：

  
  
• 当FLOPs固定(B不变)时，g越大，MAC越大

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通