37.网络结构与模型压缩、加速-4

37.1 减少网络碎片化程度(分支数量)

模型中分支数量越少，模型速度越快

• 此结论主要是由实验结果所得。

  • 以下为网络分支数和各分支包含的卷积数目对神经网络速度的影响。

    
    

• 实验中使用的基本网络结构，分别将它们重复10次，然后进行实验。实验结果如下：

  
  
• 由实验结果可知，随着网络分支数量的增加，神经网络的速度在降低。网络碎片化程度对GPU的影响效果明显，对CPU不明显，但是网络速度同样在降低。

37.2 减少元素级操作

元素级操作所带来的时间消耗也不能忽视

• ReLU ，Tensor 相加，Bias相加的操作，分离卷积（depthwise convolution）都定义为元素级操作。
• FLOPs大多数是对于卷积计算而言的，因为元素级操作的FLOPs相对要低很多
  • 但是过的元素级操作也会带来时间成本

  • ShuffleNet v1和MobileNet v2的几种层操作的时间消耗做了分析，发现元素级操作对于网络速度的影响也很大。

    
    

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通