38.常用的轻量级网络——SequeezeNet

• 保证精度不损失的同时，将原始AlexNet压缩至原来的510倍
  在网络结构设计方面主要采取以下三种方式：

38.1 网络结构设计

• 用1*1卷积核替换3*3卷积
  • 理论上一个1*1卷积核的参数是一个3*3卷积核的1/9，可以将模型尺寸压缩9倍。
• 减小3*3卷积的输入通道数
  • 根据上述公式，减少输入通道数不仅可以减少卷积的运算量，而且输入通道数与输出通道数相同时还可以减少MAC。
• 延迟降采样
  • 分辨率越大的输入能够提供更多特征的信息，有利于网络的训练判断，延迟降采样可以提高网络精度。

38.2 网络架构

• SqueezeNet提出一种多分支结构——fire model，其中是由Squeeze层和expand层构成
  • Squeeze层是由s1个1*1卷积组成，主要是通过1*1的卷积降低expand层的输入维度
  • expand层利用e1个1*1和e3个3*3卷积构成多分支结构提取输入特征，以此提高网络的精度(其中e1=e3=4*s1)

• SqueezeNet整体网络结构：

  
  

38.3 实验结果

• 不同压缩方法在ImageNet上的对比实验结果

  
  
• SqueezeNet不仅保证了精度，而且将原始AlexNet从240M压缩至4.8M，压缩50倍

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通