31.深度学习模型压缩方法-5
2023-01-04 本文已影响0人
大勇任卷舒
31.1 压缩效果评价指标
- 网络压缩评价指标包括运行效率、参数压缩率、准确率
- 与基准模型比较衡量性能提升时,可以使用提升倍数(speedup)或提升比例(ratio)。
| 评价指标 | 特点 |
|---|---|
| 准确率 | 目前,大部分研究工作均会测量 Top-1 准确率,只有在 ImageNet 这类大型数据集上才会只用 Top-5 准确率.为方便比较 |
| 参数压缩率 | 统计网络中所有可训练的参数,根据机器浮点精度转换为字节(byte)量纲,通常保留两位有效数字以作近似估计. |
| 运行效率 | 可以从网络所含浮点运算次数(FLOP)、网络所含乘法运算次数(MULTS)或随机实验测得的网络平均前向传播所需时间这 3 个角度来评价 |
31.2 几种轻量化网络结构对比
| 网络结构 | TOP1 准确率/% | 参数量/M | CPU运行时间/ms |
|---|---|---|---|
| MobileNet V1 | 70.6 | 4.2 | 123 |
| ShuffleNet(1.5) | 69.0 | 2.9 | - |
| ShuffleNet(x2) | 70.9 | 4.4 | - |
| MobileNet V2 | 71.7 | 3.4 | 80 |
| MobileNet V2(1.4) | 74.7 | 6.9 | 149 |
31.3 网络压缩未来研究方向
- 网络剪枝、网络精馏和网络分解都能在一定程度上实现网络压缩的目的.回归到深度网络压缩的本质目的上,即提取网络中的有用信息,以下是一些值得研究和探寻的方向.
(1) 权重参数对结果的影响度量
(2) 学生网络结构的构造
(3) 参数重建的硬件架构支持
(4) 任务或使用场景层面的压缩
(5) 网络压缩效用的评价
大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通
