常用的深度学习模型压缩和加速方法

现有的深度模型压缩方法，主要分为四类：

• 参数修剪和共享（parameter pruning and sharing）
• 低秩因子分解（low-rank factorization）
• 转移/紧凑卷积滤波器（transferred/compact convolutional filters）
• 知识蒸馏（knowledge distillation）

1. 参数修剪和共享

参数修剪和共享方法是针对模型参数的冗余性，试图去除冗余和不重要的项。

2. 低秩因子分解

低秩因子分解方法是使用矩阵/张量分解来估计深度学习模型的信息参数。

3. 转移/紧凑卷积滤波器

转移/紧凑卷积滤波器方法是设计特殊的结构卷积滤波器来降低存储和计算复杂度。

4. 知识蒸馏

知识蒸馏方法是通过学习一个蒸馏模型，训练一个更紧凑的神经网络来重现一个更大的网络的输出。