深度神经网络模型压缩和加速方法2019-10-15

综合现有的深度模型压缩方法，它们主要分为四类：

参数修剪和共享（parameter pruning and sharing）

低秩因子分解（low-rank factorization）

转移/紧凑卷积滤波器（transferred/compact convolutional filters）

知识蒸馏（knowledge distillation）

基于参数修剪和共享的方法针对模型参数的冗余性，试图去除冗余和不重要的项。

基于低秩因子分解的技术使用矩阵/张量分解来估计深度学习模型的信息参数。

基于传输/紧凑卷积滤波器的方法设计了特殊的结构卷积滤波器来降低存储和计算复杂度。

知识蒸馏方法通过学习一个蒸馏模型，训练一个更紧凑的神经网络来重现一个更大的网络的输出。