模型压缩（一）：剪枝

李宏毅 network compression https://www.youtube.com/watch?v=dPp8rCAnU_A

因为现在训练出来的模型过多参数的，所以可以剪枝且准确率变化不大。

首先先训练好一个大模型，再看权重/神经元接近于0（计算l1或l2）就是不重要的权重/神经元，移除它. 再重新训练，finetune. 多次移除少量，更容易把准确率训练回来。

权值剪枝不好处理，剪枝之后网络不规则，不再是全连接，gpu也不好加速不规则的形状，不好做矩阵运算。如果只把需要剪枝的权值设为0，那参数量没改变，不能加速。

神经元剪枝比较好处理，比较好加速。