模型压缩

2021-10-22  本文已影响0人  术枚派

模型压缩的方法,常见的有剪枝(pruning),量化,蒸馏。

pruning

先分析权重或者神经元的重要性,然后去除,之后重新fine-tune,一直循环。

判断weight的重要性:绝对值的大小
判断neuron的重要性: 训练过程中不为0的次数。


上一篇下一篇

猜你喜欢

热点阅读