模型压缩
2021-10-22 本文已影响0人
术枚派
模型压缩的方法,常见的有剪枝(pruning),量化,蒸馏。
pruning
先分析权重或者神经元的重要性,然后去除,之后重新fine-tune,一直循环。
判断weight的重要性:绝对值的大小
判断neuron的重要性: 训练过程中不为0的次数。
模型压缩的方法,常见的有剪枝(pruning),量化,蒸馏。
先分析权重或者神经元的重要性,然后去除,之后重新fine-tune,一直循环。
判断weight的重要性:绝对值的大小
判断neuron的重要性: 训练过程中不为0的次数。