Structured Knowledge Distillatio
2019-05-15 本文已影响27人
挺老实
1 文章简介
方向:语义分割网络压缩
会议:CVPR
2 提出方法
Pixel-wise distillation + Pair-wise distillation + Holistic distillation进行语义分割网络压缩。
Pixel-wise distillation : 使用蒸馏网络完成
Pair-wise distillation : 特征的结构相似性
Holistic distillation : 使用GAN网络完成
网络结构如图1所示。
![](https://img.haomeiwen.com/i16802512/506248af88b256be.png)
其中
(1) pixel-wise loss 为:
![](https://img.haomeiwen.com/i16802512/694cf634f36534be.png)
(2)pair-wise loss 为:
![](https://img.haomeiwen.com/i16802512/32513e36ddbe4d2b.png)
![](https://img.haomeiwen.com/i16802512/3c07eee2df826a10.png)
(3)Holistic loss:
![](https://img.haomeiwen.com/i16802512/daee9d05732477b7.png)