[Daily Paper Reading 2] Panoptic

简介

• Kirillov A, Girshick R, He K, et al. Panoptic Feature Pyramid Networks[J]. 2019.

本文仍然是何凯明组的工作，在Mask R-CNN的基础上添加语义分割支路，通过对特征金字塔的操作实现语义分割，使用单个神经网络即可进行全景分割，在效率和性能上均有较好的效果。

主要内容

• 实例分割目前的三种方向：

  1. region-based approach: R-CNN家族
  2. 从语义分割结果中通过grouping来提取实例
  3. use position-sensitive pixel labeling to encode instance segmentation

• 语义分割的两种流行/可行架构

  1. dilated convolution: dominate and popular, but cost a lot
  2. encoder-decoder架构

• 各种架构之间的比较（比较有意思的地方）
  

  
  
  FPN可视为非对称encoder-decoder架构，总体更加高效。

• FPN满足语义分割的要求：high-resolution,rich,multi-scale features

• 语义分割支路
  

  支路网络结构
  支路文字说明
  上采样采用了在Mask R-CNN中使用的双线性插值。

• 使用了后处理来解决输出中的重叠问题，主要是以下三项原则

  1. 根据置信度处理不同实例之间的重叠
  2. 当一个像素在实例和语义分割中重叠时，将其分配到实例中
  3. 去掉stuff区域中的other标签（所有的things区域在训练时均被标记为other）和低于某个面积阈值的区域。

• 损失函数及处理

  
  损失函数处理
  

  这种简单且有效的处理方式值得学习，但是在做参数调整时也需要大量的计算力才能有这样简单的处理方式。

• 单独语义分割表现
  

  
  
  
  本文对特征的通道数以及特征融合的方式进行了检验，说明本文采用的方式的合理性（效率及性能的平衡）。在特征融合方式上，elemen-wise sum以及concat性能上是差不多的，但是前者更加高效。

• 其他结果
  本文对损失函数的两个权重进行了研究（固定一个，改变另一个），然后选择最优结果的参数。

本文对参数更新方式进行了研究，主要是将两个分支损失加起来一起更新还是轮流更新，实验发现前者性能更好。

本文对金字塔特征的使用方式进行了探究，即将256通道的值均分为两个集合，其中一个集合给实例分割用，另一个集合给语义分割用，在性能上和原来的方式互有上下。

panoptic FPN的最终结果为

image.png
结果优于之前的单网络模型。

感想

深度学习研究中的想法很重要，但是算力也很重要，因为它是检验想法有效性的基本设施（另一个重要因素是数据集，这个是工程性问题，一般可以很好地解决，而且数据集的存在基本解决了研究的需求）。算力的高低也同时决定了反馈周期的长短，周期越短，对于研究者越有利，也能让研究更加扎实。本文中大量的实验充分说明了算力对于深度学习的重要性。对于自身而言，可以多看一些相关论文，增加对于深度学习的洞见，这样可以提高想法有效的概率，从而改善算力不足以及试验周期较长的弊端。

另一方面，何凯明组的研究真的非常扎实，而且很neat，给人一种很好的感觉，读他们组的论文可以加深对深度学习的洞见。后期将会跟进更多的文章。