Weak supervision文章阅读

• 1.26
  1. Learning Pixel-level Semantic Affinity with Image-level Supervision for Weakly Supervised Semantic Segmentation
  本文利用了image-level的监督进行网络训练。与其他利用super-pixel和proposal的方法相比，利用CAM作为random walk的seed，可以实现网络的端到端训练。首先，训练一个接GAP的分类网络产生CAM，然后利用CAM进行sample，生成AffinityNet的gt，从而训练AffinityNet；最后利用AffinityNet生成的affinity map，结合CAM，利用random walk得到分割的label，用来作为gt mask训练第三个网络，也就是segmentation net。之所以叫做weak supervision，就是因为监督还是有的，只不过是image level的。
  

  Pipeline

• 1.27
  1. Revisiting Dilated Convolution: A Simple Approach for Weakly- and Semi- Supervised Semantic Segmentation
  众所周知，CAM产生的高响应区域一般都不全，只是一些对分类比较关键的部位。因此，很多利用了CAM的弱监督文章都是想办法用CAM作为种子，向四周扩散获得完整的mask。本文就很聪明的发现把卷积的dilation rate扩大后，响应区域也变大了，比手动扩大要好的多。如下图所示，d=1时，响应区域集中在脸上和脚上，身上几乎没有，随着d的增大，响应区域也变大了。因此，不同d的响应图进行融合，就能得到不错的伪mask。
  

  

2. Weakly Supervised Salient Object Detection Using Image Labels
本文是做弱监督的显著性检测，采用了迭代的方法。做法上感觉没有特别多可以借鉴的地方，所以没有仔细看。

pipeline

3. Weakly-Supervised Semantic Segmentation by Iteratively Mining Common Object Features

• 1.28

1. Weakly Supervised Instance Segmentation using Class Peak Response
本文是一篇弱监督的instance segmentation，监督信息也是image-level的，有点没太看懂。大概是通过训练分类网络，得到每个类别的response map，通过在上面采样peak，也就是局部最大值，将peak作为一个object中最有代表性的位置，通过反向传播，得到底层的peak response map（图2）。最后将peak response map与off-the-shelf的proposal进行组合得到每类的instance mask，最后做NMS。貌似很关键的一个地方就是，在class response map上乘peak filter（除了peak处是1，其他全是0），这样可以使得到的response map区分性更强（图1，右）

图1 图2

2. Momentum Contrast for Unsupervised Visual Representation Learning
本文是一篇技术型文章，主要解决了无监督学习中，key不够多的问题。设计一个memory bank存放一定量的key（主要是负样本），利用query encoder逐渐更新key encoder，使得key空间大而且连续。本文的实验部分，有时间的话还是认真研读一下，最近时间不太够，就先算了。