八月份读论文列表

2019.8.2
Content-aware multi-level guidance for interactive instance segmentation
本文是针对guidance map进行了优化，之前的guidance map是image agnostic的，没有考虑图片的一些appearance特征、object context以及object scale等信息，本文针对这三点，设计了三种guidance map。不过object context中用到的object proposal还是有些没明白，需要以后再思考一下。
Interactive full image segmentation by considering all regions jointly
本文也是针对之前算法的优化，先前的大部分交互式分割采用的都是FCN的结构，本文用了mask-rcnn，将proposal换成用户标注的，进行反复优化。由于mask-rcnn中roi align的作用，不需要每次都跑一遍整个前向网络，只要算一次特征，之后都用bbox去crop就可以。

2019.8.19
Instance segmentation by jointly optimizing spatial embeddings and clustering bandwidth
本文的论文显示的实验结果效果非常好，然而一直都没给code。做的是bottom-up的实例分割，完全anchor free。网络预测了一个offset vector map以及一个gamma map，分别代表每个pixel距离所属instance中心的vector，以及每个pixel所属instance的尺寸。利用这两项可以得到一个类似于prob map的东西，表示了每个pixel属于该instance的概率。同时，另一支路得到c类的seed map，表示每个pixel是instance中心的概率，也服从高斯分布。通过这两条支路，结合就可以得到一个原图大小的instance map。文章相比之前的创新在于，用一个seed支路来得到instance中心，而之前的proposal free做法是基于聚类算法的，因此在inference时，不需要离线反复迭代得到聚类中心。proposal based的方法则是利用proposal同时区分instance以及类别；而本文则是利用c个seed map区分类别，聚类中心以及offset vector区分不同instance，不需要产生proposal，使得特征图可以放大，因此也不需要考虑同一个pixel属于不同instance中心的可能性，确实很巧妙的做法。