Attribute Related Works

2020-09-14 本文已影响0人阮恒

导论

在本文中，我总结了与automatically learn unsupervised latent attribute 相关的论文

强相关论文

【1】 ICCV 2019 Towards Latent Attribute Discovery From Triplet Similarities
感觉这篇文章和我们的想法非常相像。
文章创新点：

使用triplet loss to learn latent attributes
使用 multi-choice learning 来选择性更新不同attribute分类器，即每一个triplet只选择loss最小的那个attribute分类器进行梯度更新。
文章弱点：
这篇文章其实使用了attribute supervision去构建triplet pair

【2】ICML2015 Multiview Triplet Embedding: Learning Attributes in Multiple Maps
这篇文章被上一篇引用
【3】CVPR2013 Designing Category-Level Attributes for Discriminative Visual Recognition
这篇文章和Harvesting Mid-level Visual Concepts from Large-scale Internet Images非常像，感觉就是我们想找的东西。而且这篇文章写得很清楚。

文章目的：设计一个category-attribute matrx A, 里面包含每一个类别的attribute值。再学习一系列attribute classifiers, 能够根据每一个image feature预测attribute值。
Designing discriminative category-level attributes is to find a category-attribute matrix A, as well as the attribute classifiers f(·) to minimize the multi-class classification error.
要求学习到的category-attribute matrix有类别可分性，以及可学习性。
文章创新点：
我觉得最大的创新点是怎么做ZSL：
即使我们在seen classes里面学到了category-attribute matrix $A \in R^{k \times l}$ , where $k$ and $l$ represent the class index and the attribute index respectively.
但是对于ZSL来说我们依然需要定义 unseen 类别的category-attribute matrix $\tilde{A} \in R^{p \times l}$ , where $p$ and $l$ represent the class index and the attribute index respectively.
作者提出一种方法让人类来帮忙，即给定 $p$ unseen and $k$ seen classes, 定义一个binary similarity matrix $\tilde{S} \in {0,1}^{p \times k}$ , then $\tilde{A} = \tilde{S}A$ .
而这一点我们可以用Wordnet或者Word2vec来实现。

文章用处：
我觉得比较promising的一点是，作者说他们的attribute比用人类标注的attribute进行ZSL效果要好。但前提是他们的对比对象是DAP（古早ZSLmodel）。
-【4】CVPR2016 Unsupervised Learning of Discriminative Attributes and Visual Representations
文章目的：
文章创新点：1. 用的是CNNfeature。。。（曾几何时这也算创新点了）

这篇文章没有用class label，属于完全的unsupervised。他们的类别信息来自数据的聚类。我们的方法应该和这个不一样，我们想使用class label。
作者认为attribute在discriminative和predictable之间有一个trade-off.
方法步骤：
unsupervised clustering and representation learning
binary hashing the attributes and finetune the feature representation

文章用处: 1. 这段statement 我觉得比较合理：Besides costing substantial human effort, the major drawback of these methods (supervised attribute learning) is that they cannot guarantee the manually defined attributes are sufficiently predictable or discriminative in the feature space.

文章提及了一些相关文献，包括两篇使用class label的attribute discovery methods
缺点：这个文章并没有用后续的attribute做事情

【5】CVPR2016 Recovering the Missing Link: Predicting Class-Attribute Associations for Unsupervised Zero-Shot Learning
这篇文章和【3】配合使用，感觉就解决了我们想要的问题
文章目的：做unsupervised ZSL. 即给定seen classes image和他们的attribute annotation，我们不需要unseen classes的attribute，而是根据class name 之间的联系，学习unseen class可能的attribute分布。We present an end-to-end approach to automatically predict class-attribute associations and use them for zero-shot
classification.
文章创新点：

为了学习class和attribute之间的relation mapping matrix，将class name 和 attribute name都映射成d维的向量（word2vec)。
通过seen class里面的class和attribute之间的连接，学习一个relation matrix, 从而能够将unseen class映射成binary的attribute。

Screenshot 2020-09-13 at 18.10.24.png
训练过程中需要建立possitive和negative 的class-attribute pair

文章用处：

这种方法可以用有attribute的那些dataset去测试是不是能够很好地将attribute的关系学到。作者用AwA测试了一下
作者和几种简单的利用word2vec之间的欧氏距离进行attribute prediction的方法做了比较，结果是作者的方法比较好
作者证明了这种方法可以用来进行数据集之间的transfer learning，比如利用AwA数据集做训练，然后利用aYaP数据集做测试。

中等相关论文

[image]Attribute annotation on large-scale image database by active knowledge transfer
这篇文章和王九牛的想法是一样的，通过一些已经标注的小数据集的学习（其实作者这里是对小部分imagenet数据进行了标注），他们标注的attribute名称来自李飞飞组的论文attribute learning in large-scale datasets。
[CVPR2013] Harvesting Mid-level Visual Concepts from Large-scale Internet Images
这篇论文将每一张图片segment成a bag of image patches, 然后对每一类的concept进行聚类，得到相关于这一concept的patch。concept其实是某一类的类别名称。作者使用的方法是建立positive和negative的bag，然后用SVM学习一个分类的hyperplane. The purpose of creating the large negative bag is to model the visual world, making the visual
concepts learned for a word discriminant enough from the
other words. For example, for words such as “horse” and
“cow”, using a large negative bag 𝐵−, the common backgrounds such as the grassland and the sky can be filtered.

对于一种concept，作者不仅仅学习了一种表示，而是学习多种表示，如下图对于建筑物有多种表现形式

Screenshot 2020-09-13 at 10.32.46.png

[ECCV 2012] Attribute Discovery via Predictable Discriminative Binary Codes(http://www.cs.umd.edu/~mrastega/Site/Publications_files/dbc.pdf)

文章目的：image classification
文章创新点：将image feature学习成binary code，每一维度代表一种latent attribute。作者用contrastive loss来训练这个mapping过程。map 好了以后用binary code进行分类任务

contrastive loss

文章用处：这种学习类似于一种latent attribute的discovery
作者展示了一些学到的attribute的possitive example

Screenshot 2020-09-13 at 11.08.48.png

[AAAI2017] Learning Attributes from the Crowdsourced Relative Labels
这篇文章是利用人类AMT来标注attribute。通过对比的方法：狮子和老虎最显著的区别是什么？
ECCVworkshop 2012 Unsupervised Learning of Discriminative
Relative Visual Attributes

弱相关attribute论文

[CVPR2012] Multi-Attribute Spaces: Calibration for Attribute Fusion and Similarity Search
文章目的：通过attribute search image
文章创新点：不同的attribute value代表的强度是不一样的。作者提出了一种对attribute value进行noralize的方法。
文章用处：我觉得这个东西和ZSL里面对于attribute label的正则化有关系。现在的ZSL直接将attribute进行了L2 nomalization，不知道用这种方法对于不同的attribute进行不同的正则化是不是更好。
感觉那些学习attribute attention的方法和这个解决的问题可能是一样的。

zero-shot 论文

Devi Parikh

CVPR2011 Interactively Building a Discriminative Vocabulary of Nameable Attributes
Paper from Devi. The paper has human-in-the-loop.
ICCV 2011 Relative Attributes
attribute的学习是有监督的。
CVPR2013 Simultaneous Active Learning of Classifiers & Attributes via Relative Feedback
是一种模型的active学习，每一个iteration被模型错分的图片都会被supervisor看到并给出attribute的解释，比如this image is too open to be a forest. 这样可以随时学习attribute和image classifier，并帮助image classifier的学习
CVPR 2013 Multi-attribute Queries: To Merge or Not to Merge?
在用attribute进行的image retrieval中，有一些attribute因为自己的visual 特性非常多样，所以不应该单独训练一个attribute classifier，而应该和其他attribute merge
ICCV 2013 Spoken Attributes: Mixing Binary and Relative Attributes to Say the Right Thing
额，挺无聊的我感觉。是说基于attributes的image caption
ICCV 2013 Attribute Dominance: What Pops Out? [Attribute Dominance: What Pops Out?]
作者认为，attribute之间不是等价的。对于不同类他们有不同的重要性，i.e. 条纹对于斑马重要等等
作者用AMT标注了每一类图像的attribute的重要程度，然后训练一个重要程度分类器。然后用这个重要程度去加权ZSL里面的attribute classifier。
当然，在标注test class的attribute的时候，也已经有了这些attribute对于这一类image的重要性排序。
our approach not only verifies how well its appearance
matches the specified attributes presence/absence, but also
verifies how well the predicted ordering of attributes according to their dominance matches the order of attributes
used by the supervisor when describing the test category。
Devi 在 CVPR2013 的一个tutorial Attributes
什么是attribute

什么是attribute

什么是attribute