论文阅读"PiCO: contrastive label dis

2022-03-30  本文已影响0人  掉了西红柿皮_Kee

Wang H, Xiao R, Li Y, et al. PiCO: Contrastive Label Disambiguation for Partial Label Learning[J]. arXiv preprint arXiv:2201.08984, 2022.

摘要翻译

在这项工作中,作者通过在一个连贯的框架中解决PLL中的两个关键研究挑战——表示学习和标签消歧——来弥补这一差距。具体来说,所提出的框架PiCO由一个对比学习模块和一个新的基于类簇原型的标签消歧算法组成。PiCO为来自相同类簇的样本示例生成紧密对齐的表示,并便于标签消除歧义。

任务背景介绍
任务数据说明

该论文主要研究的是partial label learning(PLL)问题。该问题可以定义为如下:首先给定\mathscr{X}为输入空间, \mathscr{Y}为输出标签空间。考虑如下的训练数据集\mathscr{D}=\{(x_i,Y_i)\}_{i=1}^n,每一个元组由一张图片x_i \in \mathscr{X}和一个候选的标签集合Y_i \in \mathscr{Y}组成。依照监督学习任务的设定来讲,PLL的目标是通过关联样本来学习一个可以预测正确标签的映射函数。二者之间的不同点是,PLL的建立可以容忍标签空间的不确定性。PLL任务的基础假设是输入样本x_i所对应的真实标签y_i是隐藏在其候选标签集合Y_i中的,但在学习过程中该标签不可见。正是因为这个原因,相较于监督学习任务中给定正确标签而言,PLL在学习中容易受到固有歧义的影响。

可以看出,PLL任务中最关键的问题在于如何从给定的候选标签集合中识别出真实标签。在训练中,为每个输入图片x_i分配一个标准化向量s_i \in [0,1]^C作为伪目标,向量中的每个元素表示每个标签可能是真实标签的概率。为Y_i中每个标签分配的概率之和为1。该s_i将会在训练的过程中进行更新。理想情况下,s_i 应该在训练过程中将更大的概率放在(未知的)真实标签 y_i 上。在训练中,以s_i为目标,用交叉熵损失来训练分类器f

由此,每个样本的损失由以下形式给出: 其中,j代表着标签的下标。s_{i,j}为输入x_i的第j个标签。这里的映射学习f是网络经由softmax的输出,并将f^j作为它的第j个entry。
模型浅析

对于PLL任务,主要包含表示和标签学习两个关键问题,当然这两个问题是可以进行同时优化的。


PLL任务感觉让人很容易接受。并且在模型的构造上,虽然没有很明显的使用聚类的方法,但是利用对比学习捕获聚类友好的嵌入空间表示,并且在伪标签的更新中使用了计算当前样本嵌入q和类簇原型嵌入表示\mu_j之间的相似性来更新伪标签,无疑中也使用了聚类中计算样本表示和类簇中心表示的思想。巧妙的通过这种联系,建立起样本和标签之间的关联性,为PLL任务提供了很好的思路。

上一篇 下一篇

猜你喜欢

热点阅读