论文粗读“Joint contrastive triple-le

2023-06-13 本文已影响0人掉了西红柿皮_Kee

Hu S, Zou G, Zhang C, et al. Joint contrastive triple-learning for deep multi-view clustering[J]. Information Processing & Management, 2023, 60(3): 103284.

模型动机

(1)目前深度对比MVC模型只关注单方面的对比学习，例如：样本特征级别或者类簇级别的对比。(2)目前MVC大部分都是两阶段模型(?)。
本文提出了一种端到端的多对比学习联合的MVC框架。

模型浅析

模型架构图。

主要的模型流程为：

多个视图会被喂入m个编码器网络来抽取视图特有的特征，并采用了Transformer进一步提升特征向量。
之后采用了三重对比学习，视图权重学习以及数据聚类三个模块进行联合优化，以获取聚类结果。

联合对比的三重学习模块

该模块主要包含三个不同目标的对比损失，即feature-level alignment-oriented，commonality-oriented CL losses, 以及 cluster-level consistency-oriented CL loss。前两种损失的目的是对比不同特征级别的样本的编码特征表示，而最后一个是对视图类簇表示的对比。总体的损失函数如下：

其中

0 < \alpha < 1, 0 < \beta < 1

是平衡因子。

Alignment-oriented CL loss
该损失的目的是对齐特定视图的特征表示，以便在一定程度上缓解不同视图之间的异构性。

For the deep MVC, each data sample is described by different views andthus the positive and negative pairs are naturally formed. (真的有人这么写！！) In other words, each sample has one set of observations from different views that are related to it in multi-view clustering. Thus, the same data samples from different views can be naturally drawn as positive pairs, while the remaining sample pairs (i.e., different samples within each view or across different views) are drawn as negative pairs.

首先，计算了两个特征表示 $h_i^u, h_i^v$ 之间的余弦相似度：

因此，可以定义如下的多视图NT-Xent CL 损失：

其中，如果满足约束

u \neq v

，则

l_i^{uv}

的定义如下：

这里的负例包含了在同一视图或者不同视图的不同样本。（个人认为红框中的表示存在一定的歧义）

Commonality-oriented CL loss
该损失试图通过对比由两层MLP网络 $Z=f(H)$ 获得的不同特征矩阵的行级特征，来学习多个视图之间的特征级共性。
Consistency-oriented CL loss
该损失是为了通过对比由两层MLP网络 $Y=g(H)$ 和一个softmax函数获得的多个视图的伪标签表示，来学习视图之间的类簇级一致性。随着联合训练算法迭代次数的增加，伪标记 $Y$ 的表示将会越来越正确。然而，这些伪标记的结果并没有作为最终的聚类结果，只用于视图一致性学习和判别特征表示学习。