论文阅读“Deep Contrastive Learning f

2021-09-18 本文已影响0人掉了西红柿皮_Kee

Zhang M, Zhu Y, Wu S, et al. Deep Contrastive Learning for Multi-View Network Embedding[J]. arXiv preprint arXiv:2108.08296, 2021.

摘要部分

多视图网络嵌入学习的目标是将网络中的节点映射成低维向量，并同时保留多种关系和属性信息。基于对比学习的已经在这项工作中展现出较为先进的性能。然而，绝大多数这类方法都依赖于高质量的图嵌入表示，并且很少探索在不同的图视图之间的关系。为了解决这些不足，我们设计了node-to-node Contrastive leaRning framEwork for Multi-view network Embedding（CREME），它包含两个对比目标：多视图融合信息的最大化及视图内信息最小化。前一个目标会从不同视图产生的嵌入表示中蒸馏信息，而后者可以更好地区分不同的图视图以捕捉它们之间的互补信息。具体来说，作者首先应用view encoder去产生每个视图的图视图表示，然后使用multi-view aggregator融合各视图信息。在训练中将两个对比目标统一为一个学习目标去优化。在3个真实数据集上的实验表明了模型的有效性。

写法总结：首先说明自己的任务及目标；其次引出自己要使用的方法类型，指出其不足；接着提出自己的方法，并进行简单的介绍；最后概括模型的有效性。

Intro部分

关于现有方法到自己方法的过渡，需要指出现有方法存在的问题：

Although these (contrastive learning methods) have achieved compelling performance on (multi-view network embedding), we argue that they still have two deficiencies. On the one hand, (their contrastive strategies mostly rely on graph level embedding for each view). (给出解释However, high-quality graph embedding requires an efficient injective graph readout function, which is difficult to design or optimize in practice [18]). On the other hand, (their contrastive methods do not explicitly leverage the relationships between different graph views, such as complementary information). To deal with these challenges, 针对不足我们的方法分别是怎么做的(we consider using node-to-node contrastive learning instead of the node-to-graph one, which could eliminate the process of graph embedding. Furthermore, we establish two contrastive objectives to promote multi-view information fusion and maintain the complementary information between different graph views).

相关方法

问题定义
模型介绍

模型的主要想法是使用自监督框架去学习：
视图 $G_r$ 的view encoder $f_r:A_r×X->Z^r \in R^{N×d}$ ;
多视图 $G$ 聚合器 $g:(Z^1,Z^2,....,Z^{|R|})->Z \in R^{N×d}$ ;
其中 $z^{r}_i \in Z^r$ 是指在视图 $G_r$ 中每个节点的表示;
$z_i \in Z$ 是指在全局融合视图 $G$ 中每个节点的表示;

模型目标
模型目标分为两个部分。
其中第一部分是多视图融合信息的最大化：其主要涉及的视图是各视图和融合视图的邻接矩阵信息。其中对比学习中，最重要的是正例对和负例对的构造。在融合信息最大化中，采用了对应节点信息为正例，其余均为负例的的对比策略，因此有如下损失函数：并将分母部分进行了重新表示：其中 $\theta$ 为一个相似性度量函数，一般为余弦相似度。 $\tau$ 为温度参数。
第二部分为视图内信息最小化：对于多视图数据，不同视图之间的表示通常具有互补性。但是由于共享节点表示信息的前提下，会导致每个视图的表示趋于一致，从而使得视图间的可区别性降低。因此，在这部分中，主要涉及的是分视图之间的对比学习：由此，对负例对进行了扩展，所以有如下：
总结来说，对于模型框架整体的学习目标来讲转换为所有正例对的均值：
view encoder
关于各视图节点结构信息和属性信息的学习，论文中使用的是GAT模型。也就是说除了原始的GCN外，额外添加了节点和它对应近邻节点的权重信息： $N_i^r$ 是视图 $G_r$ 中节点 $i$ 的一系列近邻节点， $\alpha_i \in R^{2d}$ 是视图特有的权重向量， $M_r \in R^{d×F}$ 是节点属性信息到语义空间映射的转化矩阵。最终，节点 $i$ 的表示为其所有节点信息的聚合，其中激活函数为ReLU，然后进行各权重相乘的拼接形式。
multi-view aggregator
多视图聚合器的目的是整合来自所有图视图的语义信息并生成节点的融合多视图网络的表示。为了进一步区别每个视图在聚合中的重要程度，作者使用了注意力机制来聚合来自不同视图的节点表示。这里作者使用的注意力机制相当于通过了全连接层，使用 $q$ 做语义级别的attention vector。并使用softmax进行归一化得到对应权重，然后对视图进行融合相加。