论文阅读"Multilayer Graph Contrastiv

2022-05-13 本文已影响0人掉了西红柿皮_Kee

Liu L, Kang Z, Tian L, et al. Multilayer Graph Contrastive Clustering Network[J]. arXiv preprint arXiv:2112.14021, 2021.

今天依旧摆烂...

摘要导读

多层图聚类任务的目标是将图节点划分到不同的类别或社区中。
本文指出：现有的方法往往局限于利用多视图属性或多个网络，而忽略了更复杂和更丰富的网络框架。
因此，提出了一个多层图对比聚类框架，主要包含三个部分：（1）用于捕获节点和其近邻节点相关性的注意力机制模块，（2）为了更好的探索一致信息，引入了对比融合策略，（3）并使用了一个自监督机制迭代的增强节点嵌入和聚类。

关于描述自监督模块的句子
MGCCN employs a self-supervised component that iteratively strengthens the node embedding and clustering.
The proposed model employs a multi-level clustering module that iteratively refines contrastive learning and clustering.
Self-supervised clustering iteratively boosts the quality of embeddings and clustering.

模型浅析

数据定义
给定包含 $N$ 个节点和 $m$ 个层的多层图数据 $\mathcal{G}$ ，记作：
其中 $G^s$ 由邻接矩阵 $\tilde{A}^s \in R^{N \times N}$ 描述，如果 $\tilde{A}_{ij}=1$ 表示节点 $i$ 和 $j$ 之间有边。 $X^s=[x_1, \cdots, x_N] \in R^{d^s \times N}$ 是节点属性矩阵，每个节点表示包含 $d^s$ 个特征。
自重建
Encoder部分主要是通过GCN来学习每一层的节点隐含表示 $H_s \in R^{N \times F}$ 。可以形式化为如下的表示：
在这部分中，作者引入注意力机制来捕获节点和对应的近邻之间的相关性。对于第 $s$ 个图中的相关性可以由如下的方式进行计算：该图最终的形成使用了sigmoid函数，因此，生成的相关性矩阵也是binary的。然后对其进行归一化，以获得节点对应近邻点之间的相关系数：最终关于某个节点的embbeding表示为其相邻节点 $\mathcal{N_i}$ 中隐含表示 $h_j$ 的加权和。
Decoder该部分作者采用了完全对称的形式进行对节点表示 $X^s$ 的重构。对于近邻关系的重建则是采用了一种相似性度量的方式：
对于包含 $m$ 个层的输入，整体的重构损失写成：
对比融合
该模块的目的是将每个视图有价值的信息进行整合来获得一个统一的表示。前序encoder的输出记为 $\{Z_s\}_{s=1}^m$ 。作者采用的是将同一节点不同层的表示pull close，将不同节点的表示push away。
其中，两个带红框的相似度，分别计算的是视图间和视图内的负例。在整体数据集上的目标函数为： $L(Z_s, Z_{s'})=\frac{1}{2N}\sum_{i=1}^N[\mathcal{l}(z_i,z_i') + l(z_i',z_i) ]$ 。对于输入的所有层，最终的对比算是形式化为：对于得到的 $Z_s$ ，采用了 $Z=\sum_{s=1}^m \beta_sZ_s$ 的组合方式用于聚类。
自监督聚类
该模块的设置主要是为了保证可以在聚类任务中得到最优的结果。（因此这也是我们Joint的切入点）
这一块关于 $P$ 和 $Q$ 的定义和DEC一样，但最终优化的是
。可能类似的操作都是差不多效果的，可以写个方法测试一下。
Overall 目标函数