论文阅读“Multi-View Attribute Graph

2021-05-13 本文已影响0人掉了西红柿皮_Kee

Cheng J, Wang Q, Tao Z, et al. Multi-View Attribute Graph Convolution Networks for Clustering[C]. IJCAI, 2020.

摘要翻译：

图神经网络(GNN)在处理图结构数据方面取得了相当大的成就。然而，现有的方法由于节点属性收集和图重构的缺点，不能为不同的节点分配可学习的权值，且缺乏鲁棒性。此外，大多数多视图GNN主要集中在多图的情况下，而用于解决多视图属性的图结构化数据而设计GNN的研究仍很少。在本文中，作者提出了一种新奇的多视图属性图卷积网络（MAGCN）模型用于聚类任务。MAGCN设计有两路编码器，可映射图形嵌入特征并学习视图一致性信息。具体来说，第一种途径是开发多视图属性图注意网络，以减少噪声/冗余信息，学习多视图图数据的图嵌入特征；第二种途径是开发一致的嵌入编码器，以捕获不同视图之间的几何关系和概率分布的一致性，从而自主的为多视图属性学习一致的聚类嵌入空间。在三个基准图数据库上进行的实验表明，与几种最新算法相比，该方法是有效的。

切入点：对于数据的入手并不局限于多视图所形成的多图数据结构，而是针对于多视图属性特征。
However, those algorithms are no longer suitable for processing intensively studied data, which often occurs in the non-Euclidean domains such as graphs in social network connections, article citations, etc.
1)They cannot allocate learnable specifying different weights to different nodes in the neighborhood; (attention)
2)They may neglect to proceed with the reconstruction of both node attributes and graph structure to improve the robustness; (关于节点信息和图结构信息的重构)
3)The similarity distance measure is not explicitly considered for the consistency relationship among different views. (不同视图之间度量的不一致性)

主要贡献点：

开发了基于注意力机制的多视图属性图卷积编码器，以减少多视图图数据的噪声/冗余信息（为不同的邻域节点分配不同的权重）。此外，还考虑了节点属性和图结构的重构，以提高鲁棒性（重构节点信息和结构信息提高模型鲁棒性）。
通过探索不同视图的几何关系和概率分布一致性，设计一致性嵌入编码器来提取多个视图之间的一致性信息。（多视图聚类特点应用）

模型浅析

数据及问题定义

一个图数据可表示为 $G=(V, E) (G \in R^{n*n})$ ， $V=\{v_1, v_2, ..., v_n\}$ 为包含的节点集合，E为边集合，n为节点数量。在研究中，假设图G对应的视图m的节点属性特征为 $X_m=\{ x_m^1, x_m^2, ..., x_m^n \} ( X_m \in R^{n*d_m} )$ 。因为在多视图特征表示中，各视图属性特征的维度不一致，使用 $d_m$ 做区分。

Multi-view Attribute Graph Convolution Encoder（多视图属性图卷积编码器）

为方便说明，我们首先对多视图属性图卷积编码器进行输入说明。
对于多视图中的任一视图，该过程可图示化为：

view m of MAGCN

其中，a为视图m的输入（包含多视图共享图形式化为邻接矩阵 $A$ ，以及节点特征矩阵 $X_m$ ）；b为通过结构学习过程得到的隐藏节点特征表示；c为通过该特征矩阵重建节点信息和结构信息。
在论文的first pathway介绍中，m视图的图嵌入模型被记录为 $f_m(G, X_m; \theta) \rightarrow H_m$ 。
这里我觉得是作者的笔误，或者是故意将common graph记为$G$，从公式理解角度而言，这里的G和A应该都代表的是图的结构信息矩阵输入，shape为n*n
对于未添加注意力机制的 $H_m$ 的学习如传统GCN一致，如下：

H_m的学习
该论文为了更好的为自身节点和邻域节点分配可学习的权重，在节点之间使用了带有共享参数的注意力机制。对于第

l

层multi-view encoder，可学习的相关性矩阵定义为：

S矩阵计算

这里备注一下 $G$ 和 $t_s^{(l)}$ 的element-wise multiplication， $t_s^{(l)}$ 和 $t_n^{(l)}$ 的维度为 $R^{1*d_l}$ ，因此对于自身节点和邻域节点的权重是全图共享的。 $G$ 的shape为 $n*n$ ，与一维权重张量 $t_s^{(l)}$ 做element-wise，则要求其权重张量的列与G的列数一致，这里是默认 $d_l=n$ ? 如果是这样则 $S$ 的shape可以计算为: $n*n*n*n*n*d_l*d_l*n$ ，即 $n*n$ 。
解码部分分为对于属性节点特征的重建和结构信息的重建，利用得到的 $H_m$ 使用inner product decoder优先计算图结构的生成，然后计算节点属性解码层的每层输出

节点解码

值得注意的是编码层和解码层对应的图结构矩阵不相同。
面向多视图数据，其重构损失对应于每个视图，包含节点属性特征重构和结构信息重构:

reconstruction loss

Consistent Embedding Encoders

针对每个视图m，采用非线性映射 $g_m(H_m; \eta) \rightarrow Z_m$ 进行转换。 $Z_m$ 几乎包含所有原始信息，因此不适合直接用于多视图集成。然后，我们使用一致的聚类层来学习由所有 $Z_m$ 自适应集成的公共聚类嵌入特征 $Z=\sum\beta_iZ_i$ 作为是低维特征空间上的自适应视图融合。
在这一部分，论文使用了两种一致性约束方式：
（1）几何关系一致性

geometric relationship consistency

（2）概率分布一致性（同DEC，这里不进行赘述）

probability distribution consis-tency

目标分布 $P$ 由 $Z$ 对应生成， $Q_m$ 对应 $Z_m$ 的软分配。

Clustering

整体模型分为多视图编码和多视图一致性约束，总loss如下:

实验分析

实验设置（Metrics and Databases、Implementation Details、Comparison Algorithms（We choose several state-of-the-art clustering compared algorithms as follows））
实验分析（Evaluation Metrics with Comparison Algorithms、Analysis of Probability Distribution Consistency、Impact of Parameters、Analyzing Different View 2）

结论描述

In this paper, we propose a novel Multi-View Attribute GraphConvolution Networks for Clustering (MAGCN), a general method to multi-view graph neural network. （提出了什么） MAGCN is designed with dual encoders that reconstruct the extracted features in high dimensions and integrate the low dimension consistent information.（针对什么怎么做的） Multi-view attribute graph auto-encoder and consistent embedding encoder network successively reduce the noise and the difference among different views and finally get the ideal description space of multi-view attribute graph for clustering. （起到了什么作用） Experimental results on the multi-view graph structure databases demonstrate the validity of our method and perform superior advantages over several state-of-the-art algorithms.（实验证明了我们模型的有效性）

模型的写作很棒！对整体模型进行了包装，使得论文看起来完整可行！