论文阅读“Consistent Multiple Graph E

Wang Y, Chang D, Fu Z, et al. Consistent multiple graph embedding for multi-view clustering[J]. IEEE Transactions on Multimedia, 2021.

摘要导读

基于图的多视图聚类旨在在多个视图中获得数据的划分，在近年来受到了广泛关注。虽然已经为基于图的多视图聚类做出了很大的努力，但是将各个视图的特征融合到一起以学习用于聚类的共同表示仍然是具有挑战性的。本文提出了一种新颖的一致性多图嵌入聚类框架(CMGEC)。具体来说，设计了一个多图自编码器(M-GAE)，使用多图注意力融合编码器灵活地编码多视图数据的互补信息。为了引导学习到的共同表示维持每个视图中邻近特征的相似性，引入了多视图互信息最大化模块(MMIM)。此外，设计了一个图融合网络(GFN)，用于探索不同视图的图之间的关系，并提供M-GAE所需的共识图。通过联合训练这些模型，可以获得共同表示，该表示编码了更多的多视图互补信息，并更全面地描述了数据。

模型浅析

提出的CMGEC，主要由三个部分组成 : Multiple Graph Auto-Encoder(M-GAE), Multi-view Mutual Information Maximization module (MMIM), and Graph Fusion Network (GFN).

• M-GAE

1. Multi-Graph Attention Fusion Encoder
   每个视图都对应一个GCN层，以作为输入得到第一层的的表示： 为了自适应的融合不同视图的样本，通过MLP层引入了一个度量视图重要性的系数矩阵。由此，由multi-graph attention fusion layer获得的公共表示的操作如下： 从操作可以看出，各视图之间共享了同一个MLP层，得到融合的。在此基础上，又叠加了一层GCN用来获取最终的共有表示： 是由GFN得到的共识图，。
2. View-Specific Graph Decoders
   用共有表示来解码每个视图的图表示： 是第个视图的可学习矩阵。
3. Reconstruction Loss
   计算原始和之间的差异性：

• Graph Fusion Network
  作者这里使用的是一个全连接层来获取不同视图之间的关系以获取全局的节点关系，最终结果是产生一个共识图。第层的图融合网络表示如下： 对于该网络的第一层而言，使用的是multi-graph fusion layer，也就是说，每个视图先有一组自己的矩阵，然后使用共享的（与前序的的作用类似）对其进行视同融合相加并激活：
  为结合每个图中的特征使得获得的共识更加适用于聚类，GFN的损失函数设计为如下： 是谱聚类的优化目标，详情可以查看博客https://www.cnblogs.com/xingshansi/p/6702174.html，这里不进行赘述。显然，得到的直接被用来分割得到聚类结果。然而，GFN只针对图结构进行的融合而忽略了节点的内部信息，因此，直接使用得到的聚类结果会比使用共有表示的聚类效果差。
• Multi-View Mutual Information Maximization
  根据谱聚类的性质，样本之间的信息用来引导AE来学习聚类友好的表示。 其主要的假设是，如果样本和在任一视图中较为接近，那么其对应的共有空间中的表示和也是接近的。因此，其MMIM目标描述为：max{}，其损失函数表示为：。因为KL无上界，作者使用了JS散度(https://yongchaohuang.github.io/2020-07-08-kl-divergence/)来代替。即：。根据变分估计，两个分布p(x)和q(x)之间的JS散度可以表示为 然后使用判别器区分负样本对和正样本对，用来估计正样本的分布。（感觉这个变形下来，转眼就变成了binaryCrossEntropy？？？？）
  最终的损失函数变成了：
  

第一次看到用MLP进行图融合的，感觉很有意思。其中的一些小trick还是很有趣，比如说参数共享的multi-graph attention fusion layer。