论文阅读“Deep Embedded Multi-view Cl

2020-11-30 本文已影响0人掉了西红柿皮_Kee

引用格式：Xu J, Ren Y, Li G, et al. Deep Embedded Multi-view Clustering with Collaborative Training[J]. arXiv preprint arXiv:2007.13067, 2020.

摘要翻译

通过利用来自多视图的信息，多视图聚类最近引起了越来越多的关注。但是，现有的多视图聚类方法要么具有较高的计算和空间复杂性，要么缺乏表示能力。为了解决这些问题，我们在本文中提出了带有协作训练（DEMVC）的深度嵌入式多视图聚类。首先，深度自动编码器分别学习多个视图的嵌入表示。然后，考虑了多方意见的共识和互补，提出了一种新颖的协作训练方案。具体来说，所有视图的特征表示和聚类分配都是通过协作学习的。进一步开发了用于聚类中心初始化的新一致性策略，以通过协作训练来改善多视图聚类性能。在多个流行的多视图数据集上的实验结果表明，DEMVC与最新方法相比有了显着改进。

论文的关注点在于：使用协同训练机制来对不同视图的表示和聚类分配进行协作学习（轮流使用不同视图的信息）。

模型描述

DEMVC包含 $V$ 个encoders和其对应的 $V$ 个decoders（这里构成了深度自编码器对多个视图的嵌入表示），除此之外，还有对应 $V$ 个视图的 $V$ 个聚类层。简单图示如下：

The framework of DEMVC.png

对于多视图信息的引用则是在不同轮迭代中选取参照视图。上图显示第一视图作为参考视图，如实线所示。虚线表示相应的 $P^i$ 不参与本轮计算。引用的参照视图将依次更改以便学习不同视图中的补充信息。

方法解析

多视图协同训练

数据集的定义： $\{x^v_i \in R^D\}^N_{i=1}$ 代表当前视图 $v$ 的维度为 $D$ ，并且在此数据集中含有 $N$ 个样本。 $V$ 为该数据集的视图个数，表示每个对象有 $V$ 个子样本需要聚类。对于每个视图 $v$ ，定义 $f^v_{\Theta}$ 和 ${g^v_{\Omega}}$ 分别为编码器和解码器。 $\Theta$ 和 $\Omega$ 为可训练的参数。
因此网络模型的编码部分可以形式化为如下的内容：

autoencoder.png
在loss函数的定义上，为每个视图

v

构建了重构loss和聚类loss。并且设置了平衡参数

\gamma

（这里借鉴的是IDEC对DEC的改进，使得在聚类的过程中也融入了重建损失）。

total loss.png

reconstruction loss for view-v.png
聚类损失还是使用了DEC中提出的Kullback-Leibler (KL) divergence，定义如下：

clustering loss for view-v.png

这里明晰一下clustering loss的由来和组成（主要是提醒自己）：
在这个式子中，主要有两个带下标的分布，即 $p^v_{ij}$ 和 $q^v_{ij}$ 。
首先初始化view $v$ 中类簇 $j$ 的簇中心 $\mu^v_j$ ， $q^v_{ij}$ 旨在表示每个embedded point $z^v_i$ 和不同的cluster center $\mu^v_j$ 之间的相似度，使用了t-分布进行构造，这里给出t-分布的简单介绍。

t-distr.png
上图展示了一些作者可能的构造分布的想法，
q_ij.png
在当前的聚类任务中， $q^v_{ij}$ 被当做soft label也就是以概率的形式分配当前视图 $v$ 中第 $i$ 个样本到第 $j$ 个类簇的可能性。随着平方运算和聚类软标签 $q^v_{ij}$ 的归一化，DEC模型中建立了辅助目标分布 $p^v_{ij} \in R^K$ 来实现深度单视图聚类。显然在DEMVC中，每个视图 $v$ 对应的辅助分布利用如下计算：
p_ij.png

为了更好的说明KL散度对聚类的影响，作者甚至还给出了2聚类的相关示意图。

soft and hard assign.png

为了避免多视图间的互补信息被忽略，作者采用了让每个视图分别成为参照视图来引导整个框架学习适合聚类的特征。将其称为multi-view collaborative training。因此我们定义 $P^r$ 为当前参考视图的辅助目标分布，并且这个辅助目标分布在数据的多个视图之间共享。对于视图 $v$ 的clustering loss则改变为如下：