论文阅读“CDIMC-net: Cognitive Deep I

2022-04-19 本文已影响0人掉了西红柿皮_Kee

Wen J, Zhang Z, Xu Y, et al. Cdimc-net: Cognitive deep incomplete multi-view clustering network[C]//Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence. 2021: 3230-3236.

摘要导读

近年来，不完整多视图聚类受到了越来越多的关注。针对这个任务，很多研究学者已经提出了不少方法。但作者认为现有的方法还存在以下两个问题：1）现有方法都是基于浅层模型的，很难学习到具有辨别性的共同特征，2）由于负样本被视为同样重要的样本，因此这些方法通常对噪声或异常值很敏感。在本文中，提出了一个认知深度不完整多视图聚类网络（CDIMC-Net）来解决这些问题。具体来说，它通过将特定视图的深度编码器和图嵌入策略合并到一个框架中，来捕获每个视图的高级特征和局部结构。此外，基于人类的认知：从易到难的进行学习，还引入一种 self-paced的策略来选择置信度高的样本来进行模型训练，以减少异常值的负面影响。

不同形式的特征学习编码器获取高级特征和局部特征
以基于认知的方式剔除边际样本的负面影响
https://github.com/DarrenZZhang/CDIMC-Net

模型浅析

模型结构：视图特定的深度编码器，self-paced的k-means聚类层，多图嵌入约束。该模型可以实现对任意不完整视图的聚类。
1）数据定义
给定包含 $l$ 个视图的不完整多视图数据集，每个视图的数据表示为 $X^{(v)}=[x_1^{(v)}, \cdots, x_n^{(v)}] \in R^{m_v \times n}$ ，缺失的样本标注为“NaN”。视图 $v$ 的缺失标记矩阵为对角矩阵 $W^{(v)}$ ， $W^{(v)}_{i,i}=1$ 代表即第 $i$ 个样本是可见的，其余的 $W^{(v)}_{i,j}=0$ 。
2）任务定义
IMC的目标是将 $n$ 个样本划分到 $k$ 个不相交的类簇中。
3）模型结构

CDIMC-net通过两个阶段对不完整的多视图数据进行划分：预训练和微调，其中一个基于自动编码器的训练前阶段用于初始化网络参数，微调阶段的目的是获得聚类友好的表示，同时为所有输入样本生成聚类标记。

预训练网络
基于欠完备卷积自编码，针对不完全多视图情况，本文开发了一种图正则化不完全多视图自编码器，其中引入图嵌入技术来保持数据的局部结构，并引入加权融合层来消除缺失视图的负面影响。
1）View-specific encoders and decoders
编码器网络作为基本的自动编码器，从高维数据中捕获最显著的特征，解码器网络的目的是从编码的特征中恢复数据。模型中为每个视图都配备了对应的编码器和解码器结构，分别为 $\{f_{EC}^{(v)}\}_{v=1}^l$ 和 $\{f_{dC}^{(v)}\}_{v=1}^l$
2）Fusion layer
根据多视图数据的特点：所有视图都共享同一样本的公共语义信息，例如common表示或聚类标签。作者采用简单的权重加和的策略来构建关于样本的common表示：可以看出，这里的样本表示 $h_i^{*}$ 考虑了视图的缺失性。
这个加权融合层位于编码器和解码器的中间，通过减少缺失视图的负面影响来解决学习视图不完全的问题。
3）Graph embedding
在子空间学习领域中，一个公认的manifold assumption是，如果两个数据点 $x_i$ 和 $x_j$ 彼此接近，那么它们对应的低维表示在潜在子空间中也应该接近。为了考虑近邻样本之间的约束，模型考虑了如下的图嵌入约束：其中 $N^{(v)} \in R^{n \times n}$ 表示 $X^{(v)}$ 中应用的近邻图。该图是一个只包含0,1的方阵，
4）预训练的损失函数
预训练阶段的优化需要同时考虑图嵌入损失和自编码损失，总体的损失表示为：
$\overline{X}^{(v)}$ 表示视图 $v$ 的重建，红框里是编码器和解码器的参数， $\alpha$ 为正的超参数。
微调和聚类
作者认为通过优化预训练阶段的模型参数并不能保证得到的 $H^{*}$ 具有聚类友好性。并且传统的k-means算法在聚类的过程中忽略了边际样本和类簇中心样本的差异性。为了微调模型，我们应该更加关注靠近类簇中心的样本点。
1）因此，引入了一个self-paced kmeans作为聚类层。
其目标是其中 $U \in R^{m \times k}$ 是k-means聚类中的簇中心矩阵， $S \in R^{k \times n}$ 是类簇分配矩阵， $r=[r_1, \cdots, r_n] \in R^n$ 是一个权重向量，用于指示当前样本是否参与训练。正常来讲，参数 $\lambda$ 需要逐渐增加，以便选择更多的样本进行模型的训练。
self-paced kmeans和传统的kmeans的不同之处在于，类簇中心在self-paced的方法中是固定的。
在本文中，采用的是基于统计的自适应的方法来更新 $\lambda$ ：其中 $Kloss^t$ 是第 $t$ 轮训练中的loss向量，对应于每个样本 $i$ 的损失为 $Kloss^t_i=||h_i^{*t}-U^tS^t_{:,i}||^2_2$ ，即：融合后的样本表示 $h_i^{*t}$ 和其对应的类簇中心之间的 $l_2$ 范数平方。 $\mu$ 和 $\sigma$ 分别对应该向量的均值和标准差。 $T$ 是最大的迭代次数。
通过引入权值向量 $r$ 和参数 $\lambda$ ，所提出的CDIMC-net可以选择聚类损失不超过 $\lambda$ 的高置信样本进行训练。随着迭代次数的增加，更高置信度的样本被选中参与训练。该过程与人类的认知学习类似，由少到多的学习，由简单到复杂的学习。
2）微调阶段的损失函数
结合k-means的优化和图嵌入的损失，整体的损失如下：最终的聚类结果由 $S$ 来得出。
该算法的过程如下：Y为缺失数据被0填补的X输入，W为其对应的缺失指示矩阵，N为所构建的近邻图表示。