论文阅读“Deep multi-kernel auto-enco

Lu H, Liu S, Wei H, et al. Deep multi-kernel auto-encoder network for clustering brain functional connectivity data[J]. Neural Networks, 2021, 135: 148-157.

摘要

本研究提出了一种深度学习网络模型，称为深度多核自动编码器聚类网络(DMACN)，用于脑疾病的functional connectivity data的聚类。该模型是一种端到端聚类算法，可以学习潜在的高级特征和聚类疾病类别。与其他自动编码器不同，DMACN有一个额外的自我表达层以及标准的反向传播用于学习有利于聚类大脑功能连接数据的特征。在自表达层中，构造了核矩阵来提取有效的特征，并提出了一种新的损失函数来约束聚类部分，使训练一个倾向于聚类的深度神经网络成为可能。该模型在公开的brain functional connectivity datasets上表现出了很好的效果。

模型

该部分的介绍将包括整体的模型框架，学习策略以及多核优化三个部分。

• 模型框架

  从整体结构上来说，该模型主要包含堆叠自编码模型和自表示模型两个部分。自编码器还是原来的自编码器，在该模型结构中，作者对中间层进行了重新的自表示学习，具体来说构造了一个多核矩阵来提升聚类性能。

• 学习策略
  对于给定的单独数据输入，通用的自编码器对应如下的计算： 其中为层对应的ReLU激活函数。为了学习更好的网络参数，作者此处使用了两种Loss： 该表达式中包含三项，其中第一项为AE输入和输出所对应的重建损失MSE，第三项则代表第层网阔权重的正则化。也就是说红框中的两项是关于模型结构的损失，另外一项则是自表示层对应的关键部分。该项主要衡量的是核映射下的中间层表示和类簇之间差异。是隶属度矩阵，则是的自由度，在网络的构建中使用的是一个常数值。可以看出，第二项的计算主要依赖于类簇中心和隶属度矩阵。然后作者就对红框中的两项进行了对的偏分。通过计算，该网络可以的权重参数可以由如下的公式进行表示计算： 为学习率。这些公式代表着自表示层的推断过程。
• 自表示模块的多核优化
  和基础的MKFC相比，作者将核映射扩展成倍，因此对应的核函数可以表示为(这种双下标集合的形式就代表了所有的核函数矩阵的表示)： 为核的数量，并且为半正定矩阵。其所对应的核权重矩阵为： 该算法的最终目标是找到一个全面的最优核空间，核函数可以通过加权得到：
  
  作者指出，最适合的核函数可以由求解如下的形式：
  
  从这个式子中可以看出权重矩阵 和核函数矩阵的元素是一一对应的。
  根据（Peng 等人,2016），欧式距离可以转化为内积表示，正交性可以避免映射中的交叉项。为了清晰起见，作者将内积形式表示为包含核函数的表示。因此可以定义样本到类簇之间的欧式距离：
  
  通过找到每个隐藏层的神经元表示与簇中心之间的最短距离，该部分的优化目标可以形式化为：
  -（14）式的优化
  （14）式的优化可以转化为以下形式的最小化，是隶属度矩阵, 类簇中心以及核系数矩阵 最小距离可以通过求出距离函数的偏导数并让该导数的值为来求解。作者这里使用的是控制变量法来进行分别求导优化，具体的求导结果请移步原文。
  最终的聚类结果，作者则是以确定的隶属度矩阵，得到每个聚类目标的类作为聚类结果。

在核映射空间的学习下，作者给出了包含样本和类簇中心核映射的距离计算，在其所优化的目标中带入了核函数，使得整个优化都在高维空间中进行。根据核函数的定义，元素内积被转化为，整个空间在不增加计算量的情况下被映射到高维空间中，使得各特征线性可分。