论文粗读“Attention-based hierarchica

Dong Y, Wang Z, Du J, et al. Attention-based hierarchical denoised deep clustering network[J]. World Wide Web, 2023, 26(1): 441-459.

该论文对应的模型和SDCN在结构上基本是一致的。主要是对语义学习和结构学习的两个模型进行了改进，因此这里仅针对改进的这两个部分进行描述。

模型图如下： Framework

• Attention-based hierarchical GCN
  首先是基于注意力机制的GCN模块。这里对GCN的改进主要是在层与层之间添加了基于注意力机制的隐藏层（multi-hidden layer GCN），即 具体操作为： 是和之间的hidden layer的层数。 下一层的的计算如下： 即拿到multi-hidden layer的最后一层并使用ReLU进行激活。
  由此，可以得到本文所改进的Attention-based hierarchical GCN的输入和输出分别为：
  注意力机制的使用主要体现在该网络对每一个K近邻都分配了一个权重。具体来说，对于给定节点(样本)，其对应样本记录为。节点r的第个样本的权重可以表示为： 的注意力权值为： 是一个共享的注意向量，分别为权重矩阵和偏置。由此，节点的表示为：

• Denoising AE module
  

  本质上是AE的结构，作者为了将影响聚类的噪声移除，首先为AE设置了drupout层。而其对应的目标函数则考虑了样本表示之间的量纲，引入了R-square loss，最终的损失函数如下：
• 语义信息和结构信息的链接
  还是沿用了SDCN中的带权重对位相加，使得在GCN中可以保留更多的局部信息： 可以说是对两个模块的最大尊重了。。

---

添加层与层之间的multi-hidden-layer是个很有趣的操作，可以方便的比较添加操作的效果。
而且在DAE中的R-square loss也很有趣。