论文粗读“Attention-based hierarchica
2023-03-30 本文已影响0人
掉了西红柿皮_Kee
Dong Y, Wang Z, Du J, et al. Attention-based hierarchical denoised deep clustering network[J]. World Wide Web, 2023, 26(1): 441-459.
该论文对应的模型和SDCN在结构上基本是一致的。主要是对语义学习和结构学习的两个模型进行了改进,因此这里仅针对改进的这两个部分进行描述。
模型图如下: Framework- Attention-based hierarchical GCN
首先是基于注意力机制的GCN模块。这里对GCN的改进主要是在层与层之间添加了基于注意力机制的隐藏层(multi-hidden layer GCN),即 具体操作为: 是和之间的hidden layer的层数。 下一层的的计算如下: 即拿到multi-hidden layer的最后一层并使用ReLU进行激活。
由此,可以得到本文所改进的Attention-based hierarchical GCN的输入和输出分别为:
注意力机制的使用主要体现在该网络对每一个K近邻都分配了一个权重。具体来说,对于给定节点(样本),其对应样本记录为。节点r的第个样本的权重可以表示为: 的注意力权值为: 是一个共享的注意向量,分别为权重矩阵和偏置。由此,节点的表示为: -
Denoising AE module
本质上是AE的结构,作者为了将影响聚类的噪声移除,首先为AE设置了drupout层。而其对应的目标函数则考虑了样本表示之间的量纲,引入了R-square loss,最终的损失函数如下:
- 语义信息和结构信息的链接
还是沿用了SDCN中的带权重对位相加,使得在GCN中可以保留更多的局部信息: 可以说是对两个模块的最大尊重了。。
添加层与层之间的multi-hidden-layer是个很有趣的操作,可以方便的比较添加操作的效果。
而且在DAE中的R-square loss也很有趣。