论文阅读“Bilinear Graph Neural Netwo

2022-06-17 本文已影响0人掉了西红柿皮_Kee

Zhu H, Feng F, He X, et al. Bilinear graph neural network with neighbor interactions[C]//Proceedings of the Twenty-Ninth International Conference on International Joint Conferences on Artificial Intelligence. 2021: 1452-1458.

摘要导读

现有的GNN的图卷积操作大多使用加权求和或者元素对位相乘以聚合近邻节点的信息。虽然已经得到了广泛的应用，但是在这类的操作中忽略了这些节点之间的关联关系。而存在共线关系的两个近邻节点对于目标节点表示的学习是有指示意义的，而现有的方法无法捕获这种指示关系。
为了捕获近邻节点之间的关联性，本文设计了一种双线性图卷积操作，通过邻居节点表示的成对关联交互来增强加权和。

作者首先介绍了现有的两种图卷积操作：

并指出两个向量之间的乘法是建模交互作用的一种有效方法——强调共同属性和稀释差异信息。

模型浅析

数据声明： $G=(A \in \{0,1\}^{N \times N}, X \in \mathbb{R}^{N \times F})$ 。 $A$ 为邻接矩阵， $X$ 为特征矩阵。除此之外，还给定了给定节点 $v$ 的近邻点集合 $\mathcal{N}(v)=\{i | A_{vi}=1\}$ ，扩展的近邻集合 $\tilde{\mathcal{N}}(v)=\{v\} \cup \mathcal{N}(v)$ 。且定义节点 $v$ 的度为 $d_v=|\mathcal{N}(v)|$ ，对应的 $\tilde{d}_v=|\tilde{\mathcal{N}}(v)|=d_v+1$ 。
模型设计的目标是学习每个节点 $v$ 的表示向量 $h_v \in \mathbb{R}^D$ 。对于下游的分类任务则可以在不需要图结构和原始节点特征的情况下得出标签输出 $y_v=f(h_v)$ 。

Bilinear Aggregator
受因子分解机的启发，作者提出了一种适用于局部结构中邻居相互作用建模的双线性聚合器：
其中， $\odot$ 代表对位相乘， $v$ 是需要学习的目标节点的表示， $i$ 和 $j$ 分别是 $\tilde{\mathcal{N}}(v)$ 集合的下标， $i < j$ 的条件限制是为了避免由自关联引入的噪声。 $b_v=\frac{1}{2}\tilde{d}_v(\tilde{d}_v-1)$ 代表给定节点 $v$ 对应的关联数目，用于对得到的表示进行正则化。值得注意的是，在双线性聚合操作中也考虑了目标节点本身，并聚合了来自扩展邻居的信息，这些信息虽然看起来与GNN相同，但原因不同。在GNN中，考虑目标节点是在分层聚合过程中保留其信息，类似于残差学习。而在BGNN中，考虑的是目标节点与其邻居之间的相互作用也可能携带有用的信号。例如，对于只有一个邻居的稀疏节点，邻居之间的交互不存在，而目标节点和邻居节点之间的交互可能特别有用。
BGNN Model
由于双线性聚合器( $BA$ )强调节点交互，加权和聚合器( $AGG$ )可以对不同的信号进行编码，在提出的模型中BGNN中将它们结合起来，构建一个更具表现性的图卷积网络。
这里采用的是简单线性组合机制。 $H^{(k)}$ 存储的是第 $k$ 层的节点表示(编码的是 $k$ -hop近邻)， $\alpha$ 是一个超参数来平衡传统的GNN聚合器和提出的双线性聚合器的强度。由于 $AGG$ 和 $BA$ 的置换不变性，组合之后的BGNN也具有相同的性质。
多层BGNN
传统的GNN模型通过堆叠多个聚合器 $AGG$ ，以递归的方式编码来自多跳邻居节点的信息。一个两层的GNN模型形式化为如下：
因此作者也表示，最直接的扩展为多层的方式为：，但是这种方式可能存在并不期望的高阶关联的属性。例如，在两层的表示学习中可能会在2阶的近邻节点中包含部分4阶的关联属性。出于这个原因，重新定义了一个2层的BGNN模型：其中， $A^{(2)}$ 存储的是图的2-hop连通结构。 $binarize$ 是一个将矩阵中非零项转成 $1$ 的操作。 $\beta$ 是一个调节的超参数。由此，可以进一步定义k层BGNN：同理， $A^{(k)}$ 存储的是图的k-hop连通结构。因此，k层BGNN的计算的复杂性取决于 $A^{(k)}$ 中的非零项。在实际的操作中，可以使用采样的方式使用部分高阶节点代替全部节点进行计算。
模型训练
可以看出，BGNN是一个可以由微分损失进行端到端优化的模型。
在当前的半监督节点分类任务中，使用的是标记数据的交叉熵损失。
并且作者指出，因为实验数据的规模都比较小，因此，layer-wise的图卷积操作都是以整个数据矩阵的形式进行运算的，关于batch的实现和近邻节点的采样将会在后续大规模图的工作中。