图卷积网络这五年

原文：https://www.nature.com/articles/s42256-022-00466-8
作者：Mostafa Haghir Chehreghani

图可以对许多现实世界应用程序中的数据进行建模，例如互联网、社交网络和通信网络。与此类系统相关的预测和分类任务可以通过图神经网络来解决。

图神经网络要学习一个函数，该函数将图的每个节点映射到低维向量空间中的向量。这种映射应该是保持相似性的：即图中具有相似特征和相似结构角色的两个节点应该映射到向量空间中的接近点。为每个节点生成的向量被称为这个节点的嵌入或表示。这些嵌入可以输入到不同的机器学习算法中以执行各种任务。在 2017 年的一篇开创性论文中，Kipf 和 Welling 介绍了一种最有效的图神经网络类型，称为图卷积网络 (GCN)。他们表明，图信号的卷积（由图的节点索引的特征）可以解释为给定节点附近节点的聚合特征。这为实现图数据的卷积机制提供了一种有效且直接的方法。

由于该技术在链路预测和节点分类等任务上的高性能，许多研究对其应用进行了进一步改进。例如，在 GraphSAGE 中，Hamilton 等人建议使用通用聚合函数，而不是加权平均函数，并讨论了聚合函数的一些可能的例子。 Velickovic 等人 引入了图注意网络（GAT），将不相等的、可训练重要性的权重分配给节点的邻居。Xu等人提出了图同构网络（GIN），其中聚合是使用多层感知器（MLP）和缩放器来完成的，该缩放器将节点的前一层嵌入与其邻居的前一层嵌入区分开来。

大多数图神经网络都有一个通用的结构（图 1）：

• 首先，为每个节点建立一个邻域。
• 然后，每个节点聚合来自其自身及其邻域的嵌入信息。嵌入是迭代更新的，并且在每次迭代（层）中，使用线性可训练矩阵进行变换，然后聚合（sum, mean, max, min 等），从 v 的第 k 层嵌入和 v 邻域中节点的第 k 层嵌入中，为节点 v 计算新的嵌入。不同的图神经网络算法主要在细节上有所不同，例如计算邻域的方式和完成聚合的方式。

图1.使用图神经网络构建节点 a 的嵌入。每个菱形表示一个函数，该函数由一个线性变换、一个聚合函数（总和、均值等）和有时一个激活函数（ReLU、sigmoid 等）组成。

图神经网络的成功有几个原因。首先，强大的机器学习性能是图神经网络广泛适用的一个主要原因。Kipf 和 Welling 表明，他们的模型在分类准确性方面优于现有的几种方法。该技术在无监督学习和链接预测等问题上也表现出很高的准确性。图神经网络很快就被成功地用于通常不被认为是图问题的任务中，如文本总结和推荐系统。数据之间的联系，推荐任务中的项目-用户关系和总结任务中的句子-句子关系都可以被图神经网络正确捕捉和建模。

其次，效率和可扩展性很重要。图神经网络不使用矩阵表示来表示图，相反，图神经网络只需要简单有效的计算，例如节点局部邻域的聚合。这不仅提高了效率，而且高度可并行化。此外，可以应用一些技巧，例如节点采样和边缘去除，来提高图神经网络的效率。

此外，图神经网络的优点是它们的简单性和可解释性。许多机器学习技术的一个缺点是无法为它们生成的输出提供简单的解释或解释。这种“黑匣子”特性使这些技术不适合高风险应用，例如金融服务、医疗服务和司法系统。为此，最近出现了可解释人工智能 (XAI) 领域，其目标是开发性能与最有效的现有模型相当的模型，其输出可以被人类理解和信任，并且功能是透明且易于理解的。

图神经网络的可解释性可以与决策树进行比较：两者都通过构建有根树来模拟学习过程，并且由于在内部节点中完成的计算（图神经网络中的聚合和分裂决策树），它们不是很透明。尽管如此，人们普遍认为决策树比传统的神经网络更易于解释。因此，同样地，图神经网络比传统的神经网络更容易解释。此外，图神经网络的简化通常会提高效率和透明度。例如，Wu 等人认为，可以通过消除非线性和折叠连续层之间的权重矩阵来简化，从而提高图神经网络的效率。

图神经网络在计算上是高效的，相对可解释的，并且在性能没有太大损失的情况下，可以简化以产生更透明的模型。然而，尽管最近有许多改进，但仍有几个问题需要用图神经网络方法解决。首先，我们对图神经网络背后的理论的理解是有限的。例如，对于它们在将不同的嵌入分配给不同的节点时的理论表达能力知之甚少。作为进一步改进这些技术的一个方向，扩展我们对图神经网络的理论理解，并利用这些知识开发更有效的模型可能是更用的。未来工作的另一个方向是为推荐 、文本摘要 、假新闻检测等任务设计优化的特定于应用程序的图神经网络。

参考：

• Kipf, T. N. & Welling, M. in International Conference on Learning Representations https://openreview.net/forum?id=SJU4ayYgl (2017).

• Hamilton, W. L., Ying, Z. & Leskovec, J. in Advances in Neural Information Processing Systems 30 (NIPS 2017) 1024–1034 (Conference on Neural Information Processing Systems, 2017).

• Velickovic, P., Cucurull, G., Casanova, A., Romero, A., Liò, P. & Bengio, Y. in International Conference on Learning Representations https://openreview.net/forum?id=rJXMpikCZ (2018).

• Xu, K., Hu, W., Leskovec, J. & Jegelka S. in International Conference on Learning Representations https://openreview.net/forum?id=ryGs6iA5Km (2019).

• Zhang, M. & Chen, Y. in Advances in Neural Information Processing Systems 30 (NIPS 2018) 5171–5181 (Conference on Neural Information Processing Systems, 2018).

• Wang, D., Liu, P., Zheng, Y., Qiu, X. & Huang, X. in Association for Computational Linguistics (ACL) 6209–6219 (2020).

• Xu, J., Zhu, Z., Zhao, J., Liu, X., Shan, M. & Guo, J. in ACM SIGKDD Conference on Knowledge Discovery and Data Mining(KDD), 3356–3365 (Association for Computing Machinery, 2020).

• Emmert-Streib, F., Yli-Harja, O. & Dehmer, M. WIREs Data Mining and Knowledge Discovery 10, e1368 (2020).

• Arrieta, A. B. et al. Inf. Fusion 58, 82–115 (2020).Article

• Wu, F., Souza, A. H. Jr, Zhang, T., Fifty, C., Yu, T. & Weinberger, K. Q. in Proc. of the 36th International Conference on Machine Learning (ICML) 6861–6871 (2019).

• Dou, Y., Shu, K., Xia, C., Yu, P. S. & Sun, L. in SIGIR '21: Proc. of the 44th International ACM SIGIR Conference on Research and Development in Information 2051–2055 (Association for Computing Machinery, 2021).

• Liu, Y., Wang, W., Hu, Y., Hao, J., Chen, X. & Gao, Y. in Proc. of the AAAI Conference on Artificial Intelligence 34, 7211–7218 (Association for the Advancement of Artificial Intelligence, 2020).