图深度学习：成果、挑战和未来
译自：雷锋字幕组
a
摘要：这是系列文章的开篇，我将讨论图神经网络的演变和未来趋势。
图深度学习：成果、挑战和未来
图神经网络，也被称之为几何神经网络(GDL)[1]， 图表示学习(GRL)，或者是关系归纳偏差[2]，近来成为机器学习中最热门的话题。但是关于图学习要追溯到至少十年前[3]，毫无疑问近年来的发展已经将这些方法从一个基础研究变成现在机器学习社区的焦点，甚至是大众科学出版社都出版了相关内容（与《 Quanta杂志》合作发表了一系列关于几何深度学习的优秀文章，用于流形，药物发现和蛋白质科学的研究）。
图是非常强大的数学抽象工具能够表示从生物领域到高能物理，以及社会学科和经济学中的复杂的关系和交互系统。现如今从这些领域中已经产生了大量图结构的数据（最显著的例子就是社交网络，比如Twitter和Facebook），尝试在其他具备丰富类似数据的领域中应用该机器是非常振奋人心的。
图学习的问题大部分是和应用相关的。一种二分法是在节点问题和图问题之间进行的，其中前者试图预测图中各个节点的属性（例如，识别社交网络中的恶意用户），而后一种方法则是对整个图形进行预测（例如，预测分子的溶解度）。此外，像传统的机器学习问题一样，我们可以区分监督和非监督（或自监督），以及传导和归纳问题。和使用在图像分析和计算机视觉的卷积神经网络类似，图高效学习的关键在于设计具有共享权重的本地操作，以在每个节点及其邻居之间进行消息传递[5]。和传统深度神经网络处理栅格化数据的主要不同在于图操作的排列是不变的，独立于相邻结点的顺序，通常没有规范的排列方式。
尽管对于图学习的看好和一些图表示学习的成功故事（ 其中的例子比如我和学生一起建立的基于图的假新闻检测初创公司Fabula AI，被Twitter收购） 到目前为止，我们还没有亲眼看到卷积网络在计算机视觉方面取得的巨大成功。接来下，我会尝试给出可能的原因和这个领域未来几年可能的发展。
像ImageNet这样的标准化基准无疑是计算机视觉中深度学习的关键成功因素之一， 有些人甚至认为[6]对于深度学习革命而言，数据比算法更重要。在图学习社区中还没有类似ImageNet这样大规模和复杂的数据集。
开放图基准( Open Graph Benchmark )于2019年建立，是第一个尝试朝着这个目标，在有趣的真实世界的图结构数据中挑战图学习任务的数据集。障碍之一是，由于对隐私法（例如GDPR）的担忧，高科技公司不愿从用户的活动中生成丰富多样的图信息。Twitter是一个明显的例外，作为 RecSys Challenge 的一部分，Twitter在特定的隐私保护限制下向研究社区提供了1.6亿条推文的数据集以及相应的用户参与图。我希望将来有许多公司效仿。
开放可用的软件库在“民主化”深度学习，并使之成为一种流行的工具中发挥了至关重要的作用。直到最近，才有了像PyTorch Geometric 和 Deep Graph Library (DGL) 这样规范的代码库并且在企业赞助的帮助下维护，之前的图学习实现的主要是编写不良并且很少测试的代码。在arxiv上出现新的图深度学习架构几周后，这种情况的实现并不少见。
可扩展性是限制工业应用的关键因素之一，而工业应用通常需要处理非常大的图(比如Twitter的社交网络有着亿万个节点和数十亿条边) ， 和低延迟约束。直到最近，学术研究界几乎都忽略了这方面，文献中描述的许多模型完全不适合大规模场景。此外，图形硬件（GPU）与经典的深度学习体系结构的完美结合是推动其相互成功的主要动力之一，但却不一定适合图结构数据。从长远来看，我们可能需要专门的图形硬件[7]。
动态图是文献中很少涉及的另一方面。尽管图是对复杂系统建模的一种常见方式，但是由于现实世界中的系统是动态的并且随时间变化的，所以这种抽象通常过于简单 。有时是时间连续的行为提供了关于系统中的关键信息。尽管最近取得了一些进展，但设计能够有效处理以节点或边沿事件流表示的连续时间图的图神经网络模型仍然是一个尚待研究的问题。
高阶结构（例如motifs，graphlet或简单复形）在复杂网络中非常重要， 比如说描述生物学应用中蛋白质-蛋白质之间的相互作用。但是，大多数图神经网络仅限于节点和边。将这样的结构合并到消息传递机制中可以为基于图神经网络的模型带来更多的表达能力。
对图神经网络表达能力的理论理解是相当有限的，常见的是在某些情况下使用图神经网络既可以显着提高性能，又可以在其他情况下几乎没有区别。尚不清楚何时何地图神经网络运行良好或失败。这个问题很困难，因为必须同时考虑基础图形的结构以及其中的数据。对于仅与图连接有关的图分类问题，最近的工作表明，图神经网络等效于“ Weisfeiler-Lehman 图同构检验” [8]（一种启发式方法，用于解决图论中的经典问题，即确定两个图在其节点的置换之前是否相同）。这种形式主义阐明了为什么图神经网络在非同构图实例上失败的原因，这些实例无法通过此简单测试来区分。一个开放的研究问题是，要超越测试的Weisfeiler-Lehman层次结构，同时又要保持使图神经网络如此吸引人的低线性复杂度。
图神经网络在存在嘈杂数据或受到对抗攻击时的鲁棒性和有保证的性能[9]是另一个有趣且主要是原始的研究领域。
应用可能是该领域中最令人满意的部分。我从事图学习多年，已经与粒子物理学家[10]，临床医生[11]，生物学家和化学家[12]成为朋友，如果我们不从事各自领域的应用工作，我们将不太可能见面。如果我只赌图深度学习可能在未来几年产生最大影响的一个领域，我会选择结构生物学和化学。在这些领域中，基于图的模型既可以用作分子的低级模型[5]，也可以用作它们之间相互作用的高级模型[13,11]。将这些结合起来可能是达到对制药业有用水平的关键，并且我们看到了这种现象的初步成果，其中有图神经网络用于今年年初发现一类新的抗生素[14]或预测蛋白质之间的相互作用[12]。如果图式深度学习能够发挥其作用，那么传统上非常漫长且异常昂贵的开发，和测试新药物的过程，可能就会不一样了。
参考文献
[1] M. M. Bronstein et al. Geometric deep learning: going beyond Euclidean data (2017), IEEE Signal Processing Magazine 34(4):18–42.
[2] P. Battaglia et al., Relational inductive biases, deep learning, and graph networks (2018), arXiv:1806.01261.
[3] F. Scarselli et al. The graph neural network model (2008), IEEE Transactions on Neural Networks 20(1):61–80.
[4] A. Küchler, C. Goller (1996). Inductive learning in symbolic domains using structure-driven recurrent neural networks (1996), Proc. Künstliche Intelligenz.
[5] J. Gilmer et al., Neural message passing for quantum chemistry (2017), ICML.
[6] A. Wissner-Gross, Datasets over algorithms (2016).
[7] C.-Y. Gui et al.. A survey on Graph Processing accelerators: Challenges and Opportunities (2019), arXiv:1902.10130.
[8] K. Xu et al. How powerful are graph neural networks? (2019), ICLR.
[9] D. Zügner et al., Adversarial attacks on neural networks for graph data (2018), Proc. KDD.
[10] N. Choma et al. Graph neural networks for IceCube signal classification (2018), Proc. ICMLA.
[11] K. Veselkov et al. HyperFoods: Machine intelligent mapping of cancer-beating molecules in foods (2019), Scientific Reports 9.
[12] P. Gainza et al. Deciphering interaction fingerprints from protein molecular surfaces using geometric deep learning (2020), Nature Methods 17:184–192.
[13] M. Zitnik et al. Modeling polypharmacy side effects with graph convolutional networks (2018), Bioinformatics 34(13):457–466.
[14] J. Stokes et al. A deep learning approach to antibiotic discovery (2020), Cell, 180(4).
如果你对翻译人工智能类新闻，课程，技术博客感兴趣，欢迎添加字幕组微信（leiphonefansub）
