图神经网络自监督学习工具箱 - JOAO

2022-03-09 本文已影响0人 processor4d

文章名称

【ICML-2021】【Texas A&M University/The University of Texas at Austin】Graph Contrastive Learning Automated

核心要点

文章旨在解决现有GraphCL方法需要依赖领域知识和大量的试验来挑选图增广方法，才能从无标签的图数据上学习可迁移的，鲁棒知识的问题，提出了JOAO学习框架，把图自监督学习形式化为bi-level min-max优化问题，同时学习自动选取图增广任务与图表示模型，不同于已有的自动图增广搜索方法，JOAO可以更充分的探索各种任务的组合，提升模型性能。

研究背景

图自监督学习可以从无标签的数据中学习图数据中固有的，可迁移的，鲁棒的知识（是指不会因为数据分布偏差被干扰的），但是不同于图像数据，图数据是对不同关系的抽象，例如，医疗保健系统网络，引文网络、社交网络和生物医学网络等等。通常需要针对特定的图数据，利用领域知识，并进行大量的尝试来选取和是的图数据增广方法。并且，自监督学习期望利用无标签数据进行有效的表示学习，这进一步增大了挑战。因此，作者期望在现有GraphCL方法的基础上，自动的选取合适的图增广方法。

方法细节

Graph contrastive learning

首先简单形式化一下GraphCL，其整体框架如下图所示。给定从特定分布（某一个数据集）中得到的图数据 ${G}^{}_{} \sim \mathbb{P}_{G\prime}$ （这里作者针对的是多图场景），随机从数据增广方法池 $\mathcal{A} = \{ NodeDrop, Subgraph,EdgePert, AttrMask,Identical \}$ 中[You et al., 2020a]选取两种增广方法 ${A}^{}_{1}, {A}^{}_{2}$ 。

graph contrastive learning framework

GaphCL objective

JOAO

如前所述，原有的GraphCL方法只能利用预先针对下游任务准备好的graph augmentation组合，相当于只探索了联合分布 ${\mathbb{P}}^{}_{({A}^{}_{1}, {A}^{}_{2})}$ 的某几个点（作者称之为 Dirac distribution），而没有探索所有分布点。

因此作者采用，如下图所示的bi-level（双层优化目标）目标进行对比学习。其中，

外层目标 $\mathcal{ L }$ 是GraphCL或其他图对比学习的目标。

内层目标 $\mathcal{ D }$ ，也就是约束中的最优化任务，是寻找最优的自监督任务组合。

JOAO objective

值得注意的是，这里没有利用下游任务的标签，而是利用对抗训练的方法[Wang et al., 2019; Xie et al., 2020]，无监督的方式进行min-max optimization。其中max的部分是寻找当前最具挑战性的数据增广组合。

具体的min-max game目标函数如下图所示，其中，

$\gamma$ 是非负实数，调节增广组合被选择的概率与任务难度之间的平衡。

$dist = \sum_{i=1}^{|\mathcal{ A }|}{\sum_{j=1}^{|\mathcal{ A }|}{}{}}{{}({p}^{}_{ij} - \frac{1}{|\mathcal{ A }|^2})^2}$ 表示度量分布的距离函数，作者采用的是这种squared Euclidean distance。 $p_ij$ 表示采用 $i, j$ 这两种增广方法组合的概率。

$\mathbb{ P }_{prior}$ 是某种给定的增广组合先验分布（比如，要求变删除和节点mask组合被选择的概率更大，方便控制）作者依据提升多样性的目标和最大熵原理，采用均匀分布。

min-max objective function

这个max可以被理解为，尽可能的要求增广策略组合与给定的先验分布接近，又能够使 $\mathcal{ L }$ 的损失最大（任务更具有挑战）。

作者采用AGD(Wang et al., 2019)的方式优化上述，算法伪代码参见代码实现部分。

代码实现

作者采用AGD优化方法学习模型参数的伪代码。在一次优化的过程中交替的对内外层优化进行求解，是等步长的优化。

pseudo code

心得体会

假设独立

作者假设属性的生成是按顺序独立的，也就是说确定了某种生成顺序之后，在步骤 $i$ 之后生成的节点的属性行与步骤 $i$ 的节点无关。这种假设建立在顺序无关的基础是，并且需要通过对各种顺序的覆盖来保证，因为实际上上述假设不一定成立。

另外，作者假设边生成式互相独立的，也就是说的边 ${j}^{+}_{1}$ 和 ${j}^{+}_{2}$ 的生成是独立的。个人感觉，这个也假设不一定，不过联系可能相对较少，并且通过不同顺序的覆盖，保证没有特别大的影响，却得到很好地并行性能。

文章引用

[1] Joan Bruna, Wojciech Zaremba, Arthur Szlam, and Yann LeCun. 2013. Spectral networks and locally connected networks on graphs. arXiv:1312.6203 (2013).

[45] Difan Zou, Ziniu Hu, Yewen Wang, Song Jiang, Yizhou Sun, and Quanquan Gu. 2019. Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks. In NeurIPS 2019.