论文阅读“Text Level Graph Neural Net

Huang L, Ma D, Li S, et al. Text Level Graph Neural Network for Text Classification[C]//Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). 2019: 3444-3450.

摘要导读

由于GNN可以很好的挖掘数据中的复杂结构同时保留全局的信息，近年来已经有很多研究致力于探索GNN在文本分类上的应用。然而，以往基于GNN的方法主要面临着固定的语料库级图结构，不支持在线测试，并且存在高内存消耗的现实问题。为了解决这些问题，本文提出了一个新的基于GNN的模型，为每个输入文本建立全局参数共享的图，而不是为整个语料库建立一个单一的图。而不是为整个语料库建立单一的图。这种方法消除了单个文本和整个语料库之间的依赖性，支持在线测试，但仍然保留了全局信息。此外，通过文本中更小的窗口来构图，这不仅可以提取更多的局部特征，还可以显著减少边数量以及内存消耗。

主要的创新：
1 基于每个句子构图，而非全语料构图 -- 节约内存
2 每个图共享节点权重和节点表示 -- 使得各图（即句子）之间保留了相关性
3 使用更小的滑动窗口进行构图，减少边的数量（计算）

摘要浅析

关于利用GNN学习文本表示的示意图如下：

对于分类任务而言，整个过程主要包含三个步骤：

• 构图
  将包含个词的文本记录为, 表示第个词的表示，由维的词嵌入进行初始化，并且在学习的过程中进行更新。本文使用句子中的所有词进行构图。针对的图可以表示为如下：, 其中，节点表示和权重边表示分别来自全局共享的词向量矩阵（）和边矩阵（）。此外，将训练集中出现少于k次的边统一映射为 "公共 "边，以使参数得到充分的训练。

• 消息传递机制
  卷积可以从局部特征中抽取出重要的信息。本文采用了一种名为消息传递机制（MPM）的非谱系方法（Gilmer-Neural message passing for quantum chemistry-2017）进行卷积。MPM首先从近邻节点中获取并基于原始的节点表示和得到的信息对其进行更新：

  表示节点从对应的近邻节点中收集到的信息，表示在原始文本中最近的个词的集合，是从节点到节点的权重，在训练中会被更新，是节点更新前的表示，是更新后的表示。是一个可训练的参数。MPM使节点的表示受到邻域的影响，这意味着表示可以带来来自上下文的信息。因此，即使是多义词，在上下文中的准确含义也可以通过来自邻居的加权信息的影响来确定。此外，文本级图的参数取自全局共享矩阵，这意味着表示法也可以像其他基于图的模型那样带来全局信息。

• 文本表示和分类
  句子中所有的节点都用于生成句子表示并应用于分类：

  结合训练集label信息最小化交叉熵损失 是真实标签对应的one-hot表示。

实验设置

• 主实验
• 内存占用
• 超参
• 消融实验

---