论文笔记 | 用于中文事件检测的Nugget Proposal

本文主要复述论文["Nugget Proposa Networks for Chinese Event Detection"] 的主要内容，以便自我回顾，也希望可以给大噶带来帮助~

摘要

对于中文文本来说，由于没有单词分隔符而带来的单词与事件触发器之间不匹配问题，给事件检测的任务带来了很多的挑战。本篇论文提出了Nugget Proposal Networks（NPNs），它可以通过直接提出以每个字符为中心的整个触发器块来解决字触发器不匹配问题，而不用考虑字边界。具体而言，NPN在字符范式中执行事件检测时，首先学习每个字符的混合表示以便从字符和单词中捕获结构和语义信息。 然后基于学习的表示，通过利用中文事件触发器的字符组成结构来提出触发器块并对其进行分类。

介绍

因为许多触发器与字不完全匹配，具体而言，触发器可以是单词的一部分或跨多个单词，此时逐字事件检测模型无法有效作用。table1描述了不同语料库下触发器与词汇的匹配程度。Figure1介绍了触发器块需要的匹配模式。

给定一个句子，NPNs模型可以将字符视为基本检测单元，并且能1)通过利用触发器的内部组成结构直接提出每个字符的整个潜在触发器块; 2)通过学习字符和词汇的语义表示，有效地对提出的触发器进行分类。比如对figure1(b)中的字符“伤”，NPNs模型不仅可以获得这个字符是injure触发器的一部分，还可以指明“受了伤”是完整的触发器。

Figure2展示了NPNs的结构。给定句子中的角色，NPN可可以有效解决词触发器的不匹配问题和词的二义性问题。

混合表示

混合表示可以有效地捕获内部字符组成和准确事件分类的信息。从字符层面的信息来看，“枪杀”是由常规模式“方式+动词”构成的触发器，而在词汇层面上可以由字符的上下文获取更为明确的信息，比如“杀青”。因此，NPN模型先采用token-level神经网络学习两组character-level和word-level的表示，之后由三种不同的混合范式得到混合表示。
令牌级表示学习：Token-level的神经网络可以分别从字符级和词汇级提取特征向量。Figure3展示了词汇级的特征向量训练模型框架。整个结构采用了Dynamic multi-pooling CNN网络，一个窗口大小h的卷积层计算式为(1)，其中Wi是卷积核。以动态最大池化来保证每个句子的重要信息(2)。联合所有的特征信息得到characer-level和word-level的特征向量表示。

混合表示学习：得到特征向量f^char与f^word之后，先使用两个密集层将f^char与f^word分别投影到相同的向量空间，维度为d'对应的向量也分别为f'^char与f'^word。
作者设计了三种范式来得到混合表示：Concat Hybrid(3)；General Hybrid(4)和(5)，此处的ZG即类似GRUs里的门结构，是d'维的权重向量，用以表示信息流的特征重要程度。Wgh和Ugh为权重矩阵。 特定任务混合表示：针对触发器块和事件类型分类分别提供门函数(6)和(7)，可以得到更为明确的特征混合表示fN(8)和fT(9)。

触发器块识别网络

以figure5为例，NPNs不仅可以标记出字符"伤"，而且能识别"受了伤"作为需要的触发器块，并分类事件类型为Injure。因此，NPNs可以划分为两个模块。

触发器块生成：基于触发器块的网络不仅可以判断一个char是否属于一个触发块，还可以指出整个触发器块。figure5表明了触发器块的生成过程，以式(10)来计算每个候选块的概率，其中OG∈RdN，dN是候选块的数量加上一个“NIL”标签，NIL表明该字符不属于触发器。对于一个限定长度为L的触发块长度，(L²+L)/2估算其候选块的数量。此处，作者依据语料库判定L长度不超过3。候选触发器块成立的概率依据于现有的文本组成格式，比如“verb + auxiliary + noun”、“manner + verb”等。得到每个候选块的分数后，用sofrmax模型(11)对数据做标准化处理。 事件类型分类：得到一个char的触发块后，将之前学到的参数发T投入分类器中来判断当前触发器块的具体类型(12)。得到OC∈RtT，dT是事件子类型的数量。同样的，使用softmax对结果进行标准化(13),其中Oi^C是O^C中的第i个元素，表示第i个子类型的分数。 论文中采用的冗余预测策略，即将所有检测到的触发块添加到结果中并忽略NIL类型。这种策略提高了NPN模型的错误容忍度。
模型训练：实验中将触发器块中包含的所有字符视为正训练实例，将不在任何触发器中的字符随机取样为负实例，并将它们标记为“NIL”。 假设我们在S^G = {(xk，yG k) | k = 1,2，... T^G}中有T^G训练样例来训练触发器块生成器，以及S^C = {(xk，yk^C)| k = 1,2，... TC}中的T^C样例训练事件类型分类器，因此定义损失函数L（θ）为(14)，其中的θ为模型的超参，采用随机梯度下降获得参数。

实验

论文中选择了ACE2005和KBPEval2017两个语料库训练模型，实验结果对比展示为table2。

该篇论文提出的方法主要是由特定事件类型与候选触发器不匹配这一问题展开的，尤其是中文语料库，没有分词符导致这一现象更加的严重。实验中将KBP语料库分为了三个部分：完全匹配，部分匹配和交叉匹配，统计了在不同模型下的触发器匹配结果(table4)。结果表明NPN模型在这一问题上有良好的成效。 作者还提供了该篇论文的开源码：https://github.com/sanmusunrise/NPNs