2019-6关系抽取综述_谢德鹏

这篇综述文章是发表在知网上的一篇关于知识图谱技术中的关系抽取技术，记得看过一句话，如果要想了解一个新的领域，那么就看文献就要从综述下手，从而了解整个领域的全貌。这里就要根据个人兴趣攻其一点，在读研期间发上1-2篇C刊的论文就好，这段研究生经历也就圆满了。

进入正题。

题目：

关系抽取综述

作者：

谢鹏德，常青

关键词：

关系抽取; 有监督方法; 无监督方法; 半监督方法; 远程监督; 神经网络; 联合抽取;

摘要：

关系抽取任务作为信息抽取的基本组成之一，在很多领域具有十分重要的地位。关系抽取发展至今，总体可以分为基于规则的抽取方式和基于统计方式的抽取；之后出现的众多方法大多是以统计为主，辅助以规则。后来引入了包括远程监督、深度学习等模式并融合了注意力机制、多标签多实例方法。

引言：

• 背景：伴随着互联网技术的不断发展，网络资源也呈现出爆炸式地飞速增长，出现更多的是半结构化和非结构化的数据资源。
• 研究内容：关系抽取作为信息抽取的子任务之一。信息抽取的主要研究内容是如何低成本地从复杂、多源分散和冗余异构的数据中提取出高质量的、结构化的可利用数据。
• 技术介绍：关系抽取包括实体抽取以及其关系抽取两部分。主要是从文本中抽取出实体1和实体2及其两者之间的关系类型，表示为类似于〈实体1，关系类型，实体2〉的结构化形式。
  • 现在主流的抽取方法可以细分为：
    • 基于监督的方式
    • 基于半监督的方式
    • 无监督方式
    • 远程监督
    • 面向开放域的关系抽取
• 趋势：深度学习方法加入之后逐渐替代传统机器学习方法成为研究的热点和主流。
• 应用：关系抽取在诸多领域都具有重要的应用价值，包括语义理解、推荐检索、机器翻译和智能问答等服务，关系抽取都作为基础数据提供的手段。伴随着知识图谱研究和应用的盛行，关系抽取作为对图谱构建最终的生成质量具有举足轻重影响的基本和核心环节也是备受关注，吸引大批的学者和研究者参与其中，很多引入和融合的新方法和模型也就此产生。

正文：

1.产生发展:

• 1998:第七届信息理解会议（messageunderstanding conference，MUC）上，首次提出了模板抽取的任务，这在后来发展成为关系抽取。在MUC-7会议上提出的关系抽取任务主要针对人物（persons）、地理位置locations）和产品（artifacts）的模板类型[1]，评测的语料内容主要来源于纽约时报对飞机事故和航天发射相关的新闻报道，并且设计了抽取结果的评价体系。
• 1999:美国国家技术研究院(NationalInstitute ofStandards andTechnology,NIST)召开的自动内容抽取会议(automatic content extraction,ACE)取代了之前的MUC会议，并且对关系抽取评测的任务和训练材料进行了融合拓展和细化完善[2]。
• 2002:第三届会议正式加入了实体关系发现和识别任务(relation detection and recognition, RDR)。
• 2008:ACE会议正式将关系抽取任务划分为七种类型。
• 2009:ACE正式纳入文本分析会议(text analysis conference,TAC)，成为知识库总体（knowledge base population,KBP）任务的重要组成部分[3]。后期出现的语义评估(semantic evaluation,SemEval)会议SemEval-2007的评测任务4中设置了七种常用名词和名词短语间的实体关系，在SemEval-2010评测任务8中将实体关系类型扩充到了10种[4]。

以上提到的包含关系抽取研究的会议极大地推动了其发展，但是它们所发布的评测语料对于人工标注的依赖性较大。这类语料库耗费大量人力进行手工的模板和规则的编写及训练语料的标注，虽然质量有所保证，却无法提供大规模材料，并且领域适应性和后期扩充性很差。后来包括维基百科、

DBpedia和Freebase等大规模事实知识库出现后，为标注语料提供大量的语料支持，使得开放域关系抽取成为可能，并使其具有在跨领域性和规模性方面的先天优势。

2.研究现状：

• 关系抽取作为信息抽取的重要子任务，国内前期的相关研究起步较晚，后期包括中国科学院、清华大学、北京大学等诸多科研院所在推动其研究发展上作出重要工作。
• 在实现方式上，根据对于人工标注数据的依赖性可以细分为基于监督的方式、基于半监督的方式、无监督方式和面向开放域的抽取。后期又出现远程监督方式，深度学习逐渐火热和成熟之后也被应用到关系抽取之中，取得相比传统机器学习方法更加优秀的效果。
  • 2.1有监督的关系抽取:以较高的准确率成为目前业界广泛应用的方式。
    • 方法：其主要是利用分类的思想根据已有的人工标注数据进行模型的训练，然后进行特定关系的匹配识别和抽取工作。监督方式主要分为两大方法体系，分别是基于特征向量（feature-based）的方法和基于核函数（kernel-based）的方法。

      • 基于特征向量（feature-based）的方法:通过从句子上下文中提取出包括句法和语法等特征信息去构造特征向量，进而利用特征向量的相似度训练实体关系识别模型，完成实体关系识别和抽取。

        • 相关研究工作：

          1. Kambhatla[5]利用最大熵分类器构建抽取模型，通过加入文本特征，可以使用很少的词汇特征达到不错的效果，从而降低对于语义特征提取树的依赖，模型在ACE RDC 2003英文语料上的关系抽取的F值为52.8％。很多基于特征向量的方法借助于传统机器学习实现，并且对特征的选取有很大增益。

          2.Giuliano等人[6]基于SemEval-2007的评测材料，通过实体上下文、距离等特征，借助支持向量机（support vectormachine，SVM）模型实现71.8%F值的抽取效果。

          3.Tratz等人[7]利用最大熵分类方法在SemEval-2010评测语料上实现抽取效果F值为77.57%。

          4.Culotta等人[8]使用条件随机场的分类方法借助带有默认正则化参数的MALLET CRF实现关系抽取，取得了不错的效果。

        • 缺点和不足：虽然基于特征向量的抽取方法效果良好，但是作为模型基础的特征在选择和设置上更多依靠构建者的直觉和经验。

      • 基于核函数(kernel-function)的方法:针对对于上下文信息利用不足，于是提出可以较好地利用语料中的长距离特征和结构化特征的函数方法，在这一层面进行了弥补。

        • 相关研究工作：
          1.Zelenko等人[9.10]引入基于核函数的关系抽取方法，通过核函数实现从低维向高维空间的映射，从而可以将非线性问题作为线性问题处理。Zelenko等人[9]提出使用浅层解析树核结合支持向量机从文本中提取人—隶属关系和组织—位置关系。
          2.Culotta等人[11]使用依存树核对新闻文章自动内容抽取(ACE)语料库中实体之间的关系进行了检测和分类，并且测试了词性和实体类型不同特性的效用，证实依赖树内核比“词袋”核实现了20% F1的改进。
          3.Bunescu等人[12]观察到依赖关系图中两个实体之间的最短路径可查找到实体关系，所以利用最短依存树核进行改进。
          4.Zhang等人[13]提出基于解析树的卷积核对句法结构信息建模，实现关系提取的方法。
          5.庄成龙等人[14]通过在原关系实例的结构化信息中增添实体语义信息并筛除冗余信息的方法来提高关系抽取的性能，在ACE RDC 2004基准语料上进行的关系检测，F值达到了79.1%。

        • 缺点与不足：总体上，基于核函数的方法由于匹配计算时的较强约束容易出现召回率较低的现象，并且模型训练和预测的时间复杂度较高。

      • 2.2半监督的关系抽取：

        • 方法：根据预先设计好的关系类型，通过人工添加合适的实体对作为种子。利用模式学习方法进行不断迭代学习，最终生成关系数据集和序列模式，在一定程度上降低了对于人工标注语料的依赖。
        • 相关研究工作：
          1.最常用途径是基于Bootstrapping方法实现。这是由Brin[15]首先应用在关系抽取任务中，并建立了DIPRE系统，他以少量的书名及作者名作为种子实体关系对，从文档和语句中抽取新的实例并作为标注样本，根据标注样本建立新的抽取模板。利用建立的模板发现新的实体对关系并加入其中，期间不断调整和迭代。
          2.Agichtein等人[16]设计的Snowball方法是在1.的基础上推出的，主要改进是使用向量表示实体及实体关系的元组，通过向量的相似度来发现和迭代增大标注样本。在每次迭代提取的过程中，模型在不受人工干预的情况下评估这些模式和元组的质量，并且只保留其中最可靠的部分以提升整体质量。
          3.陈锦秀等人[17]利用图策略建立基于图的半监督抽取模型，实现关系抽取性能的提升。
        • 缺点与不足：
          • 降低了关系抽取对于人工标注数据的依赖性，只需要人工进行最初种子集的构造，但是对种子集的质量要求较高，并且建立和优化相对繁琐的模板对于最终的抽取效果至关重要。
          • 这种方式普遍存在噪声实例及模板引入问题，进而在不断迭代过程中造成语义漂移的现象；
          • 且此类方法虽准确率有所提高，但是召回率普遍不高。

      • 2.3无监督的关系抽取:

        • 方法：无监督的方法属于一种自底向上的抽取方式。通过先抽取实体及关系，进行大规模的冗余语料聚类，再对聚类集合进行关系标注。
        • 相关研究工作:
          1.Hasegawa等人[18]首次应用无监督方式进行关系抽取，通过设置重复出现阈值识别潜在语义关系并聚类，实现抽取结果F值达到75%。
          2.Shinyama等人[19]基于多层级聚类的无监督方法，使用了12家主要在美国出版的报道文章进行实验。
          3.Hassan等人[20]提出了一种基于大数据集冗余和图相互增强的无监督信息提取方法，并采用从语料库中的POSn-gram获取关系提取模式。但是由于采用n-gram，这种模式只包含POS和实体类型标记，导致n-gram数量的组合激增。
          4.Gonzalez等人[21]提出一种新的基于概率聚类模型的无监督方式关系提取方法，该方法得到的F1值为55.7。
          5.Rozenfeld等人[22]建立的URIES是一个Web关系提取系统，通过对目标关系及其属性的简短描述，从未标记的文本中进行模式提取。
        • 缺点与不足：
          • 无监督抽取方式虽然对人工标注的语料依赖性降低，并且多领域适应性强，领域迁移障碍小，特别在多领域知识杂糅的大规模文本中相比其他有监督和半监督方法更是优势明显。
          • 但是无监督方法总体上关系标注较为宽泛，因为缺乏必要的语料库，导致低频实例抽取率低，最终识别的准确率和召回率也一般不高，在抽取评价标准上也难以量化和统一。

      • 2.4面向开放域的关系抽取：面向开放域的关系抽取不限定关系类别和目标文本，在跨领域和后期扩充上具有无法比拟的优势。

        • 方法：开放式关系抽取默认同一实体对都存在已知的关系，通过前后相邻的短语进行实体关系上的语义表达，借助外部大型实体知识库包括DBPedia、YAGO、FreeBase和其他领域知识库，将置信度较高的实体关系与大规模的训练数据进行匹配对齐，以获得大量训练数据。
        • 相关研究工作：
          1.Etzioni等人[23]搭建KnowItAll模型，通过人工编写规则模板从web中进行无监督的、独立于领域和面向可伸缩的大量事实(如科学家或政治家的姓名)地自动化匹配。模型中每个规则由谓词、提取模式、约束和关键字组成，进而借助简单的语法分析抽取实体关系。
          2.Banko等人[24]通过构建TextRunner模型，从Web中抽取包含用户输入的特定谓词的元组，模型包括三个关键模块：自我监督学习器对输入的小语料库样本进行处理，输出分类器对候选提取置信度的标记；单通道提取器利用整个语料库从每个句子生成一个或多个候选元组，进而得到所有可能的元组，保留标记为可信的元组；冗余评估器依据文本中的冗余概率模型为每个保留的元组分配概率。整个过程不需要人工进行标注，降低工作量，但是依旧存在召回率不高的问题。

      • 2.5应用远程监督方法的关系抽取：后来的研究着力点主要集中在如何降低对于人工标注语料库的依赖性，增强领域迁移性上。

        • 方法：远程监督方法主要通过知识库与非结构化文本对齐来自动构建大量训练数据，减少模型对人工标注数据的依赖，增强模型跨领域适应能力。
        • 相关工作研究：
          1.Mintz等人[25]在文本处理中尝试借用远程监督方法，假设若文本中的实体对和知识库的实体对完全一致，就标注它们具有同样的关系。该方法通过对齐语料库和文本自动生成训练样例，从而提取特征训练分类器，降低对于人工标注材料的依赖；但是知识库中事先标注的实体关系是不完备的，所以过于简易和强烈的假设极易引入错误。远程监督方法主要通过知识库与非结构化文本对齐来自动构建大量训练数据，减少模型对人工标注数据的依赖，增强模型跨领域适应能力。
          2.为了改善远程监督单标签过强假设的问题，Surdeanu等人[26]又进一步提出基于概率图模型的多标签多实例的抽取方式，并引入词袋（word bag）模型，通过提升标注级别，将原本实体对级的标注改变为对多词形成的词袋进行标注以降低错误率。

      • 2.6基于深度学习的关系抽取：以上方法都借助传统的自然语言处理工具，但是工具本身也是很容易引入错误，经过这些工具处理后的结果降低了接下来的算法性能。

        • 方法：考虑到语音、图像和文本处理肌理的相通性，当深度学习方法在图像领域崭露头角时，很多人尝试引入深度学习方法到关系抽取中，发挥其在特征提取和自动学习上的优势，并且将SemEval-2010 task 8[27]作为测试标准。
        • 相关工作研究：
          1.Socher等人[28]通过使用递归神经网络（recurrent neuralnetworks，RNN）模型，在句法树的节点上设置向量和矩阵，对命题逻辑和自然语言中算子的含义学习，从而得到多种句法类型和不同长度短语和句子的向量化表示。模型在SemEval-2010 Task 8数据库上实现F值为82.2%的抽取效果。
          2.Hashimoto等人[29]在网络分类器中加入词嵌入方法，从语料库中抽取出实体对上下文特征信息，基于同样的数据库实现小幅度提升。
          3.递归神经网络关注于语义的结构信息，但为获得这一信息需要依赖于传统自然语言处理工具，传统自然语言处理（natural language processing，NLP）工具噪声引入的弊端再次显露。于是Zeng等人[30]利用卷积神经网络（convolutionalneural networks,CNN）提取词汇和句子的层次特征进行关系抽取，减少输入材料复杂的预先标记处理。
          4.Nguyen等人[31]在此工作的基础上向卷积层中加入了多尺寸的卷积核作为过滤器，以此提取更多的N-Gram特征，并且使用了位置向量，证实了多尺寸卷积神经网络在关系抽取中的有效性。
          5.Lin等人[32]引入PCNN（piecewise CNN），对传统卷积神经网络的池化层进行改进，通过两个实体位置将feature map分为三段进行池化，其目的是更好地捕获两个实体间的结构化信息，并使用注意力机制，通过建立句子级选择性注意神经模型减轻错误标签问题，最终F结果比基于多示例学习的机器学习方法高了5个百分点。
          6.Zhou等人[33]使用BLSTM（bidirectional long-short term memory）对句子建模，并使用word级别的attention机制提升结果。
          7.万静等人[34]利用双向GRU和PCNN方法实现实体结构和更多特征信息的提取，在NYT数据集上不错效果。
          8.Cai等人[35]提出了基于最短依赖路径（shortest pathdependence，SDP）的深度学习关系分类模型，称为双向递归卷积神经网络模型（BRCNN）。使用SemEval-2010 Task 8数据集，在关系分类任务中，实现了F值高达86.3%的抽取效果。
          9.2017年，Lin等人[36]又尝试通过扩展到多语言语料库上，利用多语言语料信息的互补性和一致性提升抽取性能，这在多语言共存的文档中效果显著。
          10.但是以上的所有关系抽取方法都将其分解为实体抽取（named entity recognition，NER）和关系抽取(relationextraction，RE)两个依次进行的步骤。这种分割忽略子任务间的关系，容易产生冗余信息，于是端到端方式的联合抽取被提出。在同一个模型中抽取出实体及其之间关系类型，实现参数共享、同步优化，降低之前流水式抽取出现错误累积的可能性。Zheng等人[37]利用共享神经网络底层表达进行联合学习。
          11.Miwa等人[38]同样通过参数共享NER使用一个神经网络进行解码，在RC上加入了依存信息，根据依存树最短路径使用一个BiLSTM来进行关系分类。
          12.Li等人[39]提出了增量集束搜索算法的联合结构化抽取方式和利用全局特征的约束方法，在ACE语料上比传统的流水线方法F值提升了1.5%。
          13.Zheng等人[40]使用了更加高效的偏置目标函数和一种新的标注策略，把原来涉及到序列标注任务和分类任务的关系抽取完全变成了一个序列标注问题，通过一个端对端的神经网络模型直接得到关系实体三元组。

3.评价指标：

这套关系抽取工作的最终效果评价体系是在ACE会议上提出，以准确率（precision)、召回率(recall)进行衡量，但是准确率和召回率在一定程度上过于偏重评测抽取的单方面效果，于是引入F值，综合衡量抽取的结果。
三者的计算公式为：

image.png

4.挑战与趋势：

• 总体：关系抽取在领域自适应性和召回率层面仍有提升空间。
• 挑战与趋势1：借助已有的知识库并挖掘深度学习语义表示和自主学习能力，自动从训练数据中学习分类特征、自主进行语料扩充，进而增强领域的迁移性，减少对于人工标注语料的依赖。因此弱监督包括远程监督方式应该是研究和应用的方向之一，但是目前远程监督的错误标注噪声引入问题一直存在，虽通过多标签多实例方式进行改善，但是仍有提升空间。
• 挑战与趋势2： 并且现阶段的关系抽取大多集中在词汇、语句级别的实体间关系，很少扩大到段落甚至篇章级别的关系抽取，但是大量的代词在文段中需要依靠上下文信息，甚至段落篇章级进行语义理解，指代词在语义上和名词实体的等价关系应充分利用。通过共指消解处理结果的引入，更好地进行实体之间等价关系和非等价关系的融合，也可以进一步推理出长文档或者多文档实体之间存在的间接和潜在关系，借助简单推理实现长距离关系抽取，进一步提升关系抽取的召回率。
• 挑战与趋势3：现在关系抽取的主流方式是二元关系抽取，即使是多元实体关系仍将其作为二元实体关系进行处理。但是现实世界中实体之间的三元甚至多元关系广泛存在，将二元抽取方法延伸至多元抽取，发现潜在实体关系、多元实体关系、多层次关系将会对实际应用产生巨大影响。

参考文献

[1]刘绍毓.实体关系抽取关键技术研究[D].郑州:解放军信息工程大学, 2015. (Liu Shaoyu. Research on key technologies for entityrelation extraction [D].Zhengzhou: PLA Information EngineeringUniversity, 2015.)
[2]张素香.信息抽取中关键技术的研究[D].北京:北京邮电大学,2007. (Zhang Suxiang. Researchon key technologiesof the informstionextraction [D]. Beijing: Beijing University of Posts andTelecommunications, 2007.)
[3]Doddington G R, Mitchell A, Przybocki M A,et al.Theautomatic content extraction (ACE)program-tasks, data, and evaluation [C]//ProcofLREC. 2004.
[4]Hendrickx I, Kim S N, Kozareva Z,et al.Semeval-2010 task 8:Multi-way classification of semantic relation between pairs of nominal[C]// ProcofKorkshop on Semantic Evaluations: Recent Achievementsand Future Directions. 2009: 94-99.
[5]Kambhatla N. Combining lexical, syntactic, and semantic features with maximum entropy models for extracting relations [C]// ProcofACLonInteractivePoster andDemonstrationSessions.Stroudsburg, PA:Association for Computational Linguistics, 2004: 22-26.
[6]Giuliano C, Lavelli A, Pighin D,et al.FBK-IRST:kernel methods for semantic relation extraction [C]// Procof the 4th InternationalWorkshop on Semantic Evaluations.Stroudsburg, PA:Association for Computational Linguistics, 2007: 141-144.
[7]Tratz S, Hovy E. Isi:automatic classification of relations between nominals using a maximum entropy classifier [C]// Procof the 5thInternational Workshop on Semantic Evaluation.Stroudsburg, PA:Association forComputational Linguistics, 2010: 222-225.
[8]Culotta A, Mccallum A, Betz J.Integrating probabilistic extraction models and data mining to discover relations and patterns in text [C]//ProcofMain Conference on Human Language Technology Conferenceof the North American Chapter of the Association of ComputationalLinguistics.Stroudsburg, PA:Associationfor ComputationalLinguistics, 2006: 296-303.
[9]Zelenko D, Aone C, Richardella A. Kernel methods for relation extraction [J]. Journal of Machine Learning Research, 2003, 3(3):1083-1106.
[10]Zhao Shubin, Grishman R.Extracting relations with integrated information using kernel methods [C]// Procof the 43rdAnnualMeeting onAssociation forComputationalLinguistics.Stroudsburg, PA:Association for ComputationalLinguistics, 2005: 419-426.
[11]Culotta A, Sorensen J. Dependency tree kernels for relation extraction [C]// Procof the 42nd Annual Meeting on Association forComputational Linguistics.Stroudsburg, PA:Association for Computational Linguistics, 2004: 423.
[12]Bunescu R C, Mooney R J. A shortest pathdependency kernel for relation extraction [C]// ProcofConferenceonHumanLanguageTechnology andEmpiricalMethods inNaturalLanguageProcessing.Stroudsburg, PA:Association for Computational Linguistics, 2005:724-731.
[13]Zhang Min, Zhang Jie, Su Jian.Exploring syntactic features for relation extraction using a convolution tree kernel [C]// ProcofMainConference on Human Language Technology Conference of the NorthAmerican Chapter of the Association of Computational Linguistics.Stroudsburg, PA:Association for Computational Linguistics, 2006:288-295.
[14]庄成龙,钱龙华,周国栋.基于树核函数的实体语义关系抽取方法研究[J].中文信息学报, 2009, 23(1): 3-9. (Zhuang Chenglong, QianLonghua, Zhou Guodong. Research ontree kernel based entity semanticrelation extraction [J]. Journal of Chinese Information Processing, 2009,23(1): 3-9. )
[15]Brin S. Extracting patterns and relations from the World Wide Web [J]. Lecture Notes in ComputerScience, 1998, 1590: 172-183.
[16]Agichtein E, Gravano L. Snowball:extracting relations from large plain-text collections [C]//Proc ofACM Conference on DigitalLibraries.New York:ACMPress, 2000: 85-94.
[17]陈锦秀,姬东鸿.基于图的半监督关系抽取[J].软件学报, 2008 (11): 2843-2852. (Chen Jinxiu, Ji Donghong. Graph-basedsemi-supervised relation extraction [J]. Journal of Software,2008(11):2843-2852. )
[18]Hasegawa T, Sekine S, Grishman R. Discovering relations among named entities from large corpora[C]// Procof the 42nd AnnualMeeting on Association for ComputationalStroudsburg, PA:Linguistics.Association for Computational Linguistics, 2004: 415-422.
[19]Shinyama Y, Sekine S. Preemptive information extraction using unrestricted relation discovery [C]// ProcofMainConference onHuman Language Technology Conference of the North AmericanChapter of the Association of Computational Linguistics.Stroudsburg,PA:Association for Computational Linguistics, 2006:304-311.
[20]Hassan H, Hassan A, Emam O, Unsupervised informationextraction approach using graph mutual reinforcement [C]//ProcofConference onEmpirical Methods in Natural Language Processing.2006: 501-508.
[21]Gonzalez E, Turmo J. Unsupervised relation extraction by massive clustering [C]//Proc of the9th IEEE International Conference on DataMining.Piscataway, NJ: IEEE Press,2009: 782-787.
[22]Rozenfeld B, Feldman R. High-performanceunsupervised relation extraction from large corpora [C]//Proc of the6th InternationalConference on Data Mining.Piscataway, NJ: IEEE Press,2006:1032-1037.
[23]Etzioni O, Cafarella M,Downey D,et al.Unsupervised named-entity extraction from theWeb:anexperimental study [J]. Artificialintelligence, 2005, 165(1): 91-134.
[24]Banko M, Cafarella M J, Soderland S,et al.Open information extraction from theWeb [C]//Procof the 20thInternationalJointConference on ArtificalIntelligence.San Francisco, CA:MorganKaufmann Publishers Inc2007: 2670-2676.
[25]Mintz M, Bills S, Snow R,et al.Distant supervision for relation extraction without labeled data [C]// Procofthe 47thJoint ConferenceofAnnual Meetingof the ACL and the 4th International JointConference on Natural Language Processing of the AFNLP.Stroudsburg, PA:Association for Computational Linguistics, 2009:1003-1011.
[26]Surdeanu M, Tibshirani J, Nallapati R,et al.Multi-instance multi-label learning for relation extraction [C]// ProcofJointConference onEmpiricalMethods inNaturalLAnguageProcessing andComputationalNaturalLanguageLearning.Stroudsburg, PA:Association forComputational Linguistics, 2012: 455-465.
[27]Hendrickx I, Kim S N, Kozareva Z,et al.Semeval-2010 task 8: multi-way classification of semantic relations between pairs ofnominals [C]// ProcofWorkshop on Semantic Evaluations: RecentAchievements and Future Directions.Stroudsburg, PA:Association forComputational Linguistics,2009: 94-99.
[28]Socher R, Huval B, Manning CD,et al.Semantic compositionality through recursive matrix-vector spaces [C]// ProcofJoint Conferenceon Empirical Methods in Natural LanguageProcessing andComputational Natural Language Learning.Stroudsburg, PA:Association for Computational Linguistics, 2012: 1201-1211.
[29]Hashimoto K, Stenetorp P, Miwa M,et al.Task-oriented learning of word embeddings for semantic relation classification [C]// Procof the19th Conference on Computational Natural Language Learning. 2015:268-278.
[30]Zeng Daojian, LiuKang, Lai Siwei,et al.Relation classification via convolutional deep neural network [C]// Procofthe 25th InternationalConference on Computational Linguistics. 2014: 2335-2344.
[31]NguyenT H, Grishman R. Relation extraction:perspective from convolutional neural networks [C]// Procof the 1st Workshop on VectorSpace Modeling for Natural Language Processing. 2015: 39-48.
[32]Lin Yankai, Shen Shiqi, Liu Zhiyuan,et al.Neural relation extraction with selective attention over instances [C]//Procof the 54thAnnualMeeting of the Association for Computational Linguistics.2016:2124-2133.
[33]Zhou Peng, Shi Wei, Tian Jun,et al.Attention-based bidirectional long short-term memory networks for relation classification [C]// Procof the54th Annual Meeting of the Association for Computational Linguistics.2016: 207-212.
[34]万静,李浩铭,严欢春,等.基于循环卷积神经网络的关系抽取方法研究[J/OL].计算机应用研究: 1-6[2019-02-22]. http://kns. cnki.net/kcms/detail/51.1196. TP. 20181225. 1615. 003. html.(Wan Jing, LiHaoming, Yan Huanchun,et al.Relation extraction based on recurrentconvolutional neural network [J/OL]. Application Research ofComputers: 1-6(2018-12-26)[2019-02-19]. http://kns. cnki.net/kcms/detail/51. 1196. TP. 20181225. 1615. 003. html. )
[35]Cai Rui, Zhang Xiaodong, Wang Houfeng. Bidirectional recurrent convolutional neural network for relation classification [C]// Procof the54th Annual Meeting of the Association for Computational Linguistics.2016: 756-765.
[36]Lin Yanka, Liu Zhiyuan, Sun Maosong. Neural relation extraction with multi-lingual attention [C]// Procof the 55th Annual Meeting of theAssociation for Computational Linguistics. 2017: 34-43.
[37]Zheng Suncong, Hao Yuexing, Lu Dongyuan,et al.Joint entity and relation extraction based on a hybrid neural network [J].Neurocomputing, 2017, 257(9): 59-66.
[38]Miwa M, Bansal M.End-to-end relation extraction using LSTMs on sequences and tree structures [C]//Procof the 54th Annual Meeting ofthe Association for Computational Linguistics. 2016: 1105-1116.
[39]Li Qi, Ji Heng. Incremental joint extraction of entity mentionsand relations [C]// Procof the 52nd Annual Meeting of the Association forComputational Linguistic. 2014: 402-412.
[40]Zheng Suncong, Wang Feng, Bao Hongyun,et al.Joint extraction of entities and relations based on a noveltagging scheme [C]// Procof the55th Annual Meeting of the Association for Computational Linguistics.2017: 1227-1236.