知识图谱关系抽取之PCNN——tensorflow实现

2019-03-02 本文已影响17人王同学死磕技术

知识图谱（ Knowledge Graph）以结构化的形式描述客观世界中概念、实体及其关系，将互联网的信息表达成更接近人类认知世界的形式，提供了一种更好地组织、管理和理解互联网海量信息的能力。上述一大段是我从2018知识图谱发展报告中copy下来的一段话，用普通人能听懂的人话来描述:知识图谱就是把去发现世间万物的之间的联系。 在技术上就是将数据以一个一个的<subject,relation,object>的三元组形式存储起来。

不知道大家有没有这样一种感受，如果你在某一领域的学习了解到很多的知识碎片，却无法将他们关联起来，这些知识碎片并不会加深你对这一领域的认知。而如果你能将他们联系起来，串联成一张知识网，那很有可能你就是这个领域决定的专家。因为你的脑中有这个领域的知识网，你就能知道这个领域的边界在哪。知识图谱就是要将知识串联起来，形成一张知识网。

知识图谱的应用场景：

知识图谱主要分为两类：
通用知识图谱和领域知识图谱。通用知识图谱主要需要知识的广度，而领域知识图谱需要知识具有深度。

通用知识图谱最普遍的应用场景就是：搜索引擎，
领域知识图谱的应用场景则比较丰富多样：司法，医疗，金融，电商等各行各业都可以构建属于自己行业的知识图谱，而这些知识图谱可以用于智能问答，辅助决策，风险规避等。

当然以上只是知识图谱被应用最多的场景，还有一些很有潜力的应用场景，比如将知识图谱和深度学习结合等。知识图谱这个新的，年轻的概念还等着大家去探索更多的应用可能性。

知识图谱的构建简介

这里笔者就不没有考虑业务逻辑，也不考虑构建过程中一下细节技术，直接讲一个简单粗暴版的构建流程。

实体抽取，实体链接（两个实体同一个含义需要规整），目前最主流的算法就是CNN+LSTM+CRF进行实体识别。
实体之间，关系抽取，拿到知识图谱最小单元三元组，比较经典算法的就是Piece-Wise-CNN,和 LSTM+ Attention 。
知识存储，一般采用图数据库（neo4j等）。

但是要注意的是，知识图谱一定要最先定义好构建它是用来干什么，目标业务导向，定义好符合业务逻辑schema层才是最最重要的。有了schema之后接下来的任务就是实体抽取和关系抽取啰，其中关系抽取是把知识点串联成一张知识网的重要过程，所以这里笔者着重介绍一下最近在知识图谱领域很火的有监督的关系抽取任务的一个模型PCNN。

关系抽取之PCNN（Piece-Wise-CNN）

这里笔者仔细解释一下有监督的关系抽取的任务的数据样式，任务形式，以及PCNN（Piece-Wise-CNN）的思想和tensorflow实现。
关系抽取数据：

data.png

input : 句子 Steve Jobs was the co-founder of Apple Inc和两个entities Steve Jobs 和 Apple Inc。
out：实体之间关系： /business/company/founder

所以我们可以将其抽象成一个分类问题，输入句子和实体信息，然后让模型分出这两个实体之间的关系属于哪一类。

PCNN

下图清晰了显示了PCNN的整个网络架构，原文链接在这里，下面我对着下图介绍一下PCNN的实现过程：

数据预处理：首先对数据进行位置编码，按句子中各个词离entity的距离进行编码。
例如：“As we known，Steve Jobs was the co-founder of Apple Inc which is a great company in America.”
由于句子中有两个entity，所以这条句子就会产生两个和句子长度相同的编码。
pos_1:[-4,-3,-2,-1,0,1,2,3......] ,其中0就是Steve Jobs的位置。
pos_2:[-9,-8,-7,-6,-5,-4,-3,-2,-1,0,1,2,3......] 其中0就是Apple Inc的位置。
切分句子：其中最主要的就是将一条文本数据在两个entity处各切一刀将文本且成了3段。
比如 As we known，Steve Jobs was the co-founder of Apple Inc which is a great company in America，将被切成：

As we known，Steve Jobs
Steve Jobs was the co-founder of Apple Inc
Apple Inc which is a great company in America.
注意，位置向量也同样进行了切分操作。

特征提取：将位置特征和文本特征拼接之后，然后将上面三个数据分别通过CNN 提取特征，
关系分类：提取出来的特征通过maxpooling层之后进行拼接后送入softmax层，最终得到relation的分类。
pcnn.png
从上面PCNN的流程我们可以发现，这个网络结构很注重entitiy之间的距离信息，位置信息，以及entitiy之间或者左右的信息。其实这些都是是关系抽取中最重要的特征。
一般来说两个entitiy之间距离越近，则他们有关系的可能性越大。
而透露出entities之间有关系的词一般会出现在两个entity之间，左侧，或者右侧。
例如：Steve Jobs was the co-founder of Apple Inc ，关系词 co-founder就在两个entity之间

tensorflow 代码实现

由于之前对PCNN的整个流程有了比较详细的解释，这里笔者只是简单的介绍一下代码构成。
下方这一步是已经将文本向量和位置向量进行了切分，由于文本被两个entity分成了左，中，右三段，再这三段加上各自的两个位置向量。所以网络一共有9个输入，加上关系label输出，一共需要定义10个placeholder。

import tensorflow as tf
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '1'
tf.reset_default_graph()
word_ids_left = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
word_ids_mid = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
word_ids_right = tf.placeholder(tf.float32, shape=[None, maxlen, word_emb_size])
pos_l_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_l_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_m_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_m_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_1 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
pos_r_2 = tf.placeholder(tf.int32, shape=[None, maxlen])
label = tf.placeholder(dtype=tf.int32,shape=[None,n_class])

下方代码这是PCNN的实现，其中Piece_Wise_CNN函数是对PCNN的实现。

def get_sentence_emb(word_ids,pos_1,pos_2):
    pos_emb_l1 = tf.keras.layers.Embedding(input_dim=498,output_dim=10,input_length=100)(pos_l_1)
    pos_emb_l2 = tf.keras.layers.Embedding(input_dim=498,output_dim=10,input_length=100)(pos_l_2)
    return tf.concat([word_ids,pos_emb_l1,pos_emb_l2],2)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]

def Piece_Wise_CNN(left_emb,mid_emb,right_emb,feature_map,n_class):
    left = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(left_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
    left = tf.keras.layers.GlobalMaxPool1D()(left)#[batch_size,feature_map]
    mid = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(mid_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
    mid = tf.keras.layers.GlobalMaxPool1D()(mid)#[batch_size,feature_map]
    right = tf.keras.layers.Conv1D(filters=feature_map,kernel_size=3)(right_emb)#[batch_size,maxlen,word_emb_size+2*pos_emb_size(10)]
    right = tf.keras.layers.GlobalMaxPool1D()(right)#[batch_size,feature_map]
    final_feature = tf.concat([left,mid,right],1)#[batch_size,3*feature_map]
    out = tf.keras.layers.Dense(n_class,activation="softmax")(final_feature)  #[batch_size,n_class]
    return out

def train_op(out,label,lr):
    losses = tf.nn.softmax_cross_entropy_with_logits_v2(
                    logits=out, labels=label)
    loss = tf.reduce_mean(losses)
    train_op = tf.train.GradientDescentOptimizer(learning_rate=lr).minimize(loss)
    return train_op,loss

这里是定义train_op部分。

left_emb = get_sentence_emb(word_ids_left,pos_l_1,pos_l_2)
mid_emb = get_sentence_emb(word_ids_mid,pos_m_1,pos_m_2)
right_emb = get_sentence_emb(word_ids_right,pos_r_1,pos_r_2)
out = Piece_Wise_CNN(left_emb,mid_emb,right_emb,20,n_class)
train_op,loss = train_op(out,label,lr = 0.01)

结语

这里笔者主要是想通过PCNN这个经典的关系抽取网络引出，有监督的关系抽取任务的关键是需要神经网络理解两个entity之间的语义连结，所以，而如何利用好句子中entity周围的词语的语义信息和entity之间的位置信息，可能是解决这类任务的关键。笔者多次强调过自然语言处理最终目标还是希望算法能够理解语义。像PCNN这个网络则提出了切分句子，集中注意力关注句子提供关键信息的部分(自己的理解)，也许是一个好的方向。