命名实体识别NER实战之基于bert（二）

2019-06-24 本文已影响0人胡文祥lyy

上一篇介绍了基本的ner任务，这篇继续介绍下CRF，最后使用Bert实现Ner任务。

1，CRF

我们先看两张简图。

Bilstm

Bilstm+CRF

图一是Bilstm也就是上一篇介绍的模型，图二就是BiLstm+CRF。对比两图不难发现，图二在标签之间也存在着路径连接，这便是CRF层。这里CRF的作用就是对各标签的之间的转移概率进行建模，然后在所有的标签序列中，选取一条最优结果(在概率图中叫最优路径)，例如，词性标注任务中，形容词后面接名词的概率比较大，所以模型更倾向于在形容词后面选着一个名词。

而 BiLstm+CRF 网络就是将Bilstm的输出，也就是每个单词对应标签的值(注意BiLstm的输出建议不要使用sigmoid、tanh或softmax做转换)输入到CRF中。在CRF内部，首先会随机初始化一个[tag_size,tag_size]的矩阵A，tag_size就是标签的个数，所以A_ij就代表标签i到标签j的转移概率。这个矩阵最后通过学习得到。

有了这个矩阵我们就可以对一个标签序列计算一个分值。
$S(X,y)=\sum_{i=1}^TA_{i_{t-1},i_t,y}+P_{i_t,y}$
这里X就是我们观测到的语句，例如:刘媛被清华大学录取。y就是X的标签序列。T代表我们句子的长度， $A_{i_{t-1},i_t,y}$ 就代表t-1时刻的标签转移到t时刻标签的值，从标签转移矩阵A中获得， $P_{i_t,y}$ 就是t时刻BiLstm的输出值。so,就是这么简单，一个标签序列的分数，只需简单的加法就可以得到。但是注意这里 $S(X,y)$ 是一个分值，并不是一个概率值。需要用下面的公式将分值转换成概率。
$P(y|X)=\frac{e^{s(X,y)}}{\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}}$
这里 $\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}$ 就是当前语句 $X$ 对应的所有标签序列 $\hat{y}$ 的 $e^{s(X,y)}$ 之和。假设 $X$ 包含10个单词，任务有3个标签， $3^{10}$ 种标签序列。
接下来看下如何训练，对于语句 $X$ 都有答案序列 $y$ ，我们求出答案序列y的得分，使用softmax得到其概率，最后使用最大似然估计来求解，也就是最小化下面的损失函数：
$-\log{P(y|X)}=-\log{(\frac{e^{s(X,y)}}{\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}})}$
简化下公式：
$-\log{P(y|X)}=-(s(X,y)-{\log{(\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}})})$

这里 $s(X,y)$ 就是答案标签序列 $y$ 对应的分值，这个很容易计算，麻烦的是 ${\log{(\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}})}$ 如何计算。其实这里不用太担心，因为我们只要求出了 $y_{t-1}$ 时刻的所有序列的值，就可以求出 $y_t$ 时刻所有序列的值。
下面是简单说明下：
假设我们的 $X$ 只有两个单词，所以 $S(X,y)$ 可以拆解成 $S(X,y)=(A_{{0},1,y}+P_{1,y})+(A_{{1},2,y}+P_{2,y})$
我们用 $s_1$ 和 $s_2$ 来分别代表 $(A_{{0},1,y}+P_{1,y}),(A_{{1},2,y}+P_{2,y})$
所以 ${\log{(\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}})}={\log{(\sum_{\hat{y}_\in Y}\sum_{\hat{y}_\in Y}e^{s_1+s_2}})}$
而 $\sum_{\hat{y}_\in Y}e^{s_1}=e^{\log{(\sum_{\hat{y}_\in Y}e^{s_1}})}$
带入原式就得到 ${\log{(\sum_{\hat{y}_\in Y}e^{{\log{(\sum_{\hat{y}_\in Y}e^{s_1}})}+s_2}})}$
而s1时刻所有序列的值正是 ${\log{(\sum_{\hat{y}_\in Y}e^{s_1}})}$
所以对于求 ${\log{(\sum_{\hat{y}_\in Y}e^{s(X,\hat{y})}})}$ ，我们只需将每一时刻的序列总值求出即可。

上面就是在Bidirectional LSTM-CRF Models for Sequence Tagging这篇paper中提到的CRF方法，但这并不是CRF的全部，想要全面的了解CRF需要概率图模型的知识，这个后期会在做个详细的介绍。

2,代码篇

在tensorflow中使用CRF是很方便的一件事，因为tensorflow已经全部封装好了，一个方法即可调用。


            log_likelihood, trans = tf.contrib.crf.crf_log_likelihood(
                inputs=logits, # logits 就是Bilstm的输出，每个token对应的标签值，[batch_size,seq_len,tag_num]
                tag_indices=self.labels,# 每个token对应的真实标签
                sequence_lengths=self.lengths)# 每个样本的句子长度

方法返回的log_likelihood就是对应的loss值，trans 就是标签的转移矩阵。
建立train_op的时候，注意梯度下降的时候需要tf.reduce_mean(-log_likelihood)

train_op = tf.train.AdamOptimizer(learning_rate).minimize(tf.reduce_mean(-log_likelihood))

预测阶段

预测的时候就是在所有的标签序列中，找出分值最大的那个。这里要用到Viterbi算法，tensorflow同样也做好了封装。


 decode_tags, best_score= tf.contrib.crf.crf_decode(potentials=logits, transition_params=trans, sequence_length=self.lengths)

输入：

logits : 就是Bilstm的输出，也就是每个词对于每个标签的分数。
transition_params : CRF训练出的标签转移概率矩阵。
sequence_length：预测样本的句子长度。

decode_tags:预测的最优标签序列。

best_score：预测的最优标签序列对应的分值。

3 Bert-Bilstm-CRF

在BERT使用详解(实战)介绍了Bert的使用方法，可以去看下。对于Bert-Bilstm-CRF 其实可以把Bert的输出看做是词向量，所以只需把原来词向量的部分用bert替换即可。

源码已经提交至GIT

命名实体识别NER实战之基于bert（二）

1，CRF

2,代码篇

预测阶段

3 Bert-Bilstm-CRF

猜你喜欢

热点阅读