AI产品经理基础（五）-NLP领军模型BERT

什么是BERT

BERT是谷歌最新提出的语言模型，在处理NLP的各项任务上，这个通用模型基本完爆所有模型。可以说是未来NLP的领军人物了。这个是谷歌在超大规模的语料上训练出的，完全可以作为预训练接入自己的任务中提高自身业务效果。

BERT的模型结构

在BERT之前，通常我们处理NLP时用到的是RNN、LSTM以及注意力机制、CNN等。但是这些模型在设计本身会有无法并行计算的问题（RNN是按照序列处理的，计算会有顺序无法并行计算），以及在长文本上表现不那么好的问题；

而BERT的模型建立在自注意力机制上，序列上的考虑没有像RNN那样。这样的设计使得BERT对上下文的理解更为深刻，下图为自注意力机制的原理；

自注意力模型

1、输入语言序列【X1,X2,X3,X4】，通过某种线性变换，每个输入X会有三个向量【q、k、v】，可以理解为把输入X复制了三份
2、这时我们可以通过q与k通过某种复杂的计算求得不同输入之间的关系a，a其实就是注意力的权重，关系越强，权重越高
3、将a与v相乘即某个输入对另一个输入的注意力，将这些注意力加起来即b。上图所述b1是输入X1通过注意力处理后得到的输出，这个b1此时会带有上下文的信息，是对x注意力加权求和的结果
4、将同样的方式应用在各个输入x上最终会得到输出矩阵b

上图就是一个自注意力模型的过程，很明显在空间设计上输入与输入之间距离都一样的，这样的注意力处理方式表现会更好。另外上图是一个注意力模型，在BERT实际运用中用到的是8个这样的模型并联，最终的8个输出b拼接为一个向量Z作为接下来的输入处理。这就是多头注意力模型。各个头的注意力聚焦可能会不同，有的聚焦附近有的聚焦长距离，各司其职；

最后，语言本身还是有序列的，所以在自注意力模型中还是会有序列的刻画，通常在a上加一个位置向量来表征输入X的序列

序列刻画

以自注意力模型为基础，通过归一化以及多层NN网络处理后得到的Z就是我们对输入X的编码（语义映射）。将这样的BERT模型作为输入的预处理并且插入任务网络中就会获得当前最好的模型效果~~

BERT

BERT训练

BERT是通过大规模语料无监督训练的，主要通过下面两种方式
1、遮住语料中的部分词（mask就是被遮住的部分），通过bert处理后，输入X【MASK】的输出就是BERT语言模型对这个位置词语的预测编码，编码通过一个简单的分类模型得到该词的原始编码。训练目标就是让预测逼近实际语料。

猜字训练

2、通过连续的语句训练：从语料中抽出相连的句子或者不相连的句子，然后输出一个分类 yes or no；从而习得语言规律
（SEP：分隔句子 CLS：输出位置为分类）

上下句训练

BERT 的应用例子

分类问题

应用在情感分类或者文章分类上； 因为分类问题比较成熟，所以bert的提高不会很显著

分类

Chatbot 中的意图分类以及槽填充 多轮对话

1、可以通过bert做意图分类以及每个词的序列标注（槽位识别），两个分类问题可以一同解决，效果会略好与其他模型
2、由于多轮对话中会涉及长距离的语义理解，比如一些代词，BERT在这方面的改善可能会比较大；

意图识别与序列标注

自然语言推理

输入两个句子-问句与回答，输出对回答的判断是正确、错误还是不清楚

NLP推理

信息检索、搜索、QA

Q（问题） d（文章）喂给bert，将文章的编码向量点乘橘色向量与蓝色向量（起始与终止向量、也是通过训练学习的），经过softmax层分别得到开始s与结束e的位置数字；

Bert在搜索与阅读理解的处理上会比以往的方式更优异，更多在一种长距离的语义理解上；这样的特性使得对模型对1篇文章、一段对话会有深刻的理解而不是词语上的匹配，从而性能大幅度提高

阅读理解

BERT具体在做什么？

之前CNN模型我们能看到不同层对特征的抽取，在bert中其实也有这样的过程

我们之前处理NLP的过程可能包含：词法、句法分析、语义分析等低维特征到高维特征的多个过程
而bert整个网络可能就包含这些处理过程：浅层的bert可能在处理的是词性标注等一些低层次的特征，而更深的层可能在处理一些语义上的特征。这可能侧面说明bert为啥在多个NLP任务中作为通用模型使用的原因

BERT不同层的倾向

说了这么多，其实就是要明白NLP出现了一个里程碑式的通用模型，用它就推动了产业界一个整体的进步！对于大多数公司来讲可能没有能力训练这种规模的网络，但是受益于开源文化，训练好的模型下载来作为预训练的模型嵌入我们的业务模型中。未来的人工智能产业会更倾向于这种方式，底层的模型就应该像电一样使用，创新点立足于业务本身