基于Attention机制的上下文分类算法在问答系统中的应用

文本分类是自然语言处理中的基础算法，在对话系统的应用中，可利用文本分类算法来判断用户的咨询意图。然而单个问题并不能很好捕获用户的意图，通常需要结合用户上文的咨询结合当句才能更好的判断用户的意图。这里就需要我们建立一个基于上下文的分类模型来结合上文信息判断用户的最终意图。这里常用的方式大概分为两个方式：

        1）非end-2-end建模：首先抽取上文的主题、意图或者关键词，然后结合当前问题建模。

        2）end-2-end建模：通过时序模型，直接抽取上文信息结合当前问题建立模型。

本文主要参考《Hierarchical Attention Networks for Document Classification》，该论文介绍了Attention机制在英文文本分类中的应用。文章采用document级分类，即document由sentence组成，而sentence由word组成，因此天然的具有层级关系。以word为粒度输入网络抽取word级特征得到表示sentence的特征向量；然后将sentence级向量输入网络抽取sentence级特征得到最终的document级特征，然后将document特征通过一个线性表示和softmax。为了给与不同的word和不同的sentence分配不同的权重，论文设计一个层级架构的attention机制用于提升模型的性能。本文设计上下文模型的时候稍作修改，将一个会话中的单句作为第一层输入，然后将第一层各个单句抽取的特征作为第二层会话级的输入，获得最终的会话级特征输出。Attention机制最近火的不要不要，被广泛应用在nlp和图像处理中。这里同样在第一层特征抽取之后，设计了一个Attention层，用于更加精确的抽取句子的特征。但是在会话层特征抽取之后，并没有再设计同样的Attention了，因为在对话系统中，和当前句子越接近句子的重要性越高，因此这里我们之后抽取时序模型的最后输出作为最终的特征。整体算法的设计图如下：

H-LSTM-LSTM算法

LSTM网络在处理中文时，其准确率和速度都要差于CNN网络，因此这里对论文的网络结构进行调整，将第一层的LSTM网络替换为CNN网络。论文中在一层和第二层都加入了Attention机制，但是实验时发现第一层加入Attention效果没有提升，因此Attention只在第二层中使用。整个网络在融合CNN和LSTM之后，整个网络结构已经非常复杂了，而GRU是LSTM的简化版，GRU在语料较少时效果更加，因此这里采用GRU替换第二层网络的LSTM，即有最终的模型H-CNN-GRU网络：

H-CNN-GRU算法

实验步骤

1：本次实验采用单句问题和对应的标签作为输入。实验之前首先对问题按字切词，然后采用word2vec对问题进行预训练（这里采用按字切词的方式避免的切词的麻烦，并且同样能获得较高的准确率）。

2：由于本次实验采用固定长度的GRU/LSTM，因此需要对问题和答案进行截断（过长）或补充（过短）。

3：实验建模Input。本次实验单句问题和标签进行建模（q，l），q代表问题，l代表标签。

4：将问题进行Embedding（batch_size*session_len, sentence_len, embedding_size）表示。

5：对一个batch中所有会话包含的问题采用GRU/LSTM模型计算特征。

      1）：这里第一层针对单句问题的特征抽取采用固定长度的句子，尝试过采用双向动态rnn，并没有很好的效果提升，并且相对计算速度慢点。

6：GRU/LSTM模型输出向量为（batch_size, seq_len，rnn_size），因此需要对输出特征向量进行特征抽取。常用的特征抽取方式为取模型最后一步的输出为下一层的特征，但是该特征抽取方式只取了最后一步的特征，丢弃了其他的特征信息，所以本次实验采用Attention机制计算每一步特征的权值，然后进行加权平均。

7：将第一层单句级的特征输出作为第二层会话级encoder的输入。

      1）：这里采用动态rnn进行特征抽取，因为每一个session所包含的问题不是固定的。

      2）：这里没有用双向的rnn而是采用单向的rnn，并且没有外加attention、avg_pool或者max_pool，因为越靠近当前句子理应越为重要。

7：对模型输出的特征进行线性变换。

8：针对多类文本分类，需要将线性变换的输出通过softmax。

参数设置

1:、这里优化函数采用论文中使用的Adam（尝试过SGD，学习速率0.1，效果不佳）。

2、学习速率为2e-4。

3:、训练60轮。

4、embedding_size为150维。

5、attention为100维。

6、batch_size这里采用128。

7、问题长度限制为60字。

8、rnn_size为201。

9、本次算法每一级特征抽取都只采用了单层，由于计算耗时，没有尝试不同级多级的方式。

10、dropout为0.5（在输入和输出时均执行dropout，单次dropout实验时效果不佳）

注：从线上数据的分析结果来看，采用H-CNN-GRU算法在处理上下文场景时能取得不错的效果。

如果有任何疑问，欢迎留言或发送到我的邮箱lirainbow0@163.com