AliMe Chat: A Sequence to Sequen

2017-12-21  本文已影响0人  小绿叶mj
总体框架
  1. 对于输入Q,从QA库中检索出最接近的k个(q,a)对,其中检索模型(IR)基于BM25,并经过了去停用词等预处理
  2. 对每个候选的(Q,a)对进行评分,其中评分模型(Answer Rerank)采用预训练的seq2seq(与2中相同)计算字符串出现的平均概率:


  3. 如果2中得到的最高评分大于阈值T,最直接输出得到最高评分的候选答案a;否则,从4的模型中生成答案
  4. 生成模型基于采用带attention的seq2seq,论文中采用的cell是GRU,并强调了自己采用了bucketing、padding、sampled softmax、beam search(top10) decoder(赤裸裸的灌水。。。)

seq2seq模型如图,h、s分别是encoder和decoder的状态,encoder之后叠加了attention机制,很基本的模型,严重怀疑训练样本的质量太高堆砌出了这样一篇大水文。。。

上一篇 下一篇

猜你喜欢

热点阅读