迁移学习在问答系统中的应用

2018-10-27  本文已影响0人  向精英学习

1.问答背景

样本: (Q, P, y) :(问答,答案,标签)

目标:匹配最佳的问题和答案

图1 基于记忆网络的问答系统

2.深度迁移学习技术

图2 深度迁移学习(迁移某些层)

3.TL在QA中的应用

把样本 (Q, P, y) 投射为词嵌入,训练模型,微调(fine-tune)模型,迁移某些层。

图3 某论文中TL在QA中的做法

4.目前TL在QA中的应用的一般方法

目前的TL在QA中的应用一般是在一个较大的问答数据集(源域),如SQuAQ,上预训练好,然后保留前边的层参数,使用较小的做另一个领域的问答数据集(目标域),如TOEFL,继续微调剩下的层或微调整个网络。其中,目前迁移学习与问答系统的论文之所以能发表,就是替换了以下3大模块中的一块,在某个数据集上获得了比较好的效果。

图4 问答系统的一般由3个模块组成( 问题分析模块,知识检搜模块,答案生成模块)
上一篇下一篇

猜你喜欢

热点阅读