一些智能问答方案
2021-07-11 本文已影响0人
reco171
- 索引库(FAISS)+知识库(DB)搭建智能客服系统
博客[1]基于索引库(FAISS)+知识库(DB)搭建了智能客服系统。通过将图片、文本等通过某种方式进行向量化表示（word2vec、doc2vec、elmo、bert等），然后把这种特征向量进行索引（faiss/Milus) ,最终实现在线服务系统的检索，然后再通过一定的规则进行过滤，获取最终的数据内容。 - 利用bert和faiss实现基于向量的深层语义相似文本召回
基于信息检索的自动问答系统将整个流程简化为粗召回和精排序。
一般借助 elstiscsearch 这个数据库来存储 FAQ，然后再进行索引召回。elstiscsearch使用的其实就是倒排索引技术，它事先把所有 question 进行分词，然后建立词-文档 矩阵，最终实现根据单词快速获取包含这个单词的文档列表之目的。
使用该方法做相似文档召回的优势很明显，实现简单、不需要训练模型、低资源需求、检索速度快，深受各大小公司喜爱。然而它的缺点也很明显，文本是具有语义的、是有语法结构的，倒排索引忽略了语句的语法结构，同时也无法解决一词多义和同义词的问题，也就它无法对 query 进行语义层面的召回。 - 智能问答QA
问题改写(question rewriting)任务旨在为输入问题生成语义相同但表述方法不用的复述形式。该任务属于nlp中的复述生成任务。
问题改写对社区问答任务具有很好的辅助作用，社区问答知识库中每个已有问题都可以匹配多种不同的用户提问方式，对于和已有问题差别比较大的问法，在线问题匹配模型匹配成功的难度通常比较大，此时可以采用离线的方式对问答知识库中已有的问题进行改写，以达到拓展问题知识库的目的。问题改写一般分基于统计的方法和基于深度学习的方法。 - 智能问答机器人
https://developer.aliyun.com/article/65188
阿里云开发者社区博客<智能问答机器人>，介绍了智能问答系统结构、算法和数据接入，划分为离线的知识挖掘部分和在线的智能问答机器人部分，问答技术包括语义分析、知识提取和回答生成。
5.智能问答系统产品设计详解之问答型机器人搭建
设计了智能问答产品功能，介绍了智能问答关键技术与流程。
6.AI实战：垂直领域问答机器人QA Bot常见技术架构
提出了智能问答检索+匹配+排序架构的技术架构； - 介绍一些知识图谱的实际应用类项目
介绍了开源的医疗保险领域知识图谱、农业知识图谱(AgriKG)等 - 参考：
[1]自然语言处理（NLP）：24BERT+FAISS快速搭建智能客服系统
[2]基于向量的深层语义相似文本召回？你需要bert和faiss
[3]智能问答QA(内附项目实例)(待补充)
[4]智能问答机器人
[5]. 智能问答系统产品设计详解之问答型机器人搭建
[6]. AI实战：垂直领域问答机器人QA Bot常见技术架构
[7]介绍一些知识图谱的实际应用类项目
