Chatbot应用训练

Chatbot训练是通过不断训练、验证和调优，让Chatbot应用达到最优的一个过程。

• 不断地训练和验证找到的Chatbot应用参数的最优解。
• 最优解具有最好的拟合和泛化能力，也是Chatbot应用训练的核心目标。

Chatbot训练步骤

1. 语料收集，搭建知识库体系

2. 语料预处理

• 第一步：为了易于区分和管理，我们需要将收集的语料进行体系归类，并制定命名规则。

• 第二步：阅读各个语料文档，做相关整理
  需要注意的是，目前大模型的理解能力识别的都是文字，并不能识别word文档的目录、排版等格式。知识库中涉及这一点，则一定要对文档进行对应的优化，否则可能会出现答案遗漏或混乱等问题。（这地方雷不少）

• 第三步：部分语料文档可能会涉及到分解到多个文档的情况（具体视情况而定）

• 第四步：补充一下基本概念类的语料（常识性问题，但语料库中没有的）

3. 设置Chatbot应用提示词

• 创建好Chatbot应用后，需要设置提示词，根据Chatbot应用的角色初步撰写提示词

4. 意图训练及验证

1）结合知识库调示提示词，达到提示词的“最优解”
2）根据训练情况，再次对语料进行预处理优化（调优语料库）
3）再次验证，对提示词进行调优（实现语料库、提示词的最优解）

5.Chatbot应用的回答训练设置及验证
1）知识库中没有的问题不回答（提示语可设置）

2. 优先基于知识库中的内容，如果知识库中没有相关信息，则基于通用功能回答（提示语可设置）
   这两个设置，思考及调试了好久，终于弄出提示词了，如果想知道，接着看下文。

• 知识库中没有的问题不回答
  前面加上提示语：