千帆知识库——即百度插件应用
2023-11-17 本文已影响0人
梅西爱骑车
视频教程:https://cloud.baidu.com/video-center/video/773
百度智能云千帆大模型知识库是一款专门面向大语言模型知识问答场景,旨在管理客户上传的知识并提供快速查询检索功能的产品。基于百度Elasticsearch,用户能够以高效的方式存储和检索大量的知识库文档,实现快速管理企业私域知识,构建知识问答应用。
在数据规模不断增长、算力日益珍贵的现状下,知识库可作为大模型的「超级大脑」,打一份小抄,相对较低的成本补充动态知识,满足用户不断增长的需求。
知识库在千帆大模型平台的定位
知识库作为大语言模型工具链的一环,用来保存企业私有数据,以解决数据隐私、时效性等问题。
定位
创建知识库
在知识库界面,选择“创建知识库”按钮。按照以下步骤逐项操作,即可完成知识库的创建。 配置信息索引配置:
引用知识库
本平台支持在插件应用的配置中,进行引用。相关操作可查看配置对话场景类应用的知识库或者生成场景类应用的知识库的相关操作。
- 指定知识库回答问题:插件关联知识库后,如果使用“/”指定知识库,将会根据用户问题去知识库中检索相关段落,召回后让大模型去总结答案。
- 不指定知识库回答问题:插件关联知识库后,如果没有用“/”指定知识库,会先根据知识库描述以及问题意图识别判断是否需要使用知识库回答问题,如果不使用知识库,则直接使用EB回答问题;插件判断是否需要使用知识库的凭据是 知识库的描述信息,建议使用中文,尽可能全面的描述文档内容。
创建插件应用服务
您需要在插件编排界面,选择“配置插件应用”按钮。
首先需要您选择插件服务的场景类型:
- 对话类场景:构建一个对话场景的应用,采用持续对话交流;
填写名称和描述:
关联知识库:
测试效果: 很强大
调整温度值查看测试效果,分别为0.95和0.18情况对比:
温度值0.95情况
温度为0.18
如果返回的结果不理想可以进行命中测试,选择某个知识库-->3个点-->命中测试:
命中测试菜单
输入问题后,不断调整置信度值,来看返回的置信度和条数。
置信度
当达到效果后,重新进入“插件编排”的知识库设置页面,调整置信度和返回条数。
参数调整
如果还不理想,可以看右侧调试页面的第三步“LLM”的prompt的检索结果,如果返回的结果不全是段落不对,新建知识库,使用手动分段来调整知识库。
prompt的检索结果段落检查
最后可以调整prompt提示词进行优化。 若想上线该服务,点击“上线”按钮。
在详情页面可以看到服务地址。
新建应用来接入该服务:
API调用插件服务:
https://cloud.baidu.com/doc/WENXINWORKSHOP/s/Blmygz6t6
# 步骤一,获取access_token,替换下列示例中的API Key与Secret Key
curl 'https://aip.baidubce.com/oauth/2.0/token?grant_type=client_credentials&client_id=[API Key]&client_secret=[Secret Key]'
# 步骤二,调用本文API,使用步骤一获取的access_token,替换下列示例中的“调用接口获取的access_token”
curl 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/plugin/[服务后缀名称]/?access_token=[步骤一调用接口获取的access_token]'
--data '{"query": "郭鸾多大开始跳舞?","plugins":["uuid-zhishiku"],"verbose":true}'
-H 'Content-Type: application/json'
注意plugins的插件id是list可以写多个,知识库的id值为上文内容“uuid-zhishiku”
,无需改动。一开始我以为要替换,找了好久没找到。
在Linux服务器上通过API调用结果:
调用多个插件情况(再调用天气插件uuid-weatherforecast):
curl 'https://aip.baidubce.com/rpc/2.0/ai_custom/v1/wenxinworkshop/plugin/fq4cdyfyuxcynusv/?access_token=24.19b32c7cc76b1e85cf7d8bcc84268cc2.2592000.1702873215.282***-43210888' --data '{"query": "武清多少度?","plugins":["uuid-zhishiku","uuid-weatherforecast"],"verbose":true}' -H 'Content-Type: application/json'
返回:
response":{"now_weather":"当前天气:晴,气温15℃,西北风5级,空气质量良,空气质量指数57,湿度21.0%,气压1020.2hPa。\n体感温度:13℃,风较大,体感更凉。\n紫外线强,未来将持续偏强。\nTips:可以正常在户外活动,易敏感人群应减少外出。
这样我们的自有系统就可以通过API对接预置的自己的知识的大模型应用,实现自有系统与文心一言大语言模型的整合。
SDK方式调用见:另一篇文章 :https://www.jianshu.com/p/d4ebbbe6e210。