本地大模型联网搜索-openwebui使用searxng踩坑集锦

2024-08-17  本文已影响0人  黑魔术师

核心参考文档

openwebui的官方文档
https://docs.openwebui.com/tutorial/web_search/

踩坑列表

  1. 本机8080端口占用(nginx)
    这个最简单,我把外部端口占用改为了8081,docker启动时命令是 8081:8080。这里后边的端口是docker内部占用端口默认是不能修改的。
  2. 按照说明配置localhost:8081后报错 HTTPConnectionPool(host='localhost', port=8081): Max retries exceeded
    这里的核心原因是宿主机的8081端口,docker内部默认是无法访问的。先尝试改docker网络模式为host,发现起不来,然后把host改为 host.docker.internal 即可通过docker原生能力访问宿主机端口
  3. 报错变为了403 Client Error: FORBIDDEN for url: http://host.docker.internal:8081/search
    这里主要是在启动searxng时,我偷懒直接用了最下方的docker命令一键启动了searxng,导致默认不支持json格式返回值。按照文档修改配置文件后,重新启动searxng即可。

本次事件用的ollama运行的llama3.1-8B(32g m1 macbook),简单测试下来效果比较一般,还不如豆包的效果好,速度慢,正确率低(仔细查看网络搜索都有问题答案,回答还是错误的),仅适合有本地化强诉求的同学来用。

近期看一篇文档,通过CoT的模式,只要循环调用小模型也可以提升效果,后续尝试找一些CoT的框架来做一些自娱自乐的小测试。

上一篇 下一篇

猜你喜欢

热点阅读