一文学会基于Ollama的AI大模型本地部署
2024-09-19 本文已影响0人
sknfie
概述
Ollama：一个在本地部署、运行大型语言模型的工具
下载
打开下面的网址，复制地址
https://ollama.com/download/linux
curl -fsSL https://ollama.com/install.sh | sh
查看并下载模型
https://ollama.com/library
https://ollama.com/library/llama2
ollama run llama2
安装并启动autogenstudio
https://microsoft.github.io/autogen/blog/2023/12/01/AutoGenStudio/
pip install autogenstudio
export OPENAI_API_KEY=12jdfsadfehhc23kkzd
autogenstudio ui --port 8081 --host 0.0.0.0
打开网址：http://192.168.1.10:8081/
autogenstudio
安装litellm
pip install litellm
litellm --model ollama/llama2
创建model
model
