程序员

免费+数据安全!手把手教你在PC跑DeepSeek-R1大模型,

2025-02-06  本文已影响0人  JavaEdge

0 为啥本地部署?

在本地运行 AI 模型具有以下优势:

1 使用Ollama

1.1 下载并运行应用程序

直达官网

1.2 选择你的平台

MacOS、windows

直接下载,找到对应操作系统的软件到本地:

点击安装即可:

1.3 命令行下载指定模型

如:

ollama pull deepseek-r1:8b

系统会自动下载。 下载速度,看网速,我的网速不好,等了20分钟左右。 完成下载后,模型即可运行。

官网支持的模型

LiveCodeBench评分,DeepSeek V3得分42.2,蒸馏模型Qwen 14B得分53.1,具有相当的性能,而且尺寸相对来说属于桌面级能跑,推荐用14B:

1.4 运行

浏览器

2 可视化软件

如Chatbox/cherry studio等工具,设置简单,内置功能丰富,与本地模型集成,免费畅享各种大模型且注重数据安全。

2.1 下载 Chatbox

官网

安装完成后,打开左下角设置:

开始激聊:

img

PC软件连接本地大模型成功,后续即可根据自己需求训练DeepSeek,将DeepSeek训练成自己的私有专家。

2.2 遗留问题

现成 GUI 软件虽好,也不是菩萨,只是给你最基本聊天功能,想使用更高级的多模态功能,依旧需要付费,因此最终大招还是自己开发。

图片识别受限:

联网搜索受限:

3 本地大模型调用

本地部署完了,来看咋调用?

from langchain_community.llms import Ollama

llm = Ollama(model="qwen2:0.5b")
llm.invoke(input="你是谁?")

使用流式

#使用流式
from langchain.callbacks.manager import CallbackManager
from langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler

llm = Ollama(
    model="qwen2:0.5b", callback_manager=CallbackManager([StreamingStdOutCallbackHandler()])
)
llm.invoke(input="第一个登上月球的人是谁?")

本文已收录在Github关注我,紧跟本系列专栏文章,咱们下篇再续!

本文由博客一文多发平台 OpenWrite 发布!

上一篇 下一篇

猜你喜欢

热点阅读