如何设置ollama使用GPU并提高GPU使用率，不让你的CPU

时隔4年重新回到技术岗位，让我身心倍感轻松很喜欢很享受

在看这个文章之前先看下这个表，看看自己显卡是否支持然后再看后续文章

显卡支持表

查看本机显卡参数

我的就是2020年买的笔记本，还是2060的卡基本计算能力在7.5左右所以还是可以再站几年的

输入命令 nvidia-smi

image.png

第一步 安装cuda toolkit 点击此链接打开网站

安装 CUDA Toolkit.png

下载相关文件，请记住流程安装选local而非network 具体请问网上更多大模型会描述的很清楚为什么选local

image.png

安装完后验证是否安装成功

打开cmd 输入 nvcc --version 显示版本号表示下载成功

image.png

到此安装部分全部结束，再次使用cmd命令查看 nvidia-smi 就会发现cuda version也做了更改

image.png

设置ollama 环境变量

到这里还没有安装ollama，去自行安装ollama傻瓜式安装即可

现在就可以设置ollama使用deepseek r1模型跑在gpu上了，就不会出现ppt一样回答问题的情况了
昨天我跑了一次，同一个问题 gpu运行时间11s，cpu运行时间3分钟

第一步打开系统变量，无法新增编辑就已管理员身份运行即可

image.png

• 添加以下环境变量：
  • 变量名：OLLAMA_GPU_LAYER
  • 变量值：cuda
• 指定特定的 GPU，可以添加以下环境变量：
  • 变量名：CUDA_VISIBLE_DEVICES

  • 变量值：GPU的UUID（按编号有时找不到，所以使用UUID，下文提到了本机gpu查UUID的命令）

    
    image.png

GPU的UUID查看方法 继续用命令行输入 nvidia-smi -L
所以我的UUID是GPU-e9b399f2-060c-39e6-9265-fa44cf37d240

image.png

把你的UUID输入进去

到此环境变量设置都完成了

验证是否使用gpu

• 先运行你的大模型(我用的是deepseek r1:8b)

ds运行

• 然后再起一个命令行 输入 ollama ps 就可以看到 processor里面有cpu与gpu运行百分比

输入命令

后续 可以查看日志文件查看大模型的运行情况

• 打开ollama的server.log 将内容粘贴近大模型直接会帮你总结

这是我之前运行的log

• 观察的内容里体现了 ollama在cpu还是gpu上运行，当时花费了我将近4G的CPU 所以很卡(虽然我是16G内存这周末就去扩内存)

• 最后打开任务管理器查看你的性能 GPU CPU使用率 就可以直观的感受到GPU运算跟CPU运算的差别。到这一步算是彻底结束了

任务管理器

• 最后感谢所有GitHub的大佬提供的各种解决方法 我也只是拿来测试了一下没想到真的可行
• 想学习的小伙伴请擦亮双眼 卖课的卖课件的人比较多 鱼龙混杂 我们得有辨别的能力，推荐上github上搜索真正有用的信息 不然天天处理垃圾信息太浪费时间