学习LLM（九）- ChatGLM

现在ChatGLM已经开源了ChatGLM3.

官方github地址

部署环境：
操作系统：Window
Python: 3.10.8
GPU:RTX 4090

尝试了下本地搭建了一个本地模型。

配置图

不过在部署的时候torch库挺高的，和gpu的版本还有toolkit版本需要高度对应。
不然就会报torch.cuda.is_avaliable 为False的错误。

这个时候我们需要到Torch官网去下载对应的GPU驱动。

但是这里这里我还需要先获取下本地的gpu驱动程序信息
首先我们从终端里输入

nvidia-smi

显卡驱动信息

然后从NVIDIA-SMI看到驱动的版本号385.54，然后从下面这张图中查看对应的CUDA软件版本。

CUDA版本对照1
CUDA版本对照2

比如这里驱动的版本号是500那对应的软件版本是CUDA 11.6 GA，就需要查看老版本对应的软件版本的下载指令。
首先卸载torch然后重新安装。

pip uninstall torch
pip install torch==1.13.0+cu116 torchvision==0.14.0+cu116 torchaudio==0.13.0 --extra-index-url https://download.pytorch.org/whl/cu116

这里建议不要用conda安装，conda每次安装都会安装cpu版本，被坑了好几次，用pip安装就没问题。解决了这个问题之后基本就能顺利部署chatGLM3到本地了。当然用官方的github跑出来前端ui代码各种问题，我懒得去看，直接从命令行运行是没有问题的。

image.png

补充下chatGLM3支持工具链调用，在prompt上做了一些规范，最好阅读一下prompt指导文件。