718.【AI 大模型】离线运行ChatGLM2-6B（清华大模

一、捣腾开始

1. clone项目

git clone https://github.com/THUDM/ChatGLM2-6B
cd ChatGLM2-6B

2. 配置python环境

pipenv install

# 安装客户端依赖
pip install streamlit streamlit-chat

如果最后启动时，报cuda的错，请看文末的拓展并看情况执行下面的命令：

# 移除原始的pytorch 依赖 
pip3 uninstall torch torchvision torchaudio
# 下载最新的pytorch 依赖 
pip3 install --pre torch torchvision torchaudio --index-url https://download.pytorch.org/whl/nightly/cu121

3. 下载离线模型

git clone https://huggingface.co/THUDM/chatglm2-6b

4. 修改代码
   将以上代码中的 THUDM/chatglm2-6b 替换为本地的 chatglm2-6b 文件夹的路径，即可从本地加载模型。

# 修改前
model = AutoModel.from_pretrained("THUDM/chatglm2-6b", trust_remote_code=True,revision="v1.0").quantize(8).cuda()
# 修改后
model = AutoModel.from_pretrained("F:\\workspace_ai\\models\\chatglm2-6b", trust_remote_code=True,revision="v1.0").quantize(8).cuda()

5. 执行 streamlit run web_demo2.py 启动清华大模型
   报错如下：
   
   无需理会，这里是因为代码想在线加载模型，但咱们已经把模型下载到本地了，所以不用管它。可以看到界面已经能访问了：
   
   打个招呼吧（可以看到网络是断开的，但终端显示正在加载模型，目前一切正常）：
   
   AI给了回复：
   

• 可以看到，模型加载没有问题，AI也给了回复。

咱们离线运行 ChatGLM2-6B 的目标已经完成！

拓展

1. 执行（nvidia-smi）查看自己电脑的cuda版本

   
   

2. 查看最新的pytorch安装方法
   进入链接：PyTorch