阿里云上部署ChatGLM3-6B

1、环境说明

• 8v-32G-V100-16G
• linux - Centos

2、按装conda

• 创建文件目录

  mkdir -p ~/miniconda3
  

• 拉取镜像

  wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh -O ~/miniconda3/miniconda.sh
  

• 启动脚本安装

  bash ~/miniconda3/miniconda.sh -b -u -p ~/miniconda3
  

• 删除脚本

  rm -rf ~/miniconda3/miniconda.sh
  

• 安装后，初始化新安装的 Miniconda。以下命令针对 bash 和 zsh shell 进行初始化：

  ~/miniconda3/bin/conda init bash
  ~/miniconda3/bin/conda init zsh
  

• 设置conda镜像源

  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/
  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/bioconda/
  conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
  conda config  --set show_channel_urls yes
  

• 官网地址

  https://docs.conda.io/projects/miniconda/en/latest/
  

3、下载项目

• 克隆项目，并进入项目目录

  git clone https://github.com/THUDM/ChatGLM3.git
  cd ChatGLM3
  

4、使用conda创建虚拟环境

• 创建python3.10的虚拟环境

  conda create -n chatglm3 python=3.10
  

• 激活虚拟环境

  conda activate chatglm3
  

5、下载模型

• 安装git-lfs

  git lfs install
  

• 下载模型

  cd ChatGLM3
  git clone https://www.modelscope.cn/ZhipuAI/chatglm3-6b.git
  

6、安装依赖

• 激活虚拟环境，安装依赖

  cd ChatGLM3 
  pip install -r requirements.txt
  

6、模型地址修改为本地模型路径

• MODEL_PATH都要修改

  MODEL_PATH = os.environ.get('MODEL_PATH', '/data/ChatGLM3/chatglm3-6b')
  

7、启动

• 使用本地模型加载并使用命令行来问答

  python cli_demo.py
  

• 使用本地模型加载并使用web_demo来问答

  python web_demo.py
  

• 通过以下命令启动基于 Gradio 的网页版 demo

  python web_demo.py
  

• 通过以下命令启动基于 Streamlit 的网页版 demo，与Gradio相同，但是更加流畅

  streamlit run web_demo2.py
  

• OpenAI 格式的流式 API 部署

  cd openai_api_demo
  python openai_api.py
  

8、接入 One API

• 为 chatglm2 添加一个渠道，参数如下

  
  image.png

9、接入 FastGPT

• 修改 config.json 配置文件，在 ChatModels 中加入 chatglm2 模型

image.png

10、测试使用

• chatglm3 模型的使用方法如下：

• 模型选择 chatglm3 即可