离线环境用docker部署Chinese-LLaMA-Alpac

由于机器在客户环境，不能联外网，需要自己准备各种文件拷贝上传，比开放网络要更麻烦一些，记录下过程。

机器：

8卡A100（40GB）单机

docker和nivida-docker

驱动离线安装

模型：

LLaMA：（如过期加wx联系）

链接:https://pan.baidu.com/s/1wJvMgl8Xkp-I0GfCJi_dDQ?pwd=c7qd 提取码:c7qd 复制这段内容后打开百度网盘手机App，操作更方便哦

1. 模型权重准备

将llama和cn_alpaca和cn_llama的权重拷贝到离线A100机器上

llama权重

/data/models/llama/

• tokenizer.model # tokenizer文件

cn_alpaca权重

/data/models/llama/cn_alpaca/33B

• adapter_config.json # LoRA权重配置文件
• adapter_model.bin # LoRA权重文件
• special_tokens_map.json # special_tokens_map文件
• tokenizer_config.json # tokenizer配置文件
• tokenizer.model # tokenizer文件

check sha256

2. 环境准备

制作镜像，下载镜像，拷贝到A100服务器，恢复镜像

git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca
vi requirements.txt

    torch==1.13.1
    peft==0.3.0
    transformers==4.28.1
    sentencepiece==0.1.97
    protobuf==3.19.0
    cpm_kernels
    gradio
    mdtex2html
    accelerate
    sentencepiece==0.1.97
    numpy==1.24.3
    pyzmq==18.1.1

vi Dockerfile

    FROM cuda_python:3.9.13-gpu
    LABEL org.opencontainers.image.authors="lisiyu@haizhi.com"
    
    WORKDIR /app
    
    COPY requirements.txt .
    
    RUN pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple && \
        pip install --no-cache-dir -r requirements.txt
    
    COPY . .

docker build -t haizhi/llama:cn_llama_alpaca .
docker images
docker save e78657ebfd4f > /data/lsy/cn_llama_alpaca.tar

docker load < cn_llama_alpaca.tar
docker images
docker tag a586dxxxxx haizhi/llama:cn_llama_alpaca
docker images

3. 微调训练

依赖安装docker和nivida-docker

nvidia-docker run --name llama33b --ipc=host --ulimit memlock=-1 --ulimit stack=67108864 \
    --rm -it \
    -v /data/models/llama:/app/original-weights \
    --security-opt seccomp=unconfined \
    haizhi/llama:cn_llama_alpaca bash

测试

echo "import torch" > test.py
echo "print(torch.cuda.is_available())" >> test.py
python3 test.py
    True

转换模型格式（7分钟）

python3 transformers/src/tranformers/models/llama/convert_llama_weights_to_hf.py --input_dir /app/original-weights --model_size 30B --output_dir /app/original-weights/30B_hf

LoRA权重合并(15分钟)

python3 scripts/merge_llama_with_chinese_lora.py --base_model original-weights/30B_hf --lora_model original-weights/cn_alpaca/33B --output_type huggingface --output_dir original/cn_llama_alpaca/33B

大概33B的模型合并共占用11GB gpu，下图中另外的计算任务是65B的训练

测试

python3 scripts/inference/inference_hf.py --base_model original-weights/cn_llama_alpaca/7B --with_prompt --interactive --gpus 4,5,6,7

推理：A100 x 8卡的机器，启动推理+gradio，33B的llama fp16精度占用了77GB显存

量化推理：33B的int8占用了37GB显存

问题

torch.cuda.OutOfMemoryError: CUDA out of memory.

因为0卡gpu内存不够了，改为7卡。