笔记本电脑上部署LLaMA-2中文模型

尝试在macbook上部署LLaMA-2的中文模型的详细过程。

（1）环境准备

MacBook Pro(M2 Max/32G);

VMware Fusion Player 版本 13.5.1 (23298085);

Ubuntu 22.04.2 LTS;

给linux虚拟机分配8*core CPU 16G RAM。

我这里用的是16bit的量化模型，至少需要13G内存，如果4bit的只需要3.8G内存，当然上述不包含系统本身需要的内存。

（2）环境依赖

sudo apt update
sudo apt-get install gcc g++ python3 python3-pip
python3 -m pip install torch numpy sentencepiece

（3）拉取llama.cpp工具并进行构建

在目录/home/zhangzk下：

git clone https://github.com/ggerganov/llama.cpp.git

#安装依赖,llama.cpp 项目下带有 requirements.txt 文件

pip install -r requirements.txt

#构建llama.cpp

cd llama.cpp/
make -j8

（4）下载LLAMA2中文模型

下载LLama2的中文模型：GitHub - ymcui/Chinese-LLaMA-Alpaca-2: 中文LLaMA-2 & Alpaca-2大模型二期项目 + 64K超长上下文模型 (Chinese LLaMA-2 & Alpaca-2 LLMs with 64K long context models)

这里下载 Chinese-Alpace-2-7B的指令模型，模型文件12.9G。

百度网盘那叫一个慢啊，没有会员能让你等死，还是梯子和GOOGLE网盘配合才叫一个快啊，几分钟的事。

把模型文件（共9个文件）都下载到 /home/zhangzk/llama.cpp/models/chinese-alpaca-2-7b-hf目录下。

（5）量化模型

在目录llama.cpp下执行：

#转换模型
python3 convert.py ./models/chinese-alpaca-2-7b-hf/#16位量化
./quantize ./models/chinese-alpaca-2-7b-hf/ggml-model-f16.gguf ./models/chinese_7b_f16.gguf f16

上述两步执行完会生成新文件llama.cpp/models/chinese_7b_f16.gguf

(6)启动模型

把Chinese-LLaMA-Alpaca-2/scripts/llama-cpp/chat.sh复制到llama.cpp目录下。

chmod +x chat.sh

在目录llama.cpp下执行即可看到模型输出了：

./chat.sh models/chinese_7b_f16.gguf '中国北京有哪些著名的景点？'

附1:QA例子

[INST] >

You are a helpful assistant. 你是一个乐于助人的助手。

中国北京有哪些著名的景点？

[/INST] 北京是中国的首都，拥有丰富的历史文化遗产和自然景观资源，以下是一些著名景点：

故宫博物院：中国古代皇宫建筑群，是明清两代皇帝的居所，保存了大量的文物和艺术品。
天坛公园：古代祭祀天地之场所，是中国现存规模最大、保存最完整的祭天文化遗产之一。
颐和园：中国传统皇家园林，被誉为"皇家园林博物馆"，以其精美的建筑、湖泊和山水景观而闻名。
北京长城：中国古代防御工程的代表，是世界文化遗产，也是世界上最长的城墙。
北海公园：古代皇家园林之一，以碧波荡漾、荷花盛开、古树参天为特色，是中国最大的人工湖泊和岛屿园林。
圆明园：清代皇家园林，以其精美的建筑、精美的花园和珍贵文物而闻名于世，曾经是世界上最大的皇家园林。
北京鸟巢：2008年北京奥运会主体育场，是一座现代化体育场馆，也是北京市区的一个地标性建筑。
天安门广场：中国最大的城市广场之一，是中国政治和历史的重要场所，也是游客必去的地方。
王府井大街：北京的商业中心，拥有各种购物、餐饮和娱乐设施，是游客体验北京文化的好地方。
北京大学：中国的著名高等学府，以其美丽的校园建筑和悠久的历史而闻名于世。

附2: 查看quantize 提供各种精度的量化。

zhangzk@test-llm:~/llama.cpp$ ./quantize --help

usage: ./quantize [--help] [--allow-requantize] [--leave-output-tensor] [--pure] [--imatrix] [--include-weights] [--exclude-weights] model-f32.gguf [model-quant.gguf] type [nthreads]

--allow-requantize: Allows requantizing tensors that have already been quantized. Warning: This can severely reduce quality compared to quantizing from 16bit or 32bit

--leave-output-tensor: Will leave output.weight un(re)quantized. Increases model size but may also increase quality, especially when requantizing

--pure: Disable k-quant mixtures and quantize all tensors to the same type

--imatrix file_name: use data in file_name as importance matrix for quant optimizations

--include-weights tensor_name: use importance matrix for this/these tensor(s)

--exclude-weights tensor_name: use importance matrix for this/these tensor(s)

Note: --include-weights and --exclude-weights cannot be used together

Allowed quantization types:

2 or Q4_0 : 3.56G, +0.2166 ppl @ LLaMA-v1-7B

3 or Q4_1 : 3.90G, +0.1585 ppl @ LLaMA-v1-7B

8 or Q5_0 : 4.33G, +0.0683 ppl @ LLaMA-v1-7B

9 or Q5_1 : 4.70G, +0.0349 ppl @ LLaMA-v1-7B

19 or IQ2_XXS : 2.06 bpw quantization