环境
系统：CentOS-7
CPU： Intel® Xeon® CPU E5-2680 v4 @ 2.40GHz 14C28T
内存： 48G DDR3
依赖安装
make --version
GNU Make 4.3gcc --version
gcc (GCC) 11.2.1 20220127 (Red Hat 11.2.1-9)g++ --version
g++ (GCC) 11.2.1 20220127 (Red Hat 11.2.1-9)
编译
git clone https://github.com/ggerganov/llama.cpp
cd llama.cppmake等待一会查看
ls
-rwxr-xr-x. 1 root root 1.6M Feb 23 07:54 main
-rwxr-xr-x. 1 root root 2.6M Feb 23 07:55 server
.....
下载模型
https://hf-mirror.com/Qwen/Qwen1.5-72B-Chat-GGUF
qwen1_5-72b-chat-q4_k_m.gguf.a
qwen1_5-72b-chat-q4_k_m.gguf.b
合并文件
cat qwen1_5-72b-chat-q5_k_m.gguf.* > qwen1_5-72b-chat-q5_k_m.gguf
启动
./server -m /models/Qwen1.5-72B-Chat-GGUF/qwen1_5-72b-chat-q4_k_m.gguf --host 192.168.31.222 -c 1024 -t 26
我的IP是192.168.31.222
或
./main -m /models/Qwen1.5-72B-Chat-GGUF/qwen1_5-72b-chat-q4_k_m.gguf -n 512 --color -i -cml -f prompts/chat-with-qwen.txt
访问
方式1http://192.168.31.222:8080/
方式2curl --request POST \
--url http://192.168.31.222:8080/completion \
--header "Content-Type: application/json" \
--data '{"prompt": "Building a website can be done in 10 simple steps:","n_predict": 128}'
总结
CPU利用2600%左右，42G内存，如果更强的CPU估计还是能到4倍速度吧速度 0.6 tokens/s 这个速度还是很慢的，测试一下还是可以的，毕竟是70B的模型呀，继续研究中
print_timings: prompt eval time = 4839.81 ms / 13 tokens ( 372.29 ms per token, 2.69 tokens per second)
print_timings: eval time = 214075.61 ms / 128 runs ( 1672.47 ms per token, 0.60 tokens per second)
print_timings: total time = 218915.43 ms
)
