自己随便说几句。

关于模型部署，很有趣的一件事就是，它一路随着深度学习训练一起发展，尽管例如tensorrt等工具的出现，不断试图降低部署门槛，但是实际上，每一次AI的升级，似乎让这个细分领域没有因为工具易用性的提高而萎缩，反而量化，蒸馏，各个细分领域开支散叶。你说未来的模型部署是什么样呢？

作业链接：Tutorial/lmdeploy/homework.md at camp2 · InternLM/Tutorial · GitHub

LLDeploy项目链接： GitHub - InternLM/lmdeploy: LMDeploy is a toolkit for compressing, deploying, and serving LLMs.

项目纵览

看一下repo的更新日志可以看到：

支持的模型种类很多，提到的就包括：

Qwen-7B， Qwen1.5-MOE and dbrx.Baichuan2-7B， Qwen 1.5, Gemma, Mistral, Mixtral, Deepseek-MOE， LLama 1--3

支持的量化方法也很多： AWQ 4bit GQA, W4A16 inference for sm_75 multi-model

性能优化的方式也很多： flash-attention2， dynamic NTK-RoPE scaling， dynamic logN scaling，Paged Attention, faster attention kernels without sequence length limitation, 2x faster KV8 kernels, Split-K decoding (Flash Decoding)

online int8/int4 KV cache quantization； Support VLM offline inference pipeline and serving；

Support DeepSeek-VL offline inference pipeline and serving.

部署的硬件支持也很多： multi-machine, multi-card inference
 真的够卷。据说MMDeploy基本不维护了，这个转型也是迅雷不及掩耳。

安装

可以直接通过pip安装，也可以通过源码安装，源码安装的流程明显更复杂。

参考： lmdeploy/docs/en/build.md at main · InternLM/lmdeploy · GitHub

conda activate lmdeploy
pip install lmdeploy[all]==0.3.0

离线demo的调用也很直接

import lmdeploy
pipe = lmdeploy.pipeline("internlm/internlm-chat-7b")
response = pipe(["Hi, pls intro yourself", "Shanghai is"])
print(response)

 或者通过：

lmdeploy chat /root/internlm2-chat-1_8b

进阶作业：

以API Server方式启动 lmdeploy，开启 W4A16量化，调整KV Cache的占用比例为0.4，分别使用命令行客户端与Gradio网页客户端与模型对话。

基于下列指令，我们可以启动serve

lmdeploy serve api_server internlm2-chat-1_8b --model-format hf\
--quant-policy 0\
--server-name 0.0.0.0\
--server-port 23333\
--tp 1

然后，我们可以尝试性能优化

程序默认cache-max-entry-count = 0.8

原始参数下，显存占用为 7800MB， 改成 0.4后，显存占用为6000MB。可以推测，KV cache的降低将减小模型的显存占用。

lmdeploy chat /root/internlm2-chat-1_8b --cache-max-entry-count 0.4

接下来，针对awq功能，我们进行量化优化。awq的更多细节可以参考：EfficientAI Lab： 大模型AWQ量化-CSDN博客

time lmdeploy lite auto_awq \/root/internlm2-chat-1_8b \--calib-dataset 'ptb' \--calib-samples 128 \--calib-seqlen 1024 \--w-bits 4 \--w-group-size 128 \--work-dir /root/internlm2-chat-1_8b-4bit

可以在目录中找到新生成的文件，并运行

lmdeploy chat /root/internlm2-chat-1_8b-4bit --model-format awq

值得注意的是，目前该方法只支持图灵架构及之后的设备，也就是20系列之后的显卡。