环境准备

使用30% A100 来运行chatglm3模型，采用lmdeploy来启动。

创建虚拟环境

# 创建虚拟环境
conda create -n langchain python=3.11 -y# 激活环境
conda activate langchain

安装组件

pip install -r requirements.txt

requirenments.txt 内容

langchain
modelscope
ipykernel
xtuner
lmdeploy

下载模型

download_model.py:
用于从魔搭下载chatglm3模型

from modelscope import snapshot_download
model_dir = snapshot_download("ZhipuAI/chatglm3-6b-32k", revision = "v1.0.0")

# 运行下载代码
python download_model.py

模型会下载到 /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k

chat启动模型并对话

直接采用lmdeploy chat启动并对话交互

lmdeploy chat /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k

显存使用20多G

启动成api_server服务并对话

# 通过api_server方式启动成一个API服务
lmdeploy serve api_server /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k \--server-name 127.0.0.1 \--model-name chatglm3-6b-32k 

启动后，运行在127.0.0.1的23333端口，使用的是fastAPI服务器

通过curl来访问这个api，对话：

curl -X 'POST' \'http://127.0.0.1:23333/v1/chat/completions' \-H 'accept: application/json' \-H 'Content-Type: application/json' \-d '{"model": "chatglm3-6b-32k","messages": [{"content": "hi,什么是股票","role": "user"}],"temperature": 0.7,"top_p": 1,"logprobs": false,"top_logprobs": 0,"n": 1,"max_tokens": null,"stop": null,"stream": false,"presence_penalty": 0,"frequency_penalty": 0,"user": "string","repetition_penalty": 1,"session_id": -1,"ignore_eos": false,"skip_special_tokens": true,"top_k": 40
}'

文本补全

curl -X 'POST' \'http://127.0.0.1:23333/v1/completions' \-H 'accept: application/json' \-H 'Content-Type: application/json' \-d '{"model": "chatglm3-6b-32k","prompt":"今天天气不错" }'

注：具体的API可以访问23333端口来查看

启动成gradio服务

注意在lmdeploy 0.3.0上启动没问题，在0.4.2上启动会报错

lmdeploy serve gradio /root/.cache/modelscope/hub/ZhipuAI/chatglm3-6b-32k

启动后，就可以浏览器访问127.0.0.1:6006

lmdeploy 0.4.2上错误：