docker一键部署GPU版ChatGLM3

一键运行

docker run --gpus all -itd --name chatglm3 -p 81:80 -p 6006:6006 -p 8888:8888 -p 7860:7860  -p 8501:8501 -p 8000:8000 --shm-size=32gb registry.cn-hangzhou.aliyuncs.com/cwp-docker/chatglm3-gpu:1.0

进入容器

docker exec -it chatglm3 /bin/bash

cd /data

在此深感抱歉，打包镜像的时候遗漏了一点点东西，不过问题不大，修改一下吧：

修改一下02startApi.sh脚本

#!/bin/bashexport HF_ENDPOINT=https://hf-mirror.com
export HF_HOME=/data/huggingface
export MODEL_PATH=/data/THUDM_chatglm3-6bcd openai_api_demopython openai_api.py

进入目录

cd openai_api_demo/

下载依赖

pip install -r requirements.txt

这个应该是下载成功了、吧

回退到上一层目录

cd ..

执行启动脚本

nohup sh 02startApi.sh &

不出意外的话，就启动成功了。

java代码调用接口

private static void chatglm3() {Map<String, Object> params = new HashMap<>();params.put("model", "chatglm3-6b");List<Map<String, Object>> messages = new ArrayList<>();Map<String, Object> prompt = new HashMap<>();prompt.put("role", "user");prompt.put("content", "给我讲一个笑话");messages.add(prompt);params.put("messages", messages);params.put("stream", false);params.put("max_tokens", 100);
//        params.put("temperature", 0.8);
//        params.put("top_p", 0.8);String url = "http://127.0.0.1:8000/v1/chat/completions";String result = post(url, JSONUtil.toJsonStr(params), new HashMap<>());System.out.println(result);
}

接下来就可以参考Docker部署ChatGLM3、One API、FastGPT_docker镜像 chatglm-CSDN博客
部署One API、FastGPT,使用浏览器对话聊天了。

最后，就成功了！