【ChatGLM2-6B】小白入门及Docker下部署
- 前提
- 下载安装包
- 网盘地址
- 开始安装
- 加载镜像
- 启动镜像
- 进入容器
- 启动模型交互页面
- 访问页面地址
前提
- 安装好了docker
- 安装好了NVIDIA
- 显卡16G
下载安装包
网盘地址
这里因为网盘上传文件有大小限制，所以使用了分卷压缩的方式进行了上传，全部下载下来就可以。
链接：https://pan.baidu.com/s/1wY3QqaWrMyBR39d2ZhN_Kg?pwd=9zdd
提取码：9zdd
将下载好的镜像文件和代码模型文件上传到服务器上，并进行解压，然后在该目录进行操作。
开始安装
加载镜像
docker load -i chatglm3-6b.tar
启动镜像
docker run -itd --name chatglm3 -v `pwd`/ChatGLM3:/data \
--gpus=all -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all \
-p 8501:8501 -p 8000:8000 chatglm3-6b:1.1
进入容器
docker exec -it chatglm3 bash
启动模型交互页面
cd /data
streamlit run basic_demo/web_demo2.py
访问页面地址
http://10.22.2.18:8501/
