在AutoDL上部署百川2大模型
AUTO DL相关
官网地址
- 选择容器实例
- 租用新实例
- 选择配置
我这里选择3090 , 硬盘尽量选择可以扩容的 , CUDA版本尽量高一点
- 选择镜像
- 先将机器关机
- 先扩容一下数据盘
50G就可以了
- 然后选择无卡模式开机
- 因为无卡模式下开机费用会变低
- 使用JupyterLab进行服务器配置
- 选择终端
终端配置
# 进入到AutoDL提供的数据盘
cd autodl-tmp
# 垃取Baichuan2的代码
git clone https://github.com/baichuan-inc/Baichuan2.git
# 进入文件夹
cd Baichuan2
# 创建一个文件夹,用于存放模型
mkdir model
# 更新apt
apt-get update
# 安装git-lfslfs
apt-get install git-lfs
# 初始化git
git init
# 确认lfs是否安装
git lfs install
# 垃取modelscope平台的Baichuan2-13B模型文件
git lfs clone https://www.modelscope.cn/baichuan-inc/Baichuan2-13B-Chat.git
- 模型下载完毕后 , 把服务器关机然后带上显卡一起启动
# 进入目录
cd /root/autodl-tmp/Baichuan2
# 安装运行模型所需要的依赖
pip install -r requirements.txt
- 配置web_demo脚本
# 运行web_demo 端口暴露为 6006
streamlit run web_demo.py --server.port 6006
量化模型
重新启动
streamlit run web_demo.py --server.port 6006
本地访问
# 正常代理
ssh -CNg -L 6006:127.0.0.1:6006 root@connect.beijinga.seetacloud.com -p 42420
# 后台代理
ssh -f -CNg -L 6006:127.0.0.1:6006 root@connect.beijinga.seetacloud.com -p 42420
)
