驱动云创建保存自己的环境
- 制作镜像
- 方法一
- 方法二
- 报错
上一篇link介绍了如何在驱动云上部署llama2以及驱动云在训练大模型的方便之处。也说到了可以直接使用驱动云现有的环境,免得自己配置环境。
但是有的时候免不了自己想要安装一些包。
驱动云的环境是这样的,每次离开之后,他的环境就会变成你最初用的镜像,过程中你做的更改不会保留。但是下次用的时候或者想要提交离线任务的时候,就需要用你修改好的镜像。
怎么办呢?这里可以很容易的制作镜像,将自己需要的环境永久的保存下来。
制作镜像
- 比如对于一个项目,我已经选择好了镜像为官房的Pytorch 2.0.0
但是,在玩过程中,我需要vllm的包,但是咧,这个环境里面没有,并且恰好,在平台上找不到完美匹配需求的镜像,需要自己手动安装一些。 - 在当前调试过程中,很容易,直接在终端pip安装就可以了.
比如更新accelerate到0.27.0
以及安装原来不存在的包trl
但是在调试完成之后,想要将当前的环境保存,该怎么办?
我们可以点击下图中的保存当前环境来制作自己的镜像
然后点击构建为标准镜像
进入dockerfile配置页面
方法一
- 镜像名称:随便写
- 基础镜像:一般会有默认,就是最初启动该项目的时候配的镜像,也可以×掉自己重新选。
- 在Dockerfile中,受限点个pip换源,会生成第一行。然后就是一行一行自己要添加的包,比如我们钱买你更新了accelerate,并安装了trl,就在这里对应写好。当然可以接着添加别的。
最后点击构建就可以了
方法二
在配置好环境之后,使用
!pip freeze > requirements.txt
输出当前环境的requirements.txt,文件会默认保存在/gemini/code下
可以将其下载下来
随后,同样点击保存当前环境,然后选择构建标准镜像
进入镜像制作页
同样填入镜像名称,默认的基础镜像
然后在上传文件处点击上传刚才保存的requirements.txt文件
接着点击pip换源
并添加如下代码
COPY requirements.txt /tmp/
RUN pip install -r /tmp/requirements.txt
最后点击构建即可
报错
如果镜像制作失败了,则可以点击 查看日志看看是什么原因
通常原因有两点:
- 使用方法一报错了。那大概率就是在调试过程中,配置环境的时候就出现了报错,比如包版本不兼容之类的。
解决方法:记录下在调试过程中安装哪个版本的包不报错,以及安装包的顺序,或者有时候可能要先卸载掉某个包,最后一直到构建好自己的环境,并且没有出现报错,这时可以进行镜像制作。 - 使用方法二报错了,报错error: failed to solve: process “/bin/sh -c pip install -r /tmp/requirements.txt” did not complete successfully: exit code: 1。
解决方法 使用方法一。因为我也不知道怎么解决hhhh, 如果哪位大神知道,请不吝赐教,谢谢。