【Pytorch】Conda环境pack打包迁移报错处理

文章目录

  • Anaconda虚拟环境打包
  • 一、源电脑的环境打包
    • 1.安装conda-pack工具
    • 2.确定环境
    • 3.打包环境
    • 4.将打包环境拷贝到U盘
  • 二、环境迁移到目标电脑上
  • 三、异常处理
    • pip install -e. 导致无法pack→忽略
    • 管理的文件已经被删除或者被覆盖→压缩成tar
      • 注意
    • 重新激活环境

Anaconda虚拟环境打包

实验在本机上验证成功,需要网高级设备上迁移,单张4090D,跑一个128k多模态大模型在一个数据集上推理加评测都花了两个半小时,还是太费时间了,重任亟需交给8A100机。
在这里插入图片描述

从源电脑中迁移anaconda的环境到目标电脑,首先两个电脑都安装了anaconda才行,在此基础上。

一、源电脑的环境打包

使用Anaconda Prompt操作

1.安装conda-pack工具

conda install conda-pack

在这里插入图片描述

2.确定环境

conda env list

在这里插入图片描述

找到你想要打包环境名。比如我的环境名是VLM

3.打包环境

conda pack -n VLM -o VLM.tar.gz

4.将打包环境拷贝到U盘

Windows环境打包在当前目录,如XX为用户名,路径为
C:/Users/XX/VLM.tar.gz
Linux同理

二、环境迁移到目标电脑上

①方法一
1.用Anaconda Prompt创建新环境,比如新环境是py310:

conda create -n py310 python=3.10

2.将U盘中的打包环境,拷贝在目标电脑的用户名目录:
C:/Users/XX/Py36.tar.gz
3.用Anaconda Prompt将打包环境,解压到新环境路径下:

tar -zxvf Py36.tar.gz -C E:\anaconda3\envs\py36\

4.激活新环境

conda activate py310

注意:如果失败的话,试一下方法二:
②方法二
1.找到目标电脑的环境文件夹
环境的路径为anaconda的所在目录下的envs文件夹,如我的为:E:\anaconda3\envs,以下步骤都在这个路径下进行操作。
2.将U盘中的打包环境,拷贝在环境文件夹envs内。
3.在环境路径下使用cmd命令行,新建文件夹,命名为py36:

mkdir py36

或者手动新建文件夹
4.使用cmd命令行,将打包环境解压到新环境中

tar -zxvf Py36.tar.gz -C ./py36

三、异常处理

pip install -e. 导致无法pack→忽略

报错如下

Collecting packages...
CondaPackError: Cannot pack an environment with editable packages
installed (e.g. from `python setup.py develop` or`pip install -e`). Editable packages found:- /home/xxx

改用下面方式

conda pack -n VLM -o VLM.tar.gz --ignore-editable-packages

解压缩使用

mkdir ~/ananconda/envs/pcdet-tmp
tar -xf pcdet.tar.gz -C ~/ananconda/envs/pcdet-tmp
cd ~/ananconda/envs/pcdet-tmp
source ./bin/activate

管理的文件已经被删除或者被覆盖→压缩成tar

CondaPackError:  Files managed by conda were found to have been deleted/overwritten in the following packages: - charset-normalizer 2.0.4:- xxxx
This is usually due to `pip` uninstalling or clobbering conda managed files,
resulting in an inconsistent environment. Please check your environment for
conda/pip conflicts using `conda list`, and fix the environment by ensuring
only one version of each package is installed (conda preferred).

解决方案尝试过利用WSL优势直接在Windows下对anaconda中环境env进行打包,然而报出巨量的依赖错误和命名错误
在这里插入图片描述
最后乖乖收手去Linux系统下打包压缩尝试是否可行
在Linux中,可以使用tar命令将文件或文件夹压缩为.tar.gz格式。
tar 是用于打包文件的命令。
-c 表示创建一个新的归档文件。
-z 表示使用gzip压缩。
-v 表示在归档时显示详细信息。
-f 后面跟着的是归档文件的名称。

例如,想要压缩anaconda中env下的名为VLM的文件夹,可以使用以下命令:

tar -czvf VLM.tar.gz VLM

注意

在Linux里去看位置,anaconda是不显示完整文件目录的,会直接不显示有env文件夹,但是可以直接cd 进env去看

在这里插入图片描述

如果想压缩单个文件,比如myfile.txt,可以使用:

tar -czvf myfile.tar.gz myfile.txt

这些命令将在当前目录下创建.tar.gz文件,可以在需要的时候更改文件路径或者指定输出目录。
在这里插入图片描述
压缩成功

重新激活环境

3.第三步:激活环境
对于tar压缩来讲解压执行

tar -xzvf VLM.tar.gz

如果是.zip 拷贝到另外一个系统上并解压到目录下/xxxx/anaconda/envs/则为

unzip -d /xxxx/anaconda/envs/  pyenv.zip

注意!打包的虚拟环境记录的是源环境的,新系统上的anaconda安装路径可能和源环境的不一样,比如源环境是/xxxx/anaconda2023/,新系统上是/xxxx/anaconda/,此时需要先在新系统上新建一个和源环境anaconda安装路径一样的空目录,例如原路径\wsl.localhost\Ubuntu\home\test\anaconda3\envs\VLM的
mkdir /xxxx/anaconda3/envs/
然后再建立软链
ln -s /xxxx/anaconda/envs/pyenv /xxxx/anaconda3/envs/
将空目录指向 实际anaconda路径
然后激活环境 source activate /xxxx/anaconda/envs/VLM

希望能顺顺利利完成!

嘛,如果对您有帮助的话就开心的复制吧,整理不易转载请注明qwq!
如果有更好的建议或意见欢迎补充!
我是亓云鹏(亓Qí),努力与大家一同分享算法的快乐!

每博一图(1/1)↓
在这里插入图片描述

Reference:
conda-pack迁移虚拟环境
离线环境conda虚拟环境备份迁移–conda pack问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/45171.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

14 - matlab m_map地学绘图工具基础函数 - 一些数据转换函数(一)

14 - matlab m_map地学绘图工具基础函数 - 一些数据转换函数(一) 0. 引言1. 关于m_ll2xy和m_xy2ll2. 关于m_lldist3. 关于m_xydist4 关于m_fdist5 关于m_idist6. 总结 0. 引言 通过前面篇节已经将m_map绘图工具中大多绘图有关的函数进行过介绍&#xff0…

Nuxt3封装网络请求 useFetch $fetch

前言: 刚接触、搭建Nuxt3项目的过程还是有点懵的,有种摸石头过河的感觉,对于网络请求这块,与之前的Vue3项目有所区别,在Vue项目通常使用axios这个库进行网络请求,但在Nuxt项目并不推荐,因为有内…

RK3568平台(显示篇)主屏副屏配置

一.主屏副屏配置 目前在RK3568平台上有两路HDMIOUT输出,分别输出到两个屏幕上,一路配置为主屏,一路配置为副屏。 硬件原理图: &hdmi0_in_vp2 {status "okay"; };&hdmi1_in_vp0 {status "okay"; }…

【JAVA入门】Day15 - 接口

【JAVA入门】Day15 - 接口 文章目录 【JAVA入门】Day15 - 接口一、接口是对“行为”的抽象二、接口的定义和使用三、接口中成员的特点四、接口和类之间的关系五、接口中新增的方法5.1 JDK8开始接口中新增的方法5.1.1 接口中的默认方法5.1.2 接口中的静态方法 5.2 JDK9 开始接口…

Pandas实战指南:any()函数深度解析与高效应用

Pandas实战指南:any()函数深度解析与高效应用 引言 在数据分析和处理过程中,经常需要快速检查数据集中是否存在满足特定条件的元素。Pandas库中的any()函数正是这样一个强大的工具,它可以帮助我们沿着指定的轴检查是否至少有一个元素满足某…

Transformer重要论文与书籍 - Transformer教程

近年来,人工智能领域中的Transformer模型无疑成为了炙手可热的研究对象。从自然语言处理(NLP)到计算机视觉,Transformer展现出了前所未有的强大能力。今天,我们将探讨Tra在当今的人工智能和机器学习领域,Tr…

路由守卫中使用next()跳转到指定路径时会无限循环

路由守卫钩子介绍 const router new VueRouter({ ... }) // 导航路由变化时触发路由守卫钩子 router.beforeEach((to, from, next) > {// ... }) to: Route: 即将要进入的目标路由对象(到哪去)from: Route: 当前导航正要离开的路由(从哪来)next: Function(必须&#xff0…

axios使用sm2加密数据后请求参数多了双引号解决方法

axios使用sm2加密数据后请求参数多了双引号解决 背景问题描述解决过程 背景 因项目安全要求,需对传给后端的入参加密,将请求参数加密后再传给后端 前期将axios降低到1.6.7后解决了问题,但最近axios有漏洞,安全要求对版本升级&…

从零开始[进阶版]深入学习图像分类:使用Python和TensorFlow

引言 图像分类是计算机视觉中的一个核心任务,广泛应用于人脸识别、自动驾驶、医疗影像分析等领域。在本篇文章中,我们将深入探讨图像分类的原理和实现,使用Python和TensorFlow搭建一个完整的图像分类系统。本文不仅适合初学者,也…

【Qt 初识 Test】用图形化和代码的方式实现简单的Qt程序

文章目录 1. 通过图形化的方式实现🍎2. 通过代码的方式实现 1. 通过图形化的方式实现🍎 在界面创建出一个控件,显示 hello world,通过拖拽的方式实现; widget.ui文件如下:🔍 生成的 ui_widget.…

生物环保技术有哪些缺点或者局限性呢

生物环保技术,作为一种利用生物学原理和技术来处理环境污染的方法,虽然具有绿色环保、高效节能等优点,但也存在一些缺点和局限性。以下是对这些缺点和局限性的详细分析: 一、受环境因素影响大 生物环保技术的效果往往受到环境因…

数据结构第18节 散列表 - 应用

散列表(Hash Table),也被称为哈希表,是一种数据结构,它通过使用哈希函数将键映射到数组的某个位置来实现快速查找。散列表通常提供平均时间复杂度为O(1)的查找、插入和删除操作,这使得它们在处理大量数据时…

【mybatis】mybatisX插件概述

一、主要功能 智能补全与提示 MyBatisX 可以智能地提示和补全 SQL 语句中的关键字、表名、列名等信息,从而显著提高开发效率。代码生成器 虽然 MyBatisX 本身可能不直接提供一个完整的、独立的代码生成器,但它可能集成了或支持与其他代码生成工具&#…

卤味江湖中,周黑鸭究竟该抓住什么赛点?

近年来,卤味江湖的决斗从未停止。 随着休闲卤味、佐餐卤味等细分赛道逐渐形成,“卤味三巨头”(周黑鸭、绝味食品、煌上煌)的牌桌上有了更多新对手,赛道变挤了,“周黑鸭们”也到了转型关键期。 这个夏天&a…

MySQL字符串相关数据处理函数

目录 1. 转大小写 2. 截取字符串 sunstr 3. 获取字符长度 4. 字符串拼接 concat 5. 去掉空白 trim 1. 转大小写 转大写:upper() 转小写:lower() 虽然MySQL不严格区分大小写,但是我们还是需要掌握这种大小写的操作以方便学习其他…

python的入门知识(下)

目录 学习内容数字字符串、列表和元组映射和集合类型 学习内容 数字 长整型(Long Integer): 在Python中,整数没有大小限制,但是可以用大写或小写的L来表示长整型,尽管这不是Python 3推荐的做法。 复数(Co…

Nessus相关

tenable 1 安装nessus scanner 1 )安装nessus scanner: 方法一 curl -H X-Key: xxxxx https://cloud.tenable.com/install/scanner?namescanner-name&groupsscanner-group | bash方法二: **# for ubuntu, its https://www.tenable.com/downloads/api/v1/pu…

【JavaScript脚本宇宙】JavaScript 库概览:数字、货币值、日期时间处理一网打尽

简化数据处理:掌握六大 JavaScript 库的核心功能和使用技巧 前言 在现代的软件开发中,处理数字、货币和日期时间是非常常见的需求。为了简化这些任务,开发人员可以使用各种 JavaScript 库来轻松地进行数字格式化、货币计算和日期时间操作。…

Google登录时人机身份验证的图片类型和通过的经验建议,以及一些常见问题

很多朋友在登录谷歌账号时,都遇到过要求人机身份验证的步骤,而且有一些时候人机身份验证这个步骤很让人纠结,甚至压根就出不来具体的验证图片,或者花了十几分钟、几十分钟都过不去。 所以今天GG账号服务就来为您解析一下谷歌登录…

初学SpringMVC之接收请求参数及数据回显

pom.xml 文件导入 lombok 的依赖 <dependency><groupId>org.projectlombok</groupId><artifactId>lombok</artifactId><version>1.18.34</version></dependency> Controller 表示这是一个控制器 RequestParam 表示从前端接收…