于大模型迁移中学习 Docker

最近在做大模型的昇腾迁移,国产化框架踩坑不少,基本一天的工作量相当于之前做纯视觉算法时一周踩过的坑数了。

现在在modelarts上用八卡昇腾910跑llama,不同于之前自己配环境,昇腾生态创新中心都是用的镜像,虽说打包起来不用自己配的那么麻烦,但一键启动之后各种找不到包、调用函数出错的问题搞得我头大,真的每跑一次大模型都要找一个相匹配的镜像才可以吗?

Session stopped- Press <Return> to exit tab- Press R to restart session- Press S to save terminal output to file
root@168.170.140.104's password:
Access denied
root@168.170.140.104's password:
Access denied
root@168.170.140.104's password:┌──────────────────────────────────────────────────────────────────────┐│                 • MobaXterm Personal Edition v23.2 •                 ││               (SSH client, X server and network tools)               ││                                                                      ││ ⮞ SSH session to root@168.170.140.104                                ││   • Direct SSH      :  ✓                                             ││   • SSH compression :  ✓                                             ││   • SSH-browser     :  ✓                                             ││   • X11-forwarding  :  ✓  (remote display is forwarded through SSH)  ││                                                                      ││ ⮞ For more info, ctrl+click on help or visit our website.            │└──────────────────────────────────────────────────────────────────────┘Welcome to Ubuntu 18.04.1 LTS (GNU/Linux 4.15.0-29-generic aarch64)* Documentation:  https://help.ubuntu.com* Management:     https://landscape.canonical.com* Support:        https://ubuntu.com/advantageSystem information as of Fri Jul 21 05:39:31 EDT 2023Last login: Fri Jul 21 05:39:27 2023 from 10.10.10.42
-bash: /usr/local/Ascend/ascend-toolkit/set_env.sh: No such file or directory
root@ubuntu:~# docker images
REPOSITORY                                                                  TAG                                                                                                                               IMAGE ID       CREATED        SI                                                                              ZE
swr.cn-central-231.xckpjs.com/yangxi/chatglm_finetune                       v3                                                                                                                                ce059a3eb951   5 weeks ago    18                                                                              .3GB
swr.cn-north-309.mtgascendic.cn/bj-aicc/chatglm_finetune                    v3                                                                                                                                ce059a3eb951   5 weeks ago    18                                                                              .3GB
ascendhub.huawei.com/public-ascendhub/pytorch-modelzoo                      23.0                                                                              .RC1-1.11.0                                     1d3158646e1f   2 months ago   11                                                                              GB
swr.cn-north-309.mtgascendic.cn/bj-aicc/pytorch_1_11_0                      pyto                                                                              rch_1.11.0-cann_6.0.1-python_3.8-euler_2.8-v2   a5b48c40f013   2 months ago   13                                                                              .8GB
swr.cn-northwest-229.yantachaosuanzhongxin.com/yantapublic/pytorch_1_11_0   pyto                                                                              rch_1.11.0-cann_6.0.1-python_3.8-euler_2.8-v2   a5b48c40f013   2 months ago   13                                                                              .8GB
guoneng_paddle                                                              v1                                                                                                                                264ea1b0d9c6   3 months ago   43                                                                              .8GB
root@ubuntu:~# docker pull swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39
mindformers_0.6.0dev_20230615_py39: Pulling from mindformers/mindformers_dev_mindspore_1_10_1
6df89f31df6b: Already exists
ed1971c1ae79: Already exists
3326c9a29aaf: Already exists
1dc8445cb1fe: Already exists
b88914ee22d4: Already exists
bcdb23ea4034: Already exists
7d3d47c0e6f5: Already exists
5d7b3572edf7: Already exists
c41695c50bba: Already exists
957b9a31e2a7: Already exists
1672b9d56d5b: Already exists
36e34e344951: Already exists
160f6265f56d: Already exists
c57c0bc5f46f: Already exists
2bda0d153e53: Already exists
9c51c5251e18: Already exists
ab932c597460: Already exists
35490305253a: Already exists
4796376a3c72: Already exists
b2ceab4e4b50: Already exists
5996ae12a711: Already exists
fe6448692e33: Pulling fs layer
ba8a93f762d8: Pulling fs layer
ba74ada194a5: Pulling fs layer
a52d93ccc3fe: Waiting
801949047265: Waiting
b057aae08ec4: Waiting
dc70880ef9ce: Waiting
26c307ef6dfd: Waiting
c94bf8f93adf: Waiting
775eda4359be: Waiting
7cc9392229c8: Pulling fs layer
06ec42708026: Waiting
b01566b68dfa: Waiting
5857e4b48466: Waiting
f99e1c6d3442: Waiting
7d92f226dfff: Waiting
03f18c2615dd: Waiting
86a4a68587b8: Waiting
477735d7e341: Waiting
e3a369c4494f: Waiting
ad8940b6f8df: Waiting
93f2a596f5df: Waiting
bb4d004c2c19: Waiting
0da308e252fc: Pulling fs layer
4a62494058f8: Pull complete
dc1cb36895af: Pull complete
ca2c9a6dd846: Pull complete
8d67ef0f3461: Pull complete
414f0f3a818a: Pull complete
9cc92ebceb93: Pull complete
6d049032fea1: Pull complete
f2a11686cbf5: Pull complete
8dfd91dcabf2: Pull complete
bdf89cff68ba: Pull complete
fb7e8b85b671: Pull complete
b5e26e2ef46f: Pull complete
5fa7652a5f59: Pull complete
f0f36ddff6c5: Pull complete
1beff86c5121: Pull complete
1575edbb7f89: Pull complete
5f55c80ebec4: Pull complete
dae80ce2a02f: Pull complete
59dc1d9207d2: Pull complete
ffeb0c7a0d16: Pull complete
be378e762b31: Pull complete
1b46742c3546: Pull complete
95070b7b32e4: Pull complete
b1e1e78f7857: Pull complete
e4e5c468dca8: Pull complete
4a52a09714e8: Pull complete
a84238f298eb: Pull complete
f19ed39cf0fd: Pull complete
e746be989e03: Pull complete
a3184e84e5a3: Pull complete
185c350cc7e5: Pull complete
627f0e117356: Pull complete
1adfbc226f8e: Pull complete
88e1a8908377: Pull complete
bf33dcb88c6b: Pull complete
06de45739437: Pull complete
cd9299928399: Pull complete
17bdda4bed23: Pull complete
f0847357169c: Pull complete
75d91495f443: Pull complete
2f6a64e953df: Pull complete
Digest: sha256:46d06d8d248304cac200a1610adab48bd43b6f96950d0d9998194cfbce2b2835
Status: Downloaded newer image for swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39
swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39
root@ubuntu:~# docker login -u cn-north-309@UQ0YCRWIIJ4Q7UR0A63R -p 07c02a1f97ef2e5f0506c72c9b22f7296de1e43e6e20ed0dc7c3f882faeec7fd swr.cn-north-309.mtgascendic.cn
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-storeLogin Succeeded
root@ubuntu:~# mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py                                                                              39sudo docker tag swr.cn-central-221.ovaijisuan.com/mindformers/mindformers_dev_                                                                              mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39 swr.cn-north-309.mtgascendic                                                                              .cn/aicc_lz/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39^                                                                              C
root@ubuntu:~# sudo docker tag swr.cn-central-221.ovaijisuan.com/mindformers/min                                                                              dformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39 swr.cn-north-30                                                                              9.mtgascendic.cn/aicc_lz/mindformers_dev_mindspore_1_10_1:mindformers_0.6.0dev_2                                                                              0230615_py39
root@ubuntu:~# docker push swr.cn-north-309.mtgascendic.cn/aicc_lz/mindformers_d                                                                              ev_mindspore_1_10_1:mindformers_0.6.0dev_20230615_py39
The push refers to repository [swr.cn-north-309.mtgascendic.cn/aicc_lz/mindforme                                                                              rs_dev_mindspore_1_10_1]
9efef30c32aa: Preparing
01a9a16e2668: Preparing
c5712af8a17d: Preparing
db280e538c6f: Preparing
126fde8a37c0: Preparing
2cf4bfba4482: Preparing
384c9e22b815: Waiting
1fbd15305307: Waiting
751d398eb53e: Waiting
54ab28f4e567: Preparing
2cf4bfba4482: Waiting
575a89fa936e: Preparing
2687bb1ea55d: Waiting
3a3e6ae19d7d: Waiting
4b91214b876b: Waiting
98ca7054afdc: Waiting
08588caa9e8c: Waiting
56e3137741ae: Waiting
575a89fa936e: Waiting
fe6f3dc260b6: Waiting
3c3ecefc768b: Waiting
af0c33ac85dd: Waiting
f8981441cef5: Waiting
505abd2f61f4: Waiting
4d88882b4901: Waiting
f0702ff1eb55: Waiting
d784cec35c0a: Waiting
040122e8b80d: Preparing
fd29a9717d53: Waiting
9204d9b6a0e4: Waiting
92e7456a14c3: Waiting
ede48f319b26: Preparing
7ddbb7762e8e: Waiting
ede48f319b26: Waiting
76956a73296b: Waiting
a3ba54e994c7: Waiting
407b1d90f91c: Preparing
4a1597322419: Waiting
da1e986cc22b: Waiting
5a50d393b5b7: Waiting
31ae5b42a91b: Preparing
42d14b030e23: Waiting
d17a52443df0: Waiting
3fe4f9b7f48b: Waiting
0f342db0ed7f: Waiting
3a4bcfe0fe41: Waiting
15d160702436: Waiting
f505431eb4df: Waiting
6a7668bf6919: Waiting
871887744f4f: Waiting
cfc0ee9792ea: Waiting
6d6189f99686: Preparing
407b1d90f91c: Waiting
ae995dd2db25: Waiting
f629e8a3ffb4: Waiting
781482aef03d: Preparing
9c41a34b5ef4: Waiting
bbe349b90b37: Waiting
3af29fffef76: Waiting
ed07bbecf3c9: Waiting
d86197d6f42d: Preparing
148cab5ddebe: Waiting
3fe4f9b7f48b: Pushed
a2d820d41bd2: Pushed
ec32b9434d98: Pushed
7f51e3e75b81: Pushed
8a56b925a0b5: Pushed
3f801a69d844: Pushed
08e934f34681: Pushed
775ead37ec48: Pushed
f2bdfe13a9d7: Pushed
6cbf0c57a96f: Pushed
e1aa3d6213e9: Pushed
b6c802dc9d21: Pushed
1765cdabb4ca: Pushed
f8f69bd4e159: Pushed
1b411266d046: Pushed
81f633409851: Pushed
f0d75b487767: Pushed
f31e8bd1a778: Pushed
cb399a44cec6: Pushed
71c36a160255: Pushed
7f2d3f882fc8: Pushed
bd6c3167d7df: Pushed
ec65416376e3: Pushed
2c2c66a6bb1c: Pushed
mindformers_0.6.0dev_20230615_py39: digest: sha256:46d06d8d248304cac200a1610adab                                                                              48bd43b6f96950d0d9998194cfbce2b2835 size: 18352
root@ubuntu:~#

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/12265.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

区分jdbcTemplate操作数据库和mybatis操作数据库

JdbcTemplate和MyBatis是Java中常用的两种数据库操作方式。它们在实现上有一些区别&#xff0c;下面我将为你介绍它们的主要特点和区别&#xff1a; JdbcTemplate&#xff1a; JdbcTemplate是Spring框架中提供的一个类&#xff0c;用于简化JDBC操作。使用JdbcTemplate时&#x…

【业务功能篇58】Springboot + Spring Security 权限管理 【下篇】

4.2.2.3 SpringSecurity工作流程分析 SpringSecurity的原理其实就是一个过滤器链&#xff0c;内部包含了提供各种功能的过滤器。这里我们可以看看入门案例中的过滤器。 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KjoRRost-1690534711077)(http…

机器学习分布式框架ray tune笔记

Ray Tune作为Ray项目的一部分&#xff0c;它的设计目标是简化和自动化机器学习模型的超参数调优和分布式训练过程。Ray Tune简化了实验过程&#xff0c;使研究人员和数据科学家能够高效地搜索最佳超参数&#xff0c;以优化模型性能。 Ray Tune的主要特点包括&#xff1a; 超参…

数字信号处理中的基本运算——加法运算

1. 一位全加器 2. 二进制加法原理 两个N位二进制补码相加&#xff0c;为防止溢出时导致计算结果错误&#xff0c;可将这两个加数先进行符号位扩展&#xff0c;变为N1位二进制数&#xff0c;然后相加&#xff0c;结果亦取N1位&#xff0c;可保证运算结果正确。 根据多位加法器…

android存储4--初始化.emulated设备的挂载

android版本&#xff1a;android-11.0.0_r21http://aospxref.com/android-11.0.0_r21 android手机的挂载非常复杂。这篇文章针对emulated存储&#xff0c;介绍它的挂载过程。 一、为什么emulted存储要用很复杂的挂载方式 1&#xff0c; emulted存储是什么 android早期&#…

Debezium日常分享系列之:定制Debezium 信号发送和通知

Debezium日常分享系列之&#xff1a;定制Debezium 信号发送和通知 一、自定义信号和通知通道二、结论 Debezium 2.3 在信号和通知功能方面引入了新的改进。除了 Debezium 提供的预定义信号和通知通道之外&#xff0c;您还可以设置新的信号和通知通道。此功能使用户能够自定义系…

100个网络安全测试面试题

1、Burpsuite常用的功能是什么&#xff1f; 2、reverse_tcp和bind_tcp的区别&#xff1f; 3、拿到一个待检测的站或给你一个网站&#xff0c;你觉得应该先做什么&#xff1f; 4、你在渗透测试过程中是如何敏感信息收集的&#xff1f; 5、你平时去哪些网站进行学习、挖漏洞提交到…

系统架构方法论的发展历程

四个阶段 1、面向过程 面向过程的软件开发是一种基于任务和流程的开发方法。该方法主要关注程序的输入、处理和输出过程&#xff0c;强调在程序中将整个过程分解为一系列步骤&#xff0c;并通过这些步骤进行数据处理和算法操作&#xff0c;以实现预期的功能。此方法通常借助流…

第3章 配置与服务

1 CoreCms.Net.Configuration.AppSettingsHelper using Microsoft.Extensions.Configuration; using Microsoft.Extensions.Configuration.Json; namespace CoreCms.Net.Configuration { /// <summary> /// 【应用设置助手--类】 /// <remarks> /// 摘要&#x…

[华为OD] 最小传输时延(dijkstra算法)

明天就要面试了我也太紧张了吧 但是终于找到了一个比较好理解的dijkstra的python解法&#xff0c;让我快点把它背下来&#xff01;&#xff01;&#xff01;&#xff01; 文章目录 题目dijkstra算法的python实现python解答dfs解法dijkstra解法 题目 先把题目放出来 某通信网络…

RFID原理与应用课程笔记

一、RFID技术概述 1.rfid技术的特点&#xff1a; 1.1自动识别&#xff1a;1.光学符号识别&#xff08;OCR&#xff09; 2.条形码识别 3.智能卡识别 4.射频识别&#xff08;RFID&#xff09; 5.生物识别 &#xff08;指纹识别&#xff0c;语音识别&#xff09; 1.2.RFID自动…

面试手写实现Promise.all

目录 前言常见面试手写系列Promise.resolve 简要回顾源码实现Promise.reject 简要回顾源码实现Promise.all 简要回顾源码实现Promise.allSettled 简要回顾源码实现Promise.race 简单回顾源码实现结尾 前言 (?﹏?)曾经真实发生在一个朋友身上的真实事件&#xff0c;面试官让…

大数据面试题之Elasticsearch:每日三题(七)

大数据面试题之Elasticsearch:每日三题 1.Elasticsearch索引文档的流程&#xff1f;2.Elasticsearch更新和删除文档的流程&#xff1f;3.Elasticsearch搜索的流程&#xff1f; 1.Elasticsearch索引文档的流程&#xff1f; 协调节点默认使用文档ID参与计算(也支持通过routing)&a…

边缘计算在交通行业的应用有哪些?

随着我国城市化进程的不断加快。人民生活水平不断提高。随之带来的私家车辆增多导致的交通拥堵问题。智慧交通作为一种新兴的交通模式&#xff0c;对传统交通行业产生了深远的影响。 智慧交通利用边缘计算和物联网等先进人工智能技术&#xff0c;赋能传统交通行业数字化升级。…

[QT编程系列-34]:科学计算 - QT对python语言和python库的支持, C++与python混合编程

目录 第1章 QT对python语言和python库的支持 1.1 概述 1.2 C与Python的混合编程 第2章 PyQt &#xff08;在python语言环境下&#xff0c;提供QT的编程环境&#xff09; 2.1 概述 2.2 pyQT python代码示例 2.3 PyQt的一般使用方法 &#xff08;在python环境下使用QT&am…

无法加载文件 C:\Program Files\nodejs\npm.ps1,因为在此系统上禁止运行脚本。npm.ps1 cannot be loaded

目录 原因 解决方法 提示 查看当前的执行策略命令 改回默认值 "Restricted"命令 这个错误提示是因为您的系统禁止执行 PowerShell 脚本。 原因 现用执行策略是 Restricted&#xff08;默认设置&#xff09; 解决方法 以管理员身份运行 PowerShell&#xff1a;右键…

CollectionUtils工具类的使用

来自&#xff1a;小小程序员。 本文仅作记录 org.apache.commons.collections包下的CollectionUtils工具类&#xff0c;下面说说它的用法&#xff1a; 一、集合判空 通过CollectionUtils工具类的isEmpty方法可以轻松判断集合是否为空&#xff0c;isNotEmpty方法判断集合不为…

PyTorch Lightning教程二:验证、测试、checkpoint、早停策略

介绍&#xff1a;上一期介绍了如何利用PyTorch Lightning搭建并训练一个模型&#xff08;仅使用训练集&#xff09;&#xff0c;为了保证模型可以泛化到未见过的数据上&#xff0c;数据集通常被分为训练和测试两个集合&#xff0c;测试集与训练集相互独立&#xff0c;用以测试模…

【Visual Studio】无法打开包括文件: “dirent.h”: No such file or directory

VS2017/2019 无法打开包括文件: “dirent.h”: No such file or directory 1 “dirent.h”: No such file or directory 在windows下的VS2017/2019编译器中&#xff0c;发现无法打开“dirent.h”&#xff0c;主要是MSVC并没有实现这个头文件&#xff0c;但是在Linux这个头文件…

如何以管理员权限安装某个msi

介绍 如何以管理员权限安装某个msi 方法 要以管理员权限在控制台中安装一个 MSI 文件&#xff0c;你可以按照以下步骤操作&#xff1a; 打开命令提示符&#xff08;或 PowerShell&#xff09;&#xff1a;按下 Win R 键&#xff0c;在运行窗口中输入 “cmd”&#xff08;或 …