将阿里云中数据传输到其他超算服务器

目录

方法一:在阿里云中连接超算,然后使用rsync(速度慢)

方法2:rclone(速度很快,100G只花了大约20min)


方法一:在阿里云中连接超算,然后使用rsync/scp(速度慢)

1.在阿里云中制作密钥

[root@host ~]$ ssh-keygen <== 制作密钥
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): <== 按 Enter
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase): <== 密钥密码,或者按Enter设为空
Enter same passphrase again: <== 再次输入密钥密码
Your identification has been saved in /root/.ssh/id_rsa. <== 私钥
Your public key has been saved in /root/.ssh/id_rsa.pub. <== 公钥

 公钥/root/.ssh/id_rsa.pub     私钥/root/.ssh/id_rsa

2.将公钥内容复制添加到超算用户目录下.ssh/authorized_keys文件(可使用ssh-copy-id user@hostname ,未验证)后,

保证文件权限

chmod 600 authorized_keys
chmod 700 ~/.ssh

3.测试是否能够通过SHH密钥认证登录到远程服务器

ssh user@remote_server_ip
#例如ssh scxlab0069@BSCC-N32-H@ssh.cn-zhongwei-1.paracloud.com
#scxlab0069@BSCC-N32-H是超算user名 
#ssh.cn-zhongwei-1.paracloud.com是超算服务器ip 

 4.在阿里云中传输数据

rsync -avz --partial /mnt/data/oss_beijing/wzf/ scxlab0069@BSCC-N32-H@ssh.cn-zhongwei-1.paracloud.com:/home/bingxing2/ailab/group/ai4agr/wzf/
#其中/mnt/data/oss_beijing/wzf/是阿里云中数据路径 
#scxlab0069@BSCC-N32-H是超算user名 
#ssh.cn-zhongwei-1.paracloud.com是超算服务器ip  
#/home/bingxing2/ailab/group/ai4agr/wzf/是数据要复制到的路径

注:也可以采用scp

scp local_file user@hostname:remote_location        #将本地文件复制到远程服务器 scp user@hostname:remote_file local_location        #将远程服务器上的文件复制到本地计算机

 

方法2:rclone(速度很快,100G只花了大约20min)

类似于阿里云OSS->单机

1.先在官网Rclone downloads上下载合适版本的rclone包到超算平台

例如我的超算服务器是CPU是 aarch64 架构 linux环境

2.配置rclone config 

创建rclone.conf文件 与下载的rclone-v1.66.0-linux-arm64文件位于同一目录下

内容模板为

[Aliyun]
type=s3
provider=Alibaba
access_key_id=xxxxxxxxxxxxxxxxxxx
secret_access_key=xxxxxxxxxxxxxxxxxxxxx
endpoint=oss-cn-beijing.aliyuncs.com
acl=private
bucket_acl=private

注意!!! 

  • OSS 的 access key 和在阿里云上面用的个人的 access key 不是一个东西

  • OSS 的 access key 问你的 leader

 3.传输文件指令

rclone copy --progress --transfers 200 --checkers 200 Aliyun:pjlab-3090-ai4bio/wzf/ 服务器目标目录# Aliyun为config文件中配置名 pjlab-3090-ai4bio为oss桶名
#--transfers 200 --checkers 200 这两个参数为传输时的并发数和校验文件数
#如果找不到config文件 加上参数  --config rcloneconfig文件路径#./rclone ls Aliyun:pjlab-3090-ai4bio/ 可以查看链接oss是否成功
#如果数据量大则可以使用nohup命令放在后台执行,通过tail -f logs-.log 来查看迁移进度
#例如 nohup rclone copy --progress --transfers 200 --checkers 200 Aliyun:pjlab-3090-ai4bio/wzf/ 服务器目标目录 >> logs-Mytest.log 2>&1 &

rclone补充

 阿里云oss->集群ceph桶(Ceph分布式存储系统)

rclone.conf文件配置模板

[cephhdd]
type = s3
provider = Ceph
access_key_id = xxxxxxx
secret_access_key = xxxxxx
endpoint = http://10.140.2.231:80
acl = private [Aliyun]
type=s3
provider=Alibaba
access_key_id=xxxxxxxxxxxxxxxxxxx
secret_access_key=xxxxxxxxxxxxxxxxxxxxx
endpoint=oss-cn-beijing.aliyuncs.com
acl=private
bucket_acl=private

注:阿里云OSS的access_key和 集群ceph桶的access_key不是同一个

传输文件指令(例如传输到s集群ceph的Mytest桶中)

rclone copy --progress --transfers 200 --checkers 200 Aliyun:pjlab-3090-ai4bio/wzf/ cephhdd:Mytest/  

参考:

两个服务器之间通过密钥免密传输文件_两台主机使用秘钥通信-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/3690.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网贷大数据黑名单要多久才能变正常?

网贷大数据黑名单是指个人在网贷平台申请贷款时&#xff0c;因为信用记录较差而被列入黑名单&#xff0c;无法获得贷款或者贷款额度受到限制的情况。网贷大数据黑名单的具体时间因个人信用状况、所属平台政策以及银行审核标准不同而异&#xff0c;一般来说&#xff0c;需要一定…

mac: docker安装及其Command not found: docker

已经安装了docker desktop&#xff0c;没安装的 点击安装 傻瓜式安装即可 接着打开终端&#xff1a;好一个 Comand not found:docker 看我不把你整顿&#xff0c;解决如下&#xff1a; 如果你在 macOS 上安装了 Docker Desktop&#xff0c;但是终端无法识别 docker 命令&…

微信搜一搜优化:今天你“搜一搜”了吗?

微信“搜一搜”功能的排名规则和机制是微信生态系统中非常重要的一部分&#xff0c;它决定了小程序、公众号、文章、直播等内容在搜索结果中的展示顺序。小柚给大家整理了一份对其排名规则和机制的详细解析&#xff1a; 首先&#xff0c;关键词匹配度是影响搜索结果排名的重要…

HashMap底层实现条分缕析

目录 题外话 正题 哈希表 哈希碰撞 HashMap底层实现 小结 题外话 又水了两天,怪我,在宿舍确实没什么状态,是时候调整调整了 正题 今天直接讲解HashMap底层实现 哈希表 哈希表又称散列表 是数组和单向链表的结合体 如下图 而哈希表存放元素机制是靠哈希函数解析关键…

Jira搭建过程

看到很多小伙伴对jira有兴趣,我们今天就来分享一下jira的搭建吧 首先要明白jira是什么? 看来搭建jira也是我们测试人员需要具备的技能之一了.下面是详细的大家步骤: 1.系统环境准备 Centos 7.5 Mysql 5.6 Java1.8 2.软件安装包 atlassian-jira-software-7.13.0-x64.bin …

Linux_环境变量

目录 1、查询所有环境变量 2、常见的环境变量 2.1 PATH 2.2 HOME 2.3 PWD 3、增加新的环境变量 4、删除环境变量 5、main函数的三个形参 5.1 argv字符串数组 5.2 env字符串数组 6、系统调用接口 6.1 getenv 6.2 putenv 7、全局变量environ 结语 前言&…

SpringBoot + kotlin 协程小记

前言&#xff1a; Kotlin 协程是基于 Coroutine 实现的&#xff0c;其设计目的是简化异步编程。协程提供了一种方式&#xff0c;可以在一个线程上写起来像是在多个线程中执行。 协程的基本概念&#xff1a; 协程是轻量级的&#xff0c;不会创建新的线程。 协程会挂起当前的协…

中颖51芯片学习9. PWM(12bit脉冲宽度调制)

中颖51芯片学习9. PWM&#xff08;12bit脉冲宽度调制&#xff09; 一、资源简介二、PWM工作流程三、寄存器介绍1. PWMx控制寄存器PWMxCON2. PWM0周期寄存器PWM0PH/L3. PWM1周期寄存器PWM1PH/L4. PWM0占空比控制寄存器PWM0DH/L5. PWM1占空比控制寄存器 PWM1DH/L6. 占空比寄存器与…

跨语言指令调优深度探索

目录 I. 介绍II. 方法与数据III. 结果与讨论1. 跨语言迁移能力2. 问题的识别3. 提高跨语言表现的可能方向 IV. 结论V. 参考文献 I. 介绍 在大型语言模型的领域&#xff0c;英文数据由于其广泛的可用性和普遍性&#xff0c;经常被用作训练模型的主要语料。尽管这些模型可能在英…

ESLlint重大更新后,使用旧版ESLint搭配Prettier的配置方式

概要 就在前几天&#xff0c;ESLint迎来了一次重大更新&#xff0c;9.0.0版本&#xff0c;根据官方文档介绍&#xff0c;使用新版的先决条件是Node.js版本必须是18.18.0、20.9.0&#xff0c;或者是>21.1.0的版本&#xff0c;新版ESLint将不再直接支持以下旧版配置(非扁平化…

二、OSPF协议基础

基于SPF算法&#xff08;Dijkstra算法&#xff09;的链路状态路由协议OSPF&#xff08;Open Shortest Path First&#xff0c;开放式最短路径优先&#xff09; 目录 1.RIP在大型网络中部署所面临的问题 2.Router ID 3.OSPF的报文 4.OSPF邻居建立过程 5.OSPF报文的确认机制…

SAP的生成式AI

这是一篇openSAP中关于SAP生成式AI课程的笔记,原地址https://open.sap.com/courses/genai1/ 文章目录 Unit 1: Approaches to artificial intelligence概念三种范式监督学习非监督学习强化学习Unit 2: Introduction to generative AI生成式AI基础模型关系基础模型有哪些能力呢…

怎么通过isinstance(Obj,Class)验证?【isinstance】

最近有这样一个项目&#xff0c;这个项目可以用一个成熟的项目的构造树&#xff0c;读取树&#xff0c;再检索的过程&#xff0c;现在有新的需求&#xff0c;另一个逻辑构造同样节点结构的树&#xff0c;pickle序列化保存&#xff0c;再使用原来项目的读取、检索函数&#xff0…

一年期免费SSL证书申请方法

免费SSL证书的申请已经成为当今互联网安全实践中的重要环节&#xff0c;它不仅有助于保护网站数据传输的隐私性和完整性&#xff0c;还能提升用户信任度&#xff0c;因为现代浏览器会明确标识出未使用HTTPS&#xff08;即未部署SSL证书&#xff09;的网站为“不安全”。以下是一…

互联网安全面临的全新挑战

前言 当前移动互联网安全形势严峻&#xff0c;移动智能终端漏洞居高不下、修复缓慢&#xff0c;移动互联网恶意程序持续增长&#xff0c;同时影响个人和企业安全。与此同时&#xff0c;根据政策形势移动互联网安全监管重心从事前向事中事后转移&#xff0c;需加强网络安全态势感…

玩转必应bing国内广告投放,正确的攻略方式!

搜索引擎广告作为精准触达潜在客户的重要渠道&#xff0c;一直是众多企业营销策略中的关键一环&#xff0c;在国内市场&#xff0c;虽然百度占据主导地位&#xff0c;但必应Bing凭借其独特的用户群体、高质量的搜索体验以及与微软生态的紧密集成&#xff0c;为广告主提供了不可…

相关运算及实现

本文介绍相关运算及实现。 相关运算在相关检测及数字锁相放大中经常用到&#xff0c;其与卷积运算又有一定的联系&#xff0c;本文简要介绍其基本运算及与卷积运算的联系&#xff0c;并给出实现。 1.定义 这里以长度为N的离散时间序列x(n),y(n)为例&#xff0c;相关运算定义如…

nvm管理多个node版本,快速来回切换node版本

前言 文章基于 windows环境 使用nvm安装多版本nodejs。 最近公司有的项目比较老需要降低node版本才能运行&#xff0c;由于来回进行卸载不同版本的node比较麻烦&#xff1b;所以需要使用node工程多版本管理&#xff0c;后面自己就简单捯饬了一下nvm来管理node&#xff0c;顺便…

VTK----VTK数据结构详解2(计算机篇)

在VTK中&#xff0c;属性数据和点都用数据数组&#xff08;data arrays&#xff09;表示。某些属性数据&#xff08;例如法线、张量&#xff09;需要具有与其定义一致的元组&#xff08;在计算机编程中&#xff0c;元组&#xff08;tuple&#xff09;用来表示存储多种数据类型的…

vue下载文件时显示进度条

1.单个下载&#xff08;开始是导出按钮 下载显示进度条&#xff09; html <el-button click.stop"exportReport(scope.row, scope.index)" v-if"!scope.row.schedule" icon"el-icon-download"size"small" type"text"styl…