利用Rclone将阿里云对象存储迁移至雨云对象存储的教程,对象存储数据迁移教程

使用Rclone将阿里云对象存储(OSS)的文件全部迁移至雨云对象存储(ROS)的教程,其他的对象存储也可以参照本教程。

Rclone简介

Rclone 是一个用于和同步云平台同步文件和目录命令行工具。采用 Go 语言开发。

它允许在文件系统和云存储服务之间或在多个云存储服务之间访问和同步文件,它具有单向同步功能,使目录完全相同,它具有加密、缓存和联合后端,支持 Fuse 安装,并且可以通过 HTTP、WebDAV、FTP、SFTP 或 DLNA 服务本地或远程文件。

它支持超过 40 种不同的云存储服务,包括 Amazon S3, Google Drive, Dropbox, Microsoft OneDrive, Google Cloud Storage, Amazon Drive, OpenStack Swift, Backblaze B2, Yandex Disk, SFTP, WebDAV, FTP, SFTP, Minio, Wasabi, Alibaba OSS, SwiftStack, Tencent COS, Wasabi, Yandex.Disk, Yandex.Files等等。

rclone 支持多种文件传输方式,包括复制,同步,移动,删除文件。它还支持文件加密和压缩,支持分块上传和分块下载,可以暂停和恢复传输,支持文件的校验和合并。

rclone 的主要优势在于它的灵活性和可扩展性。它可以用来做很多事情,包括备份,文件同步,数据迁移等。它可以在各种平台上运行,包括 Windows,macOS,Linux,FreeBSD,NetBSD 等。

rclone 的配置简单,可以使用命令行或者配置文件来配置。使用 rclone 可以非常方便的操作云存储,支持的命令也非常丰富,使用起来非常方便。

简单来讲,主要的功能如下:

  • 将文件备份(和加密)到云存储
  • 从云存储还原(和解密)文件
  • 将云数据镜像到其他云服务或本地
  • 将数据迁移到云,或在云存储供应商之间迁移
  • 将多个、加密、缓存或不同的云存储挂载为磁盘
  • 使用 lsf、ljson、size、ncdu 分析和核算云存储上保存的数据
  • 将文件系统合并在一起,将多个本地和/或云文件系统呈现为一个

准备

注册账号并创建存储桶

首先需要注册个雨云账号并新建一个存储桶。

雨云优惠注册地址:https://www.rainyun.com/zeruns_?s=csdn

优惠码:zeruns

使用优惠码注册后绑定微信可获得5折优惠券

雨云账号注册&云服务器购买和使用教程:https://www.bilibili.com/video/BV1Kj411x7G6/

存储桶创建教程可以参考这篇文章:https://blog.zeruns.tech/archives/743.html

下载安装Rclone

Rclone官方下载地址:https://rclone.org/downloads/

window版雨云对象存储下载地址:https://cn-sy1.rains3.com/rainyun-assets/Pic/2023/12/rclone-v1.65.0-windows-amd64_f23f79a27f93b504a2c9b4938c376e6e.zip

本篇教程用windows版,如果你会Linux也可以用Linux,rclone指令都是一样的。

将下载的windows版压缩包解压到你要安装的目录,然后将这个目录路径添加到系统环境变量中,如下图所示。

然后打开CMD,输入命令 rclone --version 来看看有没有安装成功,出现如下图信息就是成功了。

如果不行也可以使用cd命令进入到这个目录,然后用 ./rclone --version 命令

Rclone常见命令

rclone config - 以控制会话的形式添加rclone的配置,配置保存在.rclone.conf文件中。
rclone copy - 将文件从源复制到目的地址,跳过已复制完成的。
rclone sync - 将源数据同步到目的地址,只更新目的地址的数据。
rclone move - 将源数据移动到目的地址。
rclone delete - 删除指定路径下的文件内容。
rclone purge - 清空指定路径下所有文件数据。
rclone mkdir - 创建一个新目录。
rclone rmdir - 删除空目录。
rclone check - 检查源和目的地址数据是否匹配。
rclone ls - 列出指定路径下所有的文件以及文件大小和路径。
rclone lsd - 列出指定路径下所有的目录/容器/桶。
rclone lsl - 列出指定路径下所有文件以及修改时间、文件大小和路径。
rclone md5sum - 为指定路径下的所有文件产生一个md5sum文件。
rclone sha1sum - 为指定路径下的所有文件产生一个sha1sum文件。
rclone size - 获取指定路径下,文件内容的总大小。.
rclone version - 查看当前版本。
rclone cleanup - 清空remote。
rclone dedupe - 交互式查找重复文件,进行删除/重命名操作。

配置对象存储

查看雨云对象存储的信息,还有要迁移的对象存储的信息。

配置雨云对象存储ROS

在CMD输入命令 rclone config 来进入交互式配置选项,进行添加、删除、管理对象存储等操作。

然后输入n来新建一个存储,按照提示输入雨云对象存储的信息。

首先时输入存储名,这里可以自己设置一个,我输入ROS

选择存储类型,雨云是兼容S3协议的,所以选择5 / Amazon S3,输入序号5

选择服务商,这里选择其他31 / Any other S3 compatible provider,输入序号31

接着是设置认证方式,其中的env_auth选项用于指定从哪里获取AWS凭证(Access Key ID和Secret Access Key),这里选择第一个手动输入,输入序号1

然后设置Access Key IDSecret Access Key,输入雨云控制台显示的Access Key和Secret Key

  • region> :输入序号1
  • endpoint> :输入雨云对象存储控制台显示的API端点地址,将地址后面的存储桶名称去掉,例如https://cn-sy1.rains3.com
  • location_constraint> :留空,直接回车

acl> :输入序号1

  • 是否编辑高级配置,输入n表示否
  • 确认信息有没有错,输入y表示没错
  • 最后输入q退出编辑

验证一下有没有添加成功,信息有没有错,先在雨云对象存储的存储桶上上传个文件,然后在CMD输入命令 rclone ls ROS:zeruns-test2 来列出存储桶的目录和文件,如果有你上传的文件就表示成功了,命令中的ROS替换成你上面设置存储名时输入的,zeruns-test2替换成你自己的存储桶名称。

配置阿里云OSS

在CMD输入命令 rclone config 来进入交互式配置选项。

然后输入n来新建一个存储,按照提示输入阿里云对象存储的信息。

首先时输入存储名,这里可以自己设置一个,我输入OSS

选择存储类型,阿里云是兼容S3协议的,所以选择5 / Amazon S3,输入序号5

选择服务商,这里选择阿里云2 / Alibaba Cloud Object Storage System (OSS) formerly Aliyun,输入序号2

接着是设置认证方式,其中的env_auth选项用于指定从哪里获取AWS凭证(Access Key ID和Secret Access Key),这里选择第一个手动输入,输入序号1

然后设置Access Key IDSecret Access Key,输入从阿里云控制台获取的AccessKey ID和AccessKey Secret。

选择对象存储endpoint,我创建的阿里云OSS区域选的是华北6(乌兰察布),所以选择9 / North China 6 (Ulanqab),输入序号9,你们根据自己实际情况选。也可以手动输入阿里云控制台显示的Endpoint(地域节点)

acl> :输入序号1

  • 选择存储类型,我创建OSS存储桶(Bucket)时选的是标准存储,所以输入序号2,选项1是默认,选项3是归档存储,选项4是低频访问存储.
  • 是否编辑高级配置,输入n表示否
  • 确认信息有没有错,输入y表示没错
  • 最后输入q退出编辑

验证一下有没有添加成功,信息有没有错,先在阿里云对象存储的存储桶上上传个文件,然后在CMD输入命令 rclone ls OSS:zeruns-alioss 来列出存储桶的目录和文件,如果有你上传的文件就表示成功了,命令中的OSS替换成你上面设置存储名时输入的,zeruns-alioss替换成你自己的存储桶名称。

迁移数据

在CMD输入下面的命令将数据从阿里云OSS同步到雨云ROS

rclone sync OSS:zeruns-alioss ROS:zeruns-test2 --progress
# 命令格式:rclone sync 源(配置文件名称): 源数据Bucket  目标源名称:目标bucket (这句是注释,不用输入)

上面命令中的OSS替换成你上面设置阿里云OSS时输入存储名的,zeruns-alioss替换成你自己的阿里云OSS存储桶名称,ROS替换成你上面设置雨云对象存储时输入存储名的,zeruns-test2替换成你自己的雨云ROS存储桶名称。

等待同步完成即可在雨云对象存储控制台看到文件已经同步过来了。

你也可以使用这个工具将本地文件夹同步到对象存储里。

教程到此结束了。

推荐阅读

  • 雨云服务器快速搭建Cloudreve网盘网站并挂载雨云对象存储的教程:https://blog.zeruns.tech/archives/743.html
  • PicGo+雨云ROS搭建自己的图床,可配合Typora使用:https://blog.zeruns.tech/archives/734.html
  • 雨云游戏云MCSM面板服使用&我的世界Forge服务端开服教程:https://blog.zeruns.tech/archives/736.html
  • 雨云虚拟主机使用教程&WordPress博客网站搭建教程:https://blog.zeruns.tech/archives/737.html
  • 雨云游戏云VPS搭建MCSM面板和我的世界Paper服务器教程:https://blog.zeruns.tech/archives/738.html
  • 雨云服务器搭建内网穿透服务器教程,NPS搭建和使用教程:https://blog.zeruns.tech/archives/741.html
  • 高性价比和便宜的VPS/云服务器推荐: https://blog.zeruns.tech/archives/383.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/214459.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

STM32-EXTI外部中断

目录 一、中断系统 二、STM32中断 三、NVIC(嵌套中断向量控制器)基本结构 四、NVIC优先级分组 五、EXTI外部中断 5.1 外部中断基本知识 5.2 外部中断(EXTI)基本结构 ​编辑 5.2.1开发步骤: 5.3 AFIO复用IO口…

ADAudit Plus:强大的网络安全卫士

随着数字化时代的不断发展,企业面临着越来越复杂和多样化的网络安全威胁。在这个信息爆炸的时代,保护组织的敏感信息和确保网络安全已经成为企业发展不可或缺的一环。为了更好地管理和监控网络安全,ADAudit Plus应运而生,成为网络…

Redis分布式锁有什么缺陷?

Redis分布式锁有什么缺陷? Redis 分布式锁不能解决超时的问题,分布式锁有一个超时时间,程序的执行如果超出了锁的超时时间就会出现问题。 1.Redis容易产生的几个问题: 2.锁未被释放 3.B锁被A锁释放了 4.数据库事务超时 5.锁过期了…

centos 7 卸载图形化界面步骤记录

centos7 服务器操作系统,挺小一配置,装了图形化界面,现在运行程序的时候跑不动了,我想这图形界面也没啥用,卸载了算了! 卸载步骤 yum grouplist 查询已经安装的组件 可以看到 图形化界面 等是以分组存在的…

TCP数据粘包的处理

TCP数据粘包的处理 背锅侠TCP解决方案2.1 发送端2.2 接收端 背锅侠TCP 在前面介绍套接字通信的时候说到了TCP是传输层协议,它是一个面向连接的、安全的、流式传输协议。因为数据的传输是基于流的所以发送端和接收端每次处理的数据的量,处理数据的频率可…

Qt练习题

1.使用手动连接,将登录框中的取消按钮使用qt4版本的连接到自定义的槽函数中,在自定义的槽函数中调用关闭函数 将登录按钮使用qt5版本的连接到自定义的槽函数中,在槽函数中判断ui界面上输入的账号是否为"admin",密码是否…

【Angular开发】Angular 16发布:发现前7大功能

Angular 于2023年5月3日发布了主要版本升级版Angular 16。作为一名Angular开发人员,我发现这次升级很有趣,因为与以前的版本相比有一些显著的改进。 因此,在本文中,我将讨论Angular 16的前7个特性,以便您更好地理解。…

机器学习基础介绍

百度百科: 机器学习是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。 …

手工酸奶店如何选址?开在哪里比较合适?

手工酸奶店是一个非常受欢迎的创业项目,但想要成功开店,选址是非常重要的。 本人开酸奶店5年时间,下面我将为大家分享一些选址的小技巧,希望对大家有所帮助。(可以点赞收藏,方便以后随时查阅) …

入职字节外包一个月,我离职了。。。

有一种打工人的羡慕,叫做“大厂”。 真是年少不知大厂香,错把青春插稻秧。 但是,在深圳有一群比大厂员工更庞大的群体,他们顶着大厂的“名”,做着大厂的工作,还可以享受大厂的伙食,却没有大厂…

12.11 C++ 作业

完善对话框,点击登录对话框,如果账号和密码匹配,则弹出信息对话框,给出提示”登录成功“,提供一个Ok按钮,用户点击Ok后,关闭登录界面,跳转到其他界面 如果账号和密码不匹配&#xf…

树根研习社|数据为王,洞察“工业数据采集”背后的价值与实践

一、工业数据采集是什么? 数据采集是将各种信息传感设备通过网络结合起来,实现任何时间、任何地点,人、机、物的互联互通。数据采集的主要的作用是: “翻译官”:不同程序语言的设备数据通过协议解析“翻译”为上层系…

淘宝权益玩法平台的Serverless化实践

通过对权益玩法平台现有业务应用的Serverless化改造,权益团队在双十一期间完美地支撑了业务需求,在研发效率、运维保障等方面都体现出了很高的价值和收益。 项目背景 淘宝权益平台是负责淘宝权益营销的核心团队,团队除了负责拉菲权益平台外&a…

1.cloud-微服务架构编码构建

1.微服务cloud整体聚合父工程 1.1 New Project 1.2 Maven选版本 1.3 字符编码 1.4 注解生效激活 主要为lombok中的Data 1.5 java编译版本选8 1.6 File Type过滤 *.hprof;*.idea;*.iml;*.pyc;*.pyo;*.rbc;*.yarb;*~;.DS_Store;.git;.hg;.svn;CVS;__pycache__;_svn;vssver.scc;v…

Nginx配置文件的基本用法

Nginx简介 1.1概述 Nginx是一个高性能的HTTP和反向代理服务器。 是一款轻量级的高性能的web服务器/反向代理服务器/电子邮件(IMAP/POP3)代理服务器 单台物理服务器可支持30 000~50 000个并发请求。 1.2Nginx和Apache的优缺点 &#xff…

mybatis数据输出-insert操作时获取自增列的值给对应的属性赋值

jdbc-修改 水果库存系统的 BaseDao 的 executeUpdate 方法支持返回自增列-CSDN博客 1、建库建表 CREATE DATABASE mybatis-example;USE mybatis-example;CREATE TABLE t_emp(emp_id INT AUTO_INCREMENT,emp_name CHAR(100),emp_salary DOUBLE(10,5),PRIMARY KEY(emp_id) );INSE…

王炸升级!PartyRock 10分钟构建 AI 应用

前言 一年一度的亚马逊云科技的 re:Invent 可谓是全球云计算、科技圈的狂欢,每次都能带来一些最前沿的方向标,这次也不例外。在看完一些 keynote 和介绍之后,我也去亲自体验了一些最近发布的内容。其中让我感受最深刻的无疑是 PartyRock 了。…

基于SSM的健身房预约系统设计与实现

末尾获取源码 开发语言:Java Java开发工具:JDK1.8 后端框架:SSM 前端:Vue 数据库:MySQL5.7和Navicat管理工具结合 服务器:Tomcat8.5 开发软件:IDEA / Eclipse 是否Maven项目:是 目录…

网络安全攻击预警/态势预测算法汇总

总结: 网络安全攻击预警/态势预测算法众多,主要包括: 基于统计学的算法:协方差矩阵、马尔可夫模型等; 基于机器学习的算法:贝叶斯网络、聚类算法、支持向量机SVM、遗传算法、层次分析法AHP、决策树等&am…

Proxmark3 Easy救砖-20231209

事情是这样的,在淘宝买了个PM3,拿到手后刷固件的,一不小心刷成砖头了,现象就是四个灯全亮,插上电脑USB不识别。问商家他也不太懂,也是个半吊子技术,远程给我刷机搞了半天也没有搞定,…