rclone迁移对象存储之间的数据

1 概述

rclone是一款文件复制工具,既可以用于在linux主机之间复制文件,也可以在对象存储之间复制文件。
rclone的官网为:

https://rclone.org

rlcone关于对象存储的官方文档为:

https://rclone.org/s3

2 安装

2.1 yum安装

yum -y install rclone

2.2 二进制安装

curl -O https://downloads.rclone.org/rclone-current-linux-amd64.zip
unzip rclone-current-linux-amd64.zip
cd rclone-*-linux-amd64
cp rclone /usr/bin/
chown root:root /usr/bin/rclone
chmod 755 /usr/bin/rclone

3 配置

创建rclone的配置文件

mkdir -p $HOME/.config/rclone
touch $HOME/.config/rclone/rclone.conf

依据实际情况,输入以下内容:

[myminio]
type = s3
provider = Minio
env_auth = false
access_key_id = admin
secret_access_key = admin@2024
endpoint = http://127.0.0.1:9090[myobs]
type = s3
provider = Other
env_auth = false
access_key_id = xxxxxxxxxxxxxx你的ak
secret_access_key = xxxxxxxxxxxxxxxxxx你的sk
region = cn-north-9
endpoint = obs.cn-north-9.myhuaweicloud.com

4 迁移对象存储的数据

目标端桶名为:ceshi12345678
在这里插入图片描述

源端桶名为demo,执行以下命令进行文件复制:

# rclone sync会删除目标端多余的文件,让源端桶和目标桶完全保持一致。
# clone copy --update只会复制那些位于源端但不存在于目标端的文件,不会在目标端删除文件,一般情景下推荐此命令。
rclone copy --update myminio:demo myobs:ceshi12345678 --progress

在这里插入图片描述

在这里插入图片描述

接着在源端桶中新上传一个文件java_error_in_GOLAND_11842.log

在这里插入图片描述

再次执行clone copy --update命令,会发现本次只传输了一个文件到目标桶中,正是这次新增的文件。

在这里插入图片描述
在这里插入图片描述


5 小结

rclone是一个文件复制的神器,本文介绍了如何在配置文件中设置源端和目标端的对象存储信息,并使用rclone copy命令进行数据的全量和增量的迁移。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/14927.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用Spring Boot和Screw轻松生成数据库设计文档

目录 引言 准备工作 项目初始化 引入依赖 配置数据库连接 集成Screw生成文档 基本配置 生成数据库文档 实战操作 示例项目 生成效果 结论 常见问题 延伸阅读 引言 数据库设计文档是项目技术文档的重要组成部分。它不仅有助于开发人员理解数据库结构&#xff0c…

PY32F系列32位单片机 特殊引脚复用说明

一 、 PY32F030 系 列 , 包 括 PY32F030 、PY32F003、 PY32F002A、 XL32F003 的特殊引脚使用说明。 1、晶振引脚的复用,使用 HSE/LSE 引脚作为 GPIO 功能引脚时,只要没有配置相关功能的情况下,正常配置 GPIO 功能即可。 其中&am…

SpringBoot3.x 整合 Spring AI

Spring AI 已经发布了一段时间,虽然推出的时候就被人说只是一个套了 API 的壳,但是作为 Spring 生态的一个开源项目,用它来结合到现有业务系统中还是一个比较好的方案,毕竟像笔者当初为了接入 OpenAI 的 API,还专门学了…

Pydantic与Sqlalchemy数据模型的枚举类型实践

说明: 乍看时以为很容易的东西,摸索实践后才知道窍门实战中我是用Tinyint / Interger 作为保存 enum对象数值的字段类型, 而不是用数据库中提供的ENUM类型字段,因为有更好的扩展性,性能,节省空间作为使用理…

Git 在Windows上添加文件换行相关设置

Windows使用Git时,如果在提交时希望换行符不变(CRLF换行不转换为LF),core.autocrlf选项可以按照如下设置。 时保留CRLF换行符,检出时转换为LF,core.autocrlf为true: git config --global core.…

pcd点云江湖之处处碰壁:点云文件pcd加载02

江湖好汉,休走,废了半天力气把threejs自带的代码搬迁到自己项目中了,高高兴兴给领导看。领导一句话,顿时无奈:领导曰:点云单色太丑,能不能按照分类展示? 一句话难道英雄好汉&#xf…

#P0564. 数组元素查找升级版

问题描述 给你 n 个数,再给你一个数 k,查找 k 在这 n 个数中第一次出现的位置(从 0 开始计数),不存在输出 No。 输入 多组测试数据,对于每组测试数据: 第一行输入一个整数 n (1 ≤ n ≤ 100…

深入理解Vue 3中的v-if和v-for指令

Vue.js是一款流行的JavaScript框架,其简洁的语法和强大的功能使得前端开发变得更加高效和愉快。在Vue 3中,我们看到了许多新的特性和改进,其中包括了两个最常用的指令之一:v-if和v-for。 1. v-if指令 v-if指令是Vue中最常用的条件…

eclipse配置JDK和Tomcat

eclipse配置JDK jdk配置 配置JDK: 首先,确保JDK已经安装并配置了环境变量。这包括设置JAVA_HOME环境变量,指向JDK的安装目录,以及更新CLASSPATH和PATH环境变量以包含JDK的bin目录。 在Eclipse中,通过Window > Pre…

【Verilog编程题】

20240514 20240515 20240516 题目时序有问题,valid_b在第六位数据的同时拉高,而不是在下一个时钟 20240517 module valid_ready( input clk , input rst_n , input [7:0] data_in , input valid_a , input ready_b , output ready_a , output re…

使用 PyTorch 和 Pandas 进行 Kaggle 房价预测

文章目录 1、环境设置2、数据下载3、数据预处理4、模型构建5、训练和验证6、训练模型并生成预测结果7、完整代码 在本篇博文中,我们将探索如何使用 PyTorch 和 Pandas 库,构建一个用于 Kaggle 房价预测的模型。我们将详细讨论数据加载、预处理、模型构建…

vue注册自定义指令

在 Vue 中,可以通过全局或局部注册自定义指令。下面是一个简单的示例,演示如何在 Vue 中注册一个自定义指令。 首先,我们需要定义一个自定义指令。在 Vue 中,自定义指令可以通过全局或局部注册,并在元素上绑定特定的行…

LaTeX 2022软件安装教程(附软件下载地址)

软件简介: 软件【下载地址】获取方式见文末。注:推荐使用,更贴合此安装方法! LaTeX 2022是基于ΤΕΧ的一种排版系统,特别适用于生成科技和数学文档的高质量打印。它可用于各种文档类型,从简单信函到完整…

Java进阶学习笔记2——static

static: 叫静态,可以修饰成员变量、成员方法。 成员变量按照有无static修饰,分为两种: 类变量:有static修饰,属于类,在计算机中只有一份,会被类的全部对象共享。静态成员变量。 实…

即时通讯ICQ将于2024年6月26日起关闭

即时通讯鼻祖ICQ 将于2024年6月26日起停止服务。 背景 ICQ则是由以色列的Mirabilis公司开发,ICQ发布后不久,腾讯发布了中国版QQ,当时界面和概念上非常类似ICQ,同时期还有微软MSN。 那个时候很多人都认为QQ肯定竞争不过ICQ和MSN&…

慢性乙型肝炎肝脏剪切波弹性成像的深度学习放射学显著改善了肝纤维化的诊断性能 | 文献速递-深度学习结合影像组学

慢性乙型肝炎肝脏剪切波弹性成像的深度学习放射学显著改善了肝纤维化的诊断性能 | 文献速递-深度学习结合影像组学 麦田医学 美好事物中转站 2024-05-21 11:03 Title 题目 Deep learning Radiomics of shear wave elastography significantly improved diagnostic performa…

面试准备-项目【面试准备】

面试准备-项目【面试准备】 面试准备自我介绍:项目介绍: 论坛项目功能总结简介数据库表设计注册功能登录功能显示登录信息功能发布帖子评论私信点赞功能关注功能通知搜索网站数据统计热帖排行缓存 论坛项目技术总结Http的无状态cookie和session的区别为什…

《我的阿勒泰》观后感(二、返璞归真也是一种美)

看了李娟的小说《我的阿勒泰》逐渐悟到一个道理,返璞归真也是一种美,没必要每个人的人生三十年的年华,都去追求房子,车子等逐渐贬值的东西。人究竟应该追求怎样的一种活法? 什么是城市化?这是我听到的最好…

UniApp 2.0可视化开发工具:引领前端开发新纪元

一、引言 在移动互联网迅猛发展的今天,移动应用开发已经成为前端开发的重要方向之一。为了简化移动应用开发流程,提高开发效率,各大开发平台不断推出新的工具和框架。UniApp作为一款跨平台的移动应用开发框架,自诞生以来就备受开…