Docker Minio rclone数据迁移

docker minio进行数据迁移

使用rclone进行数据迁移是一种非常灵活且强大的方式,特别是在处理大规模数据集或跨云平台迁移时。rclone是一款开源的命令行工具,用于同步文件和目录到多种云存储服务,包括MinIO。下面是使用rclone进行数据迁移至MinIO的步骤和示例。

使用rclone迁移

下载地址

https://rclone.org/downloads/

image-20240722212736624

安装配置

#安装rmp
rpm -ivh rclone-v1.66.0-linux-amd64.rpm
#配置rclone
mkdir -p /root/.config/rclone/
touch /root/.config/rclone/rclone.conf
vim /root/.config/rclone/rclone.conf

文件内容:

[old]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region = 
endpoint = http://ip:9000[new]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region = 
endpoint = http://ip:9000

查看配置信息

rclone config show

迁移命令

rclone sync -P old:bucket new:bucket

copy和sync命令的区别:

copy:增量复制,源文件删除再进行同步,新地址不会删除;
sync:同步数据,源服务某个文件被删除,新服务中对应文件也被删除。

image-20240722215217330

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/50546.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

学习型组织:知识创造的 SECI 螺旋模型 —— 隐性知识和显性知识的转换

《创造知识的企业》的日本学者野中郁次郎用了 30 多年的时间跟踪日本企业的变化,揭示日本企业成功的奥秘。 在野中之前和之后,也有不少学者聚焦日本,但是,多数人看到的,只是优良的生产技术,企业和顾客、供…

打卡Datawhale第一天!!!

最近参加了Datawhale的一个活动学习一些有趣的知识。 官方发的教程还是挺详细的嘛,跟着官方教程走,基本没什么错误 跑模型中... 跑完咯...gpu跑得就是快 等待评分... 最后结果: 总结:这次都是跟着教程来走的 ,希望在后…

力扣高频SQL 50题(基础版)第十八题

文章目录 力扣高频SQL 50题(基础版)第十八题1633. 各赛事的用户注册率题目说明思路分析实现过程准备数据实现方式结果截图 力扣高频SQL 50题(基础版)第十八题 1633. 各赛事的用户注册率 题目说明 用户表: Users --…

柯达sd卡数据丢失怎么办?分享有效数据恢复方法

随着科技的进步,数码相机已成为我们生活中不可或缺的一部分,而柯达作为摄影界的知名品牌,其相机及配件更是广受欢迎。然而,在日常使用中,难免会遇到数据丢失的情况,特别是SD卡中的数据丢失,常常…

AJAX-XMLHttpRequest 详解

(创作不易,感谢有你,你的支持,就是我前行的最大动力,如果看完对你有帮助,请留下您的足迹) 目录 前言 XMLHttpRequest 概述 主要用途 工作流程 示例代码 GET 请求示例 POST 请求示例 注意事项 工作…

API签名认证

前言(项目背景): 这个API签名认证是API开放平台得一个重要环节,我们知道,这个API开发平台,用处就是给客户去调用现成得接口来完成某些事情得。 在讲API签名认证之前,我们先模拟一个场景并且介绍…

Java中为什么在迭代器遍历的过程中修改原有集合中的内容会报错?为什么要这样设计?

在Java中,迭代器(Iterator)是一种常用的设计模式,用于访问集合(如List、Set等)中的元素,而无需关心集合的实现细节。然而,在使用迭代器遍历集合时,直接修改集合的内容&am…

产业分析三部曲:如何快速完成存客产业识别、产业分布分析、区域产业分析?

2024年7月15日至18日,中国共产党第二十届中央委员会第三次全体会议在北京举行,审议通过了《中共中央关于进一步全面深化改革、推进中国式现代化的决定》。 《决定》提出,深化国资国企改革,完善管理监督体制机制,推动国…

Dubbo SPI 之负载均衡

1. 背景介绍 在分布式系统中,负载均衡是一项核心技术,旨在将请求合理地分配到多个服务实例上,以提高系统的性能和可靠性。Dubbo 作为一个高性能的 Java RPC 框架,提供了多种负载均衡策略来满足不同的业务需求。本文将深入探讨 Du…

Mistral新旗舰决战Llama 3.1,最强开源Large 2 123B,扛鼎多语言编程全能王

【新智元导读】紧跟着Meta的重磅发布,Mistral Large 2也带着权重一起上新了,而且参数量仅为Llama 3.1 405B的三分之一。不仅在编码、数学和多语言等专业领域可与SOTA模型直接竞争,还支持单节点部署。 昨天正式发布的Llama 3.1模型&#xff0…

react中路由跳转以及路由传参

一、路由跳转 1.安装插件 npm install react-router-dom 2.路由配置 路由配置:react中简单的配置路由-CSDN博客 3.实现代码 // src/page/index/index.js// 引入 import { Link, useNavigate } from "react-router-dom";function IndexPage() {const …

【MR】现代机器人学-算法库函数解析(C++版截止2024.4.7)

算法库提供以下函数的实现 NearZero: 判断一个值是否可以忽略为0。ad: 计算给定6维向量的6x6矩阵[adV]。Normalize: 返回输入向量的归一化版本。VecToso3: 返回角速度向量的反对称矩阵表示。so3ToVec: 返回由反对称矩阵表示的角速度向量。AxisAng3: 将指数旋转转换为其单独的分…

CSS常见属性详解——内边距与外边距

内边距与外边距 内边距 外边距 应用场景 在网页排版布局时,我们经常会希望元素与元素之间有一定的间距,此时我们可能会用到CSS的外边距或内边距属性,这两个属性都能让元素之间产生距离,那么他们之间有什么不同呢? …

Nginx系列-10 realIp模块使用

背景 Nginx对每个模块都有说明文档,可参考:https://nginx.org/en/docs/ 当请求被代理后,真实客户端相对服务器被隐藏,即服务端无法判断HTTP消息来源。 如上图所示,IP分别为100.100.100.1和100.100.100.2的两个客户端向服务器200.…

centos7安装es及简单使用

为了方便日后查看,简单记录下! 【启动es前,需要调整这个配置文件(/opt/elasticsearch-6.3.0/config/elasticsearch.yml)的两处ip地址,同时访问页面地址的ip:9200时,ip地址也对应修改】 【启动kibana前,需要调整这个配置文件(/opt/kibana-6.3.0/config/k…

java面试题 Spring部分(二)

1.Spring Boot的生命周期 典型回答 一个Spring的Bean从出生到销毁的全过程就是他的整个生命周期,经历以下的几个阶段: 整个生命周期可以大致分为3个大的阶段,分别是:创建、使用、销毁。还可以进一步分为5个小阶段:实…

08 字符串和字节串

使用单引号、双引号、三单引号、三双引号作为定界符(delimiter)来表示字符串,并且不同的定界符之间可以相互嵌套。 很多内置函数和标准库对象也都支持对字符串的操作。 x hello world y Python is a great language z Tom said, "Le…

centos7 mysql 基本测试(6)主从简单测试

centos7 xtrabackup mysql 基本测试(6)主从简单测试 mysql -u etc -p 1234aA~1 参考: centos7 时区设置 时间同步 https://blog.csdn.net/wowocpp/article/details/135931129 Mysql数据库:主从复制与读写分离 https://blog.csd…

HTML常见标签——超链接a标签

一、a标签简介 二、a标签属性 href属性 target属性 三、a标签的作用 利用a标签进行页面跳转 利用a标签返回页面顶部以及跳转页面指定区域 利用a标签实现文件下载 一、a标签简介 <a>标签用于做跳转、导航&#xff0c;是双标签&#xff0c;记作<a></a>&#…

移动式气象站:科技赋能,精准预报的新篇章

在这个气候多变、极端天气频发的时代&#xff0c;气象信息的准确性与及时性成为了社会各界关注的焦点。从农业生产到城市规划&#xff0c;从航空航海到日常生活&#xff0c;气象服务无处不在&#xff0c;其重要性不言而喻。而在这场气象科技的变革中&#xff0c;移动式气象站以…