docker minio进行数据迁移
使用rclone进行数据迁移是一种非常灵活且强大的方式,特别是在处理大规模数据集或跨云平台迁移时。rclone是一款开源的命令行工具,用于同步文件和目录到多种云存储服务,包括MinIO。下面是使用rclone进行数据迁移至MinIO的步骤和示例。
使用rclone迁移
下载地址
https://rclone.org/downloads/
安装配置
#安装rmp
rpm -ivh rclone-v1.66.0-linux-amd64.rpm
#配置rclone
mkdir -p /root/.config/rclone/
touch /root/.config/rclone/rclone.conf
vim /root/.config/rclone/rclone.conf
文件内容:
[old]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region =
endpoint = http://ip:9000[new]
type = s3
provider = Minio
env_auth=false
access_key_id = minio
secret_access_key = minio
region =
endpoint = http://ip:9000
查看配置信息
rclone config show
迁移命令
rclone sync -P old:bucket new:bucket
copy和sync命令的区别:
copy:增量复制,源文件删除再进行同步,新地址不会删除;
sync:同步数据,源服务某个文件被删除,新服务中对应文件也被删除。