阿里云oss迁移到AWS S3

这里写自定义目录标题

    • 0.项目背景
    • 1.rclone 方式
    • 2.rsync方式
    • 3.注意

0.项目背景

公司迁移要求:从阿里云oss到亚马逊s3,数据量大概500G-2T左右。
开启阿里云oss 加速模式,这样能够跨机房和区域加速。
主要采用以下两种方式同步数据,根据每个公司情况自行选择即可。

1.rclone 方式

#s3 挂载
s3fs ad-amazon-ad /ad-amazon-ad -o url=https://s3.us-east-1.amazonaws.com,endpoint=us-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs yinta-website /yinta-website -o url=https://s3.us-east-1.amazonaws.com,endpoint=us-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs erp-info-test /erp-info-test -o url=https://s3.ap-east-1.amazonaws.com,endpoint=ap-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs erp-info /erp-info -o url=https://s3.ap-east-1.amazonaws.com,endpoint=ap-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs erp-usinfo /erp-usinfo -o url=https://s3.us-east-1.amazonaws.com,endpoint=us-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

#rclone 配置信息
[aws-s3]
type = s3
provider = AWS
access_key_id = xxxxx
secret_access_key = xxxxx
region = ap-east-1
endpoint = s3.ap-east-1.amazonaws.com.cn
location_constraint = ap-east-1

[ali-oss]
type = s3
provider = Alibaba
access_key_id = xxxx
secret_access_key = xxxxx
endpoint = oss-accelerate.aliyuncs.com

#传输命令

nohup rclone sync -P --transfers 8 --checkers 8 --s3-chunk-size 8M --s3-upload-concurrency 8 --log-file=/tmp/rclone.txt --log-level INFO ali-oss:ad-amazon-ad aws-s3-us:ad-amazon-ad>/tmp/ad-amazon-ad.log &

nohup rclone sync -P --transfers 8 --checkers 8 --s3-chunk-size 8M --s3-upload-concurrency 8 --log-file=/tmp/rclone.txt --log-level INFO ali-oss:yinta-website aws-s3-us:yinta-website>/tmp/yinta-website.log &

nohup rclone sync -P --transfers 8 --checkers 8 --s3-chunk-size 8M --s3-upload-concurrency 8 --log-file=/tmp/rclone.txt --log-level INFO ali-oss:erp-info-test aws-s3:erp-info-test >/tmp/rc-test.log &

nohup rclone sync -P --transfers 32 --checkers 16 --s3-chunk-size 15M --s3-upload-concurrency 16 --log-file=/tmp/rclone.txt --log-level INFO ali-oss:erp-usinfo aws-s3-us:erp-usinfo>/tmp/rc-us.log &

nohup rclone sync -P --transfers 32 --checkers 16 --s3-chunk-size 15M --s3-upload-concurrency 16 --log-file=/tmp/rclone.txt --log-level INFO ali-oss:erp-info aws-s3:erp-info >/tmp/rc.log &

#统计s3桶大小
aws s3 ls --summarize --human-readable --recursive s3://erp-info

s3cmd du s3://erp-info / --human-readable

erp-info-test-us 美国西部(俄勒冈) us-west-2 公开 换成弗吉尼亚地区。

参考:https://www.awstweaker.com/2022/02/16/rclone%e5%b7%a5%e5%85%b7%e4%bd%bf%e7%94%a8%e6%89%8b%e5%86%8c/

2.rsync方式

#1.挂载oss所需工具: ossfs
echo erp-info:akxxx:skxxxx > /etc/passwd-ossfs
chmod 600 /etc/passwd-ossfs

#挂载oss
ossfs erp-info /erp-info -ourl=oss-cn-hongkong-internal.aliyuncs.com

#2.挂载S3:所需工具s3fs
echo xxxxxx:xxxxxx/ > ~/.passwd-s3fs
chmod 600 ~/.passwd-s3fs

#挂载
s3fs erp-info-test /erp-info-test -o url=https://s3.ap-east-1.amazonaws.com,endpoint=ap-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs bi-zyb /bi-zyb -o url=https://s3.ap-east-1.amazonaws.com,endpoint=ap-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs yinta-website /yinta-website -o url=https://s3.us-east-1.amazonaws.com,endpoint=us-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

s3fs ad-amazon-ad /ad-amazon-ad -o url=https://s3.us-east-1.amazonaws.com,endpoint=us-east-1,allow_other,uid=1000,gid=1000,mp_umask=007,use_cache=/tmp

#sync
[root@docker-yinta ~]# nohup rsync -av /erp-info-test/ root@16.163.255.57:/erp-info-test/ >/dev/null 2>&1 &
[1] 21449
[root@docker-yinta ~]# nohup rsync -av /erp-usinfo/ root@16.163.255.57:/erp-usinfo/ >/dev/null 2>&1 &
[2] 21562
[root@docker-yinta ~]# nohup rsync -av /erp-info/ root@16.163.255.57:/erp-info/ >/dev/null 2>&1 &
[3] 21759

3.注意

oss中带/ 的目录,用rsync ,rclone ,oss等都无法同步其中文件!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/135752.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

uniapp小程序接入腾讯云【增强版人脸核身接入】

文档地址:https://cloud.tencent.com/document/product/1007/56812 企业申请注册这边就不介绍了,根据官方文档去申请注册。 申请成功后,下载【微信小程序sdk】 一、解压sdk,创建wxcomponents文件夹 sdk解压后发现是原生小程序代…

程序员副业之路,今天花几分钟提现了18.1元,感觉认真做收益还是不错的

干客户端这么多年了,越来越觉得力不从心了,以前加班到半夜,睡一觉第二天又生龙活虎继续干,现在时常感叹:年轻就是好呀,有使不完的劲,就像下面这位兄弟这样,跪着都能给你把代码写完。…

对一个以“#”结束的字符串

本题要求编写程序,对一个以“#”结束的字符串,将其小写字母全部转换成大写字母,把大写字母全部转换成小写字母,其他字符不变输出。 输入格式: 输入为一个以“#”结束的字符串(不超过30个字符)…

Halcon如何使用SaperaLT库连接dalsa相机

halcon安装好的时候,没有带SaperaLT的采集库,需要额外在Halcon官网下载此库。 以下是halcon官网下载此库的链接。官网需要注册才可以下载。 https://www.mvtec.com/downloads/interfaces?tx_mvtecproduct_extensiondownloadlist%5Bfilter%5D%5B0%5Dma…

CC1101 一款低功耗sub- 1ghz收发器芯片 适用于无线遥控智能家居

产品描述 CC1101是一个低成本的sub- 1ghz收发器,专为极低功耗的无线应用而设计。 该电路主要用于工业、科学和医学)和SRD (Short Range Device)频带,在315,433,868和915兆赫,但可以轻松可编程用于其他操作频率在300-348 MHz、387-464 MHz,以及779-928 MHz频段。射…

linux服务器超简单安装配置nginx

1.更新软件源索引并安装 Nginx 对于 CentOS/RHEL: sudo yum update sudo yum install nginx 对于 Ubuntu/Debian: sudo apt update sudo apt install nginx 2.启动 Nginx sudo systemctl start nginx 3.设置 Nginx 开机自启动 sudo systemctl enable nginx 此时 N…

Vulnhub靶场之Funbox

正如该靶场的描述所说,它对初学者来说非常简单。 项目地址:Funbox: Scriptkiddie ~ VulnHub 所需工具: KaliLinux即可。 0x00 信息收集 打开虚拟机后使用nmap扫描一下网段存活,这里我给的虚拟机的范围是100-253,其中kali的IP是10…

16 _ 二分查找(下):如何快速定位IP对应的省份地址?

通过IP地址来查找IP归属地的功能,不知道你有没有用过?没用过也没关系,你现在可以打开百度,在搜索框里随便输一个IP地址,就会看到它的归属地。 这个功能并不复杂,它是通过维护一个很大的IP地址库来实现的。地址库中包括IP地址范围和归属地的对应关系。 当我们想要查询202…

uniapp在不需要后端数据的情况下 怎么记录用户进一次记录一次

目录 前言&#xff1a; html部分 js部分 完整代码 前言&#xff1a; 一时兴起&#xff0c;不喜勿喷&#xff0c;今天听到了这个问题想到了一个方法&#xff0c;解决方式如下。 html部分 他用于显示访问次数&#xff08;visitCount变量的值&#xff09;。 <template&…

【测试工具】UnixBench 测试

一、UnixBench 简介 UnixBench 原本叫做 BYTE UNIX benchmark suite。软件为 Unix 类的系统提供了一些基本的性能指标。通过不同的测试来测试系统不同方面的性能&#xff08;2D&#xff0c;3D&#xff0c;CPU&#xff0c;内存等等&#xff09;。这些测试的结果将和一些标准的系…

【Docker】iptables命令的使用

iptables是一个非常强大的Linux防火墙工具&#xff0c;你可以使用它来控制网络流量的访问和转发。 前面已经学习了iptables的基本原理&#xff0c;四表五链的基本概念&#xff0c;也已经安装好了iptables&#xff0c;下面我们主要学习iptables命令的基本使用。 可以使用iptable…

合肥工业大学计算机网络课设-在线留言板

✅作者简介:CSDN内容合伙人、信息安全专业在校大学生🏆 🔥系列专栏 :hfut实验课设 📃新人博主 :欢迎点赞收藏关注,会回访! 💬舞台再大,你不上台,永远是个观众。平台再好,你不参与,永远是局外人。能力再大,你不行动,只能看别人成功!没有人会关心你付出过多少…

【MySQL日志与备份篇】数据库备份与恢复

数据库备份与恢复 文章目录 数据库备份与恢复1. 物理备份与逻辑备份2. mysqldump实现逻辑备份2.1 备份一个数据库2.2 备份全部数据库2.3 备份部分数据库2.4 备份部分表2.5 备份单表的部分数据2.6 排除某些表的备份2.7 只备份结构或只备份数据2.8 备份中包含存储过程、函数、事件…

基于Virtio-camera的video设备透传

&#xff11;&#xff0e;进度 使用v4l-utils的qv4l2工具和v4l2-compilance工具验证通过&#xff0c;其他摄像头验证工具情况如下&#xff1a; vlc命令&#xff1a;vlc v4l2:///dev/video0&#xff0c;vlc运行有问题&#xff0c;报错找不到PCR值&#xff0c;目前还不知道驱动…

一步一步开发微信小程序(Django+Mysql)

前提&#xff1a;假设你已经安装好Anaconda&#xff0c;微信开发者工具&#xff0c;MySQL数据库&#xff0c;IDE等工具 工具下载地址&#xff1a; Anaconda&#xff1a;https://www.anaconda.com/download MySQL&#xff1a;https://dev.mysql.com/downloads/mysql/ 微信开…

Web前端—CSS高级(定位、高级技巧、CSS修饰属性、综合案例:购物网站轮播图)

版本说明 当前版本号[20231108]。 版本修改说明20231107初版20231108对知识点&#xff08;圆点&#xff09;进行补充 目录 文章目录 版本说明目录day08-CSS高级01-定位相对定位绝对定位定位居中固定定位堆叠层级 z-index定位总结 02-高级技巧CSS精灵案例-京东服务HTML结构CS…

JavaEE-部署项目到服务器

本部分内容为&#xff1a;安装依赖&#xff1a;JDK&#xff0c;Tomcat&#xff0c;Mysql&#xff1b;部署项目到服务器 什么是Tomcat Tomcat简单的说就是一个运行JAVA的网络服务器&#xff0c;底层是Socket的一个程序&#xff0c;它也是JSP和Serlvet的一个容器。 为什么我们需要…

Python 如何实践 Builder(生成器) 对象创建型设计模式?

开始之前&#xff0c;我们先介绍一下该模型的基本信息。 生成器&#xff08;Builder&#xff09;设计模式是一种创建型设计模式&#xff0c;它用于创建复杂对象&#xff0c;将对象的构建过程与表示分离。这种分离可以让我们创建不同类型或配置的对象&#xff0c;同时避免构造函…

FRC-EP系列--你的汽车数据一站式管家

FRC-EP系列产品主要面向汽车动力总成测试的客户&#xff0c;主要应用方向为残余总线仿真及网关。本文将详细介绍FRC-EP的产品特性和应用场景。 应用场景&#xff1a; 汽车电子生成研发过程中&#xff0c;需要对汽车各个控制器进行仿真测试&#xff0c;典型的测试对象有&#…

宝塔常见进程守护方法, 进程守护脚本

添加MySQL进程守护脚本方法 pgrep -x mysqld &> /dev/null if [ $? -ne 0 ];then bash /www/server/panel/script/rememory.sh /etc/init.d/mysqld start fi 添加Apache进程守护脚本方法 pgrep -x httpd &> /dev/null if [ $? -ne 0 ];then bash /www/server/…