使用RedisShake迁移自建Redis数据至阿里云Redis

一、前言

最近有个需求，需要把自建的Redis数据迁移至阿里云的Redis RDS。阿里云有官方的数据传输服务DTS（Data Transmission Service）。全量迁移是免费的，但增量迁移需要按量收费，遂放弃。经过一番搜索，发现了一个RedisShake的工具，而这个也是阿里开源的，秒啊~

二、 RedisShake介绍

2.1 什么是 RedisShake

RedisShake 是一个用于处理和迁移 Redis 数据的工具，它提供以下特性：

  • Redis 兼容性：RedisShake 兼容从 2.8 到 7.2 的 Redis 版本，并支持各种部署方式，包括单机，主从，哨兵和集群。
  • 云服务兼容性：RedisShake 与主流云服务提供商提供的流行 Redis-like 数据库无缝工作，包括但不限于：
    • 阿里云-云数据库 Redis 版
    • 阿里云-云原生内存数据库Tair
    • AWS - ElastiCache
    • AWS - MemoryDB
  • Module 兼容：RedisShake 与 TairString，TairZSet 和 TairHash 模块兼容。
  • 多种导出模式：RedisShake 支持 PSync，RDB 和 Scan 导出模式。
  • 数据处理：RedisShake 通过自定义脚本实现数据过滤和转换
2.1.1 迁移模式选择
  • 对于从备份中恢复数据的场景，可以使用 rdb_reader。
  • 对于数据迁移场景，优先选择 sync_reader。一些云厂商没有提供 PSync 协议支持，可以选择scan_reader。
  • 对于长期的数据同步场景，RedisShake 目前没有能力承接，因为 PSync 协议并不可靠，当复制连接断开时，RedisShake 将无法重新连接至源端数据库。如果对于可用性要求不高，可以使用 scan_reader。如果写入量不大，且不存在大 key，也可以考虑 scan_reader。
2.1.2 跨版本迁移

不要降低 Redis 版本迁移，比如从 6.0 降到 5.0，因为 RedisShake 每个大版本都会引入一些新的命令和新的编码方式，如果降低版本，可能会导致不兼容。

2.2 从哪里获取

Github仓库 https://github.com/tair-opensource/RedisShake
中文文档地址 https://tair-opensource.github.io/RedisShake/
Releases版本下载路径 https://github.com/tair-opensource/RedisShake/releases/

支持多个平台

  • redis-shake-darwin-amd64.tar.gz
  • redis-shake-darwin-arm64.tar.gz
  • redis-shake-linux-amd64.tar.gz
  • redis-shake-linux-arm64.tar.gz
  • redis-shake-windows-amd64.tar.gz
  • redis-shake-windows-arm64.tar.gz

同时也支持下载源码自行编译。

2.3 实操演示

首先下载 RedisShake，我们以v4.1.0为例，系统为CenterOS

wget https://github.com/tair-opensource/RedisShake/releases/download/v4.1.0/redis-shake-linux-amd64.tar.gz

解压缩

tar -zxvf redis-shake-linux-amd64.tar.gz

会得到两个文件

redis-shake 
shake.toml

shake.toml是配置文件，TOML语法，具体可查看文档。
修改配置

[root@~ redis-shake]# vim shake.toml
function = ""# PSync模式
[sync_reader]
cluster = false            # 是否为集群模式
address = "127.0.0.1:6379"
username = ""         
password = "password1" 
tls = false
sync_rdb = true     # 同步全量数据
sync_aof = true     # 同步增量数据
prefer_replica = true# Scan模式
#[scan_reader]
#cluster = false            
#address = "127.0.0.1:6379"
#username = ""              
#password = ""              
#tls = false
#dbs = []                   # 指定需要同步的database
#scan = true                
#ksn = false               
#count = 1                  # 每次扫描key的数量# RDB 模式
# [rdb_reader]
# filepath = "/tmp/dump.rdb"# [aof_reader]
# filepath = "/tmp/.aof"
# timestamp = 0              # subsecond[redis_writer]
cluster = false            
sentinel = false           # 是否为哨兵模式
master = ""                
address = "192.168.1.2:6379" 
username = ""              
password = "password2"              
tls = false
off_reply = false       [advanced]
dir = "data"
ncpu = 3        # CPU 核心数， 0表示不受限制
pprof_port = 0  # pprof访问端口, 0表示禁用
status_port = 0 # 状态检测访问端口, 0表示禁用# log
log_file = "shake.log"
log_level = "info"     # debug, info, warn 可选
log_interval = 5  # panic:   停止迁移.
# rewrite: 覆盖相同的key
# ignore:  跳过相同的key.
rdb_restore_command_behavior = "rewrite"# 数据传输管道的大小限制.
pipeline_count_limit = 1024# 客户端查询缓冲区大小，默认 1gb.
target_redis_client_max_querybuf_len = 1024_000_000# In the Redis protocol, bulk requests, that are, elements representing single
# strings, are normally limited to 512 mb.
target_redis_proto_max_bulk_len = 512_000_000# 针对AWS的Elasticache或MemoryDB的配置
aws_psync = ""# 是否在传输前先清空目标数据
empty_db_before_sync = false[module]
# BF.LOADCHUNK
target_mbbloom_version = 20603

配置文件修改好后保存，再运行

./redis-shake shake.toml

执行后会在同目录生成一个data的临时目录，日志文件也会在此目录保存，还有aof文件.

[root@~ data]# ls -lrt
total 3052
-rw------- 1 root root       0 Jun 19 17:32 pid.lockfile
drwxr-xr-x 2 root root    4096 Jun 19 19:30 reader_127.0.0.1_6379
-rw-r--r-- 1 root root 3116030 Jun 20 20:23 shake.log

同步日志如下

[root@~ redis-shake]# ./redis-shake shake.toml
2024-06-19 18:29:55 INF load config from file: shake.toml
2024-06-19 18:29:55 INF log_level: [info], log_file: [/home/redis-shake/data/shake.log]l
2024-06-19 18:29:55 INF changed work dir. dir=[/home/redis-shake/data]
2024-06-19 18:29:55 INF set ncpu to 3
2024-06-19 18:29:55 INF set GOMAXPROCS to 3
2024-06-19 18:29:55 INF not set pprof port
2024-06-19 18:29:55 INF create ScanStandaloneReader: 127.0.0.1:6379
2024-06-19 18:29:55 INF create RedisStandaloneWriter: 192.168.1.2:6379
2024-06-19 18:29:55 INF not set status port
2024-06-19 18:30:00 INF start syncing...
2024-06-19 18:30:05 INF read_count=[6866], read_ops=[869.87], write_count=[6865], write_ops=[869.87], scan_dbid=[0], scan_percent=[5.61%], need_update_count=[99884]
2024-06-19 18:30:10 INF read_count=[10815], read_ops=[601.65], write_count=[10814], write_ops=[601.65], scan_dbid=[0], scan_percent=[5.82%], need_update_count=[99753]
2024-06-19 18:30:15 INF read_count=[13557], read_ops=[622.26], write_count=[13556], write_ops=[622.26], scan_dbid=[0], scan_percent=[5.96%], need_update_count=[99872]
2024-06-19 18:30:20 INF read_count=[18269], read_ops=[852.18], write_count=[18268], write_ops=[852.18], scan_dbid=[0], scan_percent=[6.21%], need_update_count=[99887]
2024-06-19 18:30:25 INF read_count=[22062], read_ops=[502.66], write_count=[22061], write_ops=[502.66], scan_dbid=[0], scan_percent=[6.40%], need_update_count=[99878]
2024-06-19 18:30:30 INF read_count=[25226], read_ops=[829.09], write_count=[25225], write_ops=[829.09], scan_dbid=[0],] scan_percent=[6.57%], need_update_count=[99801]
... ...
2024-06-19 18:31:45 INF read_count=[94883], read_ops=[935.01], write_count=[94882], write_ops=[935.01], scan_dbid=[0], scan_percent=[10.18%], need_update_count=[99897]
2024-06-19 18:31:50 INF read_count-[100268], read_ops=[1245.28], write_count=[100267], write_ops-[1245.28], scan_dbid-[0], scan_percent=[10.46%], need_update_count-[99757]
2024-06-19 18:31:55 INF read_count=[104976], read_ops=[738.58], write_count=[104975], write_ops=[738.58], scan_dbid=[0], scan_percent=[10.70%], need_update_count=[99880]
2024-06-19 18:32:00 INF read_count=[109798], read_ops=[994.45], write_count=[109797], write_ops=[994.45], scan_dbid=[0], scan_percent=[10.95%], need_update_count=[99769]

同步时不能结束进。同步完全量数据后，开始同步增量数据。

2024-06-19 20:22:46 INF read_count=[1989683], read_ops=[1.00], write_count=[1989683], write_ops=[1.00], syncing aof, diff=[0]

这时可以正常切换Redis了。切换成功后等read_ops及write_ops为0时，就可以把自建的redis关闭了。

三、结束语

RedisShake确实很强大，使用时几乎不影响原有的业务稳定性。至于其他的模式我没有测试，大家可以尝试一下，好用的话帮忙点个赞，谢谢~

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/32734.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

数据库的概念-数据库、数据库管理系统、数据库系统、数据库管理员、数据库设计人员、开发管理使用数据库系统的人员

数据库的概念-数据库、数据库管理系统、数据库系统、数据库管理员、数据库设计人员、开发管理使用数据库系统的人员

一、数据库（DB） 1、数据库就是存储数据的仓库，只不过这个仓库是在计算机存储设备上 2、严格的说，数据库是长期存储在计算机内、有组织的、统一管理的、可共享的相关数据的集合 3、数据库应是为一个特定目标而设计、构建并装入数…
阅读更多...
ClickHouse备份方案

ClickHouse备份方案

ClickHouse备份方案主要包括以下几种方法： 一、使用clickhouse-backup工具： （参考地址：https://blog.csdn.net/qq_43510111/article/details/136570850） **安装与配置：**首先从GitHub获取clickhouse-bac…
阅读更多...
利用MSSQL模拟提权

利用MSSQL模拟提权

点击星标，即时接收最新推文 本文选自《内网安全攻防：红队之路》 扫描二维码五折购书 利用MSSQL模拟提权 在MS SQL数据库，可以使用EXECUTE AS语句，以其他用户的上下文执行SQL查询。需要注意的是只有明确授予模拟（Impers…
阅读更多...
38.MessageToMessageCodec线程安全可被共享Handler

38.MessageToMessageCodec线程安全可被共享Handler

handler被注解@Sharable修饰的。 这样的handler，创建一个实例就够了。例如： ByteToMessageCodec的子类不能被@Sharable修饰 如果自定义类是MessageToMessageCodec的子类就是线程共享的，可以被@Sharable修饰的 package com.xkj.protocol;import com.xkj.message.Message; i…
阅读更多...
Go日常分享 - error类型是指针类型吗？

Go日常分享 - error类型是指针类型吗？

背景 这个问题的产生来源于小泉在开发rpc接口时返回error遇到的问题，开发时想在defer里对err进行最终的统一处理赋值，发现外层接收一直都未生效。问题可以简化为成下面的小demo。 func returnError() error {var err errordefer func() {//err errors…
阅读更多...
在 Oracle Linux 8.9 上安装中文和日文字体的完整指南

在 Oracle Linux 8.9 上安装中文和日文字体的完整指南

在 Oracle Linux 8.9 上安装中文和日文字体的完整指南 在 Oracle Linux 8.9 上安装中文和日文字体的完整指南前提条件安装步骤1. 更新系统2. 安装字体包安装中文字体安装日文字体 3. 安装字体配置工具4. 更新字体缓存5. 验证安装 可能遇到的问题及解决方案结语 在 Oracle Linux…
阅读更多...
（一）SvelteKit教程：hello world

（一）SvelteKit教程：hello world

（一）SvelteKit教程：hello world sveltekit 的官方教程，在这里：Creating a project • Docs • SvelteKitCreating a project • Docs • SvelteKit 我们可以按照如下的步骤来创建一个项目： npm create s…
阅读更多...
CentOs7 安装单机版redis

CentOs7 安装单机版redis

1.安装依赖 redis是由C语言开发，因此安装之前必须要确保服务器已经安装了gcc，可以通过如下命令查看机器是否安装： gcc -v如果没有安装则通过以下命令安装： yum install -y gcc如果安装gcc依赖报错则执行yum升级命令 # 先执行升…
阅读更多...
NSIS 入门教程 (三)

NSIS 入门教程 (三)

引言 在教程的第二部分中，我们为安装程序增加了一个卸载程序，并查看了一些其他的向导页面以及安装部分的选择。第三部分的目标是使安装程序的外观更加现代化。 更现代的外观 为了给安装程序一个更现代的外观，我们要启用现代用户界面。要提…
阅读更多...
Shell编辑之条件语句

Shell编辑之条件语句

一，条件测试操作 1：文件测试 文件测试操作用来检查文件的各种属性，如文件是否存在、是否可读、是否为空等。常用的文件测试操作符包括： -e 文件存在性测试-f 是否为普通文件-d 是否为目录-r 是否可读-w 是否可写-x 是否可执行-s…
阅读更多...
学懂C#编程：常用高级技术——委托（Delegate）的概念及详细使用讲解

学懂C#编程：常用高级技术——委托（Delegate）的概念及详细使用讲解

目录 委托的概念 常用应用场景 优势 C#中的委托（Delegate）是一种引用类型，它允许你封装一个方法的引用。委托类似于函数指针，但提供了更强大和类型安全的功能。委托在C#中扮演着多重角色，常用于实现回调方法、事件…
阅读更多...
【栈和队列】

【栈和队列】

目录 1，栈（Stack） 1.1 概念 1.2 栈的使用 1.3 栈的模拟实现 1.4 栈的应用场景 1.5 概念区分 1.6 使用链表来实现栈 2， 队列(Queue) 2.1 概念 2.2 队列的使用 2.3 队列模拟实现 3，双端队列 (Deque) 4&…
阅读更多...
【计算机组成原理】部分题目汇总

【计算机组成原理】部分题目汇总

计算机组成原理 部分题目汇总 一. 简答题 RISC和CICS 简要说明，比较异同 RISC（精简指令集）注重简单快速的指令执行，使用少量通用寄存器，固定长度指令，优化硬件性能，依赖软件（如编译…
阅读更多...
递归调用，将源路径下所有文件文件夹复制到目标路径中.

递归调用，将源路径下所有文件文件夹复制到目标路径中.

其实代码demo很简洁&#xff0c;只是逻辑有点绕&#xff0c;主要是要一层一层调用自己&#xff0c;要清楚当前是第几层调用&#xff0c;及递归调用时进的点和出的点在哪儿&#xff0c;一切就清晰明了了。 /// <summary>/// 删除指定目录下面的所有文件和文件夹/// </s…
阅读更多...
C++学习合集

C++学习合集

#整理到一块&#xff0c;方便查东西&#xff0c;顺便补充一些之前没有学习到的东西# 变量 char--1字节 short--2字节 int-4字节 long--4字节 long long(int)--8字节&#xff1b;准确来说变量的大小取决于编译器&#xff0c;1字节8个二进制位&#xff0c;其中最高位为符号位…
阅读更多...
关于Mysql 的on duplicate key update操作，导致主键不连续自增的问题

关于Mysql 的on duplicate key update操作，导致主键不连续自增的问题

一 相关说明 在实际的开发中，经常会遇到这样的场景：若数据库里面不存在数据，则插入；若存在，则更新。在Mysql中，可以使用ON DUPLICATE KEY UPDATE，一步就能完成上述操作。简单说，就是数据库中存在某个记录时，执行这个语句会更新，而不存在这条记录时，就会插入。 需要说…
阅读更多...
CesiumJS【Basic】- #009 切换地形数据源

CesiumJS【Basic】- #009 切换地形数据源

文章目录 切换地形数据源1 目标2 实现切换地形数据源 1 目标 切换地形数据源 2 实现 这段代码定义了一个名为 toggleTerrainProvider 的方法，用于在 CesiumJS 中切换地形数据源。如果当前的地形数据源是 EllipsoidTerrainProvider（一个简单的椭球体地形），则将其切换为 …
阅读更多...
黑龙江等保测评

黑龙江等保测评

黑龙江等保测评概述 黑龙江等保测评是指根据《中华人民共和国网络安全法》及《信息安全等级保护管理办法》等相关法律法规&#xff0c;对信息系统安全保护能力进行评估和验证的过程。它旨在确保重要信息系统能够达到相应的安全保护级别&#xff0c;有效防范各种安全威胁&#…
阅读更多...
基于Java的火车订票管理系统【附源码】

基于Java的火车订票管理系统【附源码】

火车订票管理登录 摘要&#xff1a;随着我国铁路交通的不断发展&#xff0c;简单的窗口售票模式已经不能满足方便人们出行的目的。采用先进的网络技术开发出方便快捷的火车票订票系统是现代客运业务发展的必然需求。本次设计的火车票订票系统通过访问主页&#xff0c;可以实现…
阅读更多...
【JavaScript脚本宇宙】提升用户体验：比较六种领先的图像灯箱库及其独特功能

【JavaScript脚本宇宙】提升用户体验：比较六种领先的图像灯箱库及其独特功能

为您的网站选择完美的图像灯箱&#xff1a;六种流行选项的全面比较 前言 图像灯箱库在网页设计中起着至关重要的作用&#xff0c;它们提供了一种优雅的方式来展示图片、视频和其他多媒体内容。本文将比较六种常见的图像灯箱库&#xff1a;Lightbox2、Fancybox、Magnific Popu…
阅读更多...
最新文章

Copyright @ 2022~2023