目录
一.主从复制
主从复制的工作原理如下:
主从复制的作用:
搭建Redis 主从复制
每台服务器配置:
编辑进行编译安装:
定义systemd服务管理脚本:
开启服务,报错看下内容:
修改 Redis 配置文件(Master节点操作):
修改 Redis 配置文件(Slave节点操作):
192.168.233.30(从)与192.168.233.20(从)配置一样.
验证主从效果:
二.Redis 哨兵模式
哨兵模式的作用:
哨兵结构由两部分组成:
主节点的选举:
哨兵模式工作过程:
哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式。
搭建Redis 哨兵模式(端口号26379):
修改 Redis 哨兵模式的配置文件(所有节点操作):
修改文件:
启动哨兵模式:先启主,再启从
查看哨兵信息:
故障模拟:
将配置文件远程复制到从节点上:
Redis集群模式:
Redis集群的工作原理:
Redis集群的数据分片:
Redis集群的主从复制模型:
在哨兵的基础上继续配置集群模式:
在根目录下创建集群目录及端口号目录:编辑
修改6001的配置文件:
启动集群:
目录
一.主从复制
主从复制的工作原理如下:
主从复制的作用:
搭建Redis 主从复制
每台服务器配置:
编辑进行编译安装:
定义systemd服务管理脚本:
开启服务,报错看下内容:
修改 Redis 配置文件(Master节点操作):
修改 Redis 配置文件(Slave节点操作):
192.168.233.30(从)与192.168.233.20(从)配置一样.
验证主从效果:
二.Redis 哨兵模式
哨兵模式的作用:
哨兵结构由两部分组成:
主节点的选举:
哨兵模式工作过程:
哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式。
搭建Redis 哨兵模式(端口号26379):
修改 Redis 哨兵模式的配置文件(所有节点操作):
修改文件:
启动哨兵模式:先启主,再启从
查看哨兵信息:
故障模拟:
将配置文件远程复制到从节点上:
Redis集群模式:
Redis集群的工作原理:
Redis集群的数据分片:
Redis集群的主从复制模型:
在哨兵的基础上继续配置集群模式:
在根目录下创建集群目录及端口号目录:编辑
修改6001的配置文件:
启动集群:
Cluster 集群增加节点动态扩容:
登录redis6001:
将6007的id跟6008做主从:
登录6007redis:
一.主从复制
Redis主从复制是一种用于数据备份、灾难恢复和读写分离的技术,它通过将一个Redis服务器(主节点)的数据复制到其他服务器(从节点)来实现。
主从复制的工作原理如下:
1.首次同步:当从节点要进行主从复制时,它会发送一个SYNC命令给主节点。主节点收到SYNC命令后,会执行BGSAVE命令来生成RDB快照文件,并在生成期间使用缓冲区记录所有写操作。
2.快照传输:当主节点完成BGSAVE命令并且快照文件准备好后,将快照文件传输给从节点。主节点将快照文件发送给从节点,并且在发送过程中,主节点会继续将新的写操作缓冲到内存中。
3.追赶复制:当从节点收到快照文件后,会加载快照文件并应用到自己的数据集中。一旦快照文件被加载,从节点会向主节点发送一个PSYNC命令,以便获取缓冲区中未发送的写操作
4.增量复制:主节点收到PSYNC命令后,会将缓冲区中未发送的写操作发送给从节点,从节点会执行这些写操作,保证与主节点的数据一致性。此时,从节点已经追赶上了主节点的状态
5.同步:从节点会继续监听主节点的命令,并及时执行主节点的写操作,以保持与主节点的数据同步。主节点会定期将自己的操作发送给从节点,以便从节点保持最新的数据状态.
注意:当slave首次同步或者宕机后恢复时,会全盘加载,以追赶上大部队,即全量复制
主从复制的作用:
数据冗余:主从复制实现了数据的热备份,是持久化之外的一种数据冗余方式。
故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。
负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务,分担服务器负载
高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。
搭建Redis 主从复制
准备三台服务器,192.168.233.10(主);192.168.233.20(从);192.168.233.30(从)
每台服务器配置:
修改添加内核参数:
查看刷新一下:
安装环境:
压缩解压redis软件包:
进行编译安装:
创建redis工作目录:
复制配置文件:
创建用户:
给redis目录授权:
添加 环境变量:
定义systemd服务管理脚本:
[Unit]
Description=Redis Server
After=network.target[Service]
User=redis
Group=redis
Type=forking
TimeoutSec=0
PIDFile=/usr/local/redis/log/redis_6379.pid
ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf
ExecReload=/bin/kill -s HUP $MAINPID
ExecStop=/bin/kill -s QUIT $MAINPID
PrivateTmp=true[Install]
WantedBy=multi-user.target
开启服务,报错看下内容:
文件授权要都是redis:
修改 Redis 配置文件(Master节点操作):
192.168.233.20(从)192.168.233.30(从):
pid和log日志文件位置:
修改 Redis 配置文件(Slave节点操作):
192.168.233.30(从)与192.168.233.20(从)配置一样.
重启服务:
验证主从效果:
在Master节点上看日志:
看到了从服务器的ip对接成功
在Master节点上验证从节点:
主服务添加键:
从服务查看:
主从复制成功。
二.Redis 哨兵模式
哨兵模式的作用:
监控:哨兵会不断地检查主节点和从节点是否运作正常。
自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点。
通知(提醒):哨兵可以将故障转移的结果发送给客户端。
哨兵结构由两部分组成:
哨兵节点:哨兵系统由一个或多个哨兵节点组成,不存储数据
数据节点:主节点和从节点都是数据节点
主节点的选举:
1.过滤掉不健康的(已下线的),没有回复哨兵 ping 响应的从节点
2.选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)
3.选择复制偏移量最大,也就是复制最完整的从节点
哨兵模式工作过程:
1,哨兵系统需要>=3台的哨兵节点组成,一主多从做主从复制
2,哨兵节点定时探测主节点,从节点和其他哨兵节点的运行状态
3,当哨兵节点探测到主节点异常,则认为主节点主观下线
4, 当超过指定数量的哨兵节点认为主节点主观下线,则认定主节点客观下线
5,哨兵节点会通过raft算法选举出leader,再由leader负责故障转移和通知
6,将一个从节点提升为新的主节点,让其它从节点指向新的主节点做主从复制
7,写VIP也会漂移到新的主节点上
8,原主节点恢复后也会自动变成从节点指向新的主节点做主从复制
哨兵的启动依赖于主从模式,所以须把主从模式安装好的情况下再去做哨兵模式。
搭建Redis 哨兵模式(端口号26379):
在主从复制的基础上继续进行哨兵模式的搭建。
修改 Redis 哨兵模式的配置文件(所有节点操作):
主:
从:
授权文件:
主:
从:
修改文件:
启动哨兵模式:先启主,再启从
主:
从:
查看哨兵信息:
故障模拟:
先给主添加vip:
添加脚本,进行监控:
#!/bin/bash
NEW_MASTERIP=$6
OLD_MASTERIP="$(ifconfig ens33| awk'NR==2{print $2}')"
VIP="192.168.233.100"if [ "$NEW_MASTERIP"="$OLD_MASTERIP" ]; thenifconfig ens33:1 ${VIP}/24exit 0
else
ifconfig ens33:1 down
exit 0
fiexit 1
给脚本授权:
执行脚本:
修改主服务器文件:
将配置文件远程复制到从节点上:
给从服务器文件授权:
给所有服务器进行操作:
查看主服务的log文件:
关闭主服务器:
查看日志文件:
看下192.168.233.30从服务器:有vip
看下从节点192.168.233.20的信息状态:
当我们旧主192.168.233.10恢复正常后,查看信息:
Redis集群模式:
集群模式的端口号为:16379
Redis集群的工作原理:
1、集群有多组节点,每组节点负责一部分哈希槽。
2、读写数据时,先根据crc16的算法得出一个结果,然后把结果对 16384 取余。通过这个值去找到对应的哈希槽的节点,进行数据读写。
3、集群每组节点内做主从复制,当主节点宕机的时候,就会启用从节点。主节点负责读写请求和集群信息的维护;从节点负责主节点数据和状态信息的复制。
Redis集群的数据分片:
Redis集群引入了哈希槽的概念
Redis集群有16384个哈希槽(编号0-16383)
集群的每组节点负责一部分哈希槽
以3个节点组成的集群为例:
节点A包含0到5460号哈希槽
节点B包含5461到10922号哈希槽
节点C包含10923到16383号哈希槽
Redis集群的主从复制模型:
集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。
为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用。
在哨兵的基础上继续配置集群模式:
redis的集群一般需要6个节点,3主3从。方便起见,这里所有节点在同一台服务器上模拟:
以端口号进行区分:3个主节点端口号6001/6002/6003,对应的从节点端口号6004/6005/6006。
在根目录下创建集群目录及端口号目录:
将初始配置文件,客户端命令及redis服务命令复制到这几个目录下:
我们可以使用for循环来一次性复制过去:
for i in {6001..6006}
> do
> cp redis.conf src/redis-server src/redis-cli
redis-cli redis-cli.c redis-cli.d redis-cli.o
> cp redis.conf src/redis-server src/redis-cli /usr/local/redis/redis-cluster/redis$i
> done
我们看下集群目录下文件:
修改6001的配置文件:
通过for循环将配置文件复制到其他端口上:
通过for循环在将文件中的0661改为各自端口号一样的配置:
看下配置文件:
通过for循环开启每个端口服务:
启动集群:
在6001添加键:会跳转到6002下
在进入6001查看键:不存在
跳转到6002的从节点下6005看:
查看键内容,会跳转到主节点上:
Cluster 集群增加节点动态扩容:
增加一主一从节点,将已有目录6001下的文件到新创建的目录下面:
删除不要的文件:
将配置文件修改下端口号:
开启服务:
登录redis6001:
登录redis6008:
将6007的id跟6008做主从:
给6007新加入的主节点是没有槽数的,只有初始化集群的时候,才会根据主的数据分配好,如新增的主节点,需要手动分配:
登录6007redis:
完成扩容。