redis主从复制、哨兵与集群

目录

一、概述

二、redis主从复制

1、概念

2、主从复制的作用

3、主从复制流程

4、搭建Redis 主从复制实验

①在三台服务器上安装redis

(1)关闭防火墙和安全机制

(2)修改内核参数

(3)安装redis

(4)创建redis工作目录

(5)准备环境变量

(6)定义systemd服务管理脚本

②修改 Redis 配置文件

③测试主从复制

三、 Redis 哨兵模式

1、概述

2、哨兵模式的作用

3、哨兵模式组成

4、哨兵模式工作原理

5、主节点的选举

6、搭建Redis 哨兵模式

①关闭防火墙和安全机制

②修改 Redis 哨兵模式的配置文件(所有节点操作)

7、启动哨兵模式

8、查看哨兵信息

9、故障模拟

①在master节点设置VIP

②编写故障转移脚本

③修改配置文件

④复制配置文件和脚本文件到从服务器上

⑤在所有节点上重新启动哨兵

⑥关闭主节点redis程序进行测试

四、Redis 群集模式

1、概述

2、集群的作用

3、Redis集群的数据分片

4、Redis集群的主从复制模型

5、搭建Redis 群集模式

①创建工作目录

②在每个工作目录中准备redis配置文件和客户端、服务端工具

③修改配置文件

④启动redis节点

⑤将redis节点加入集群中(启动集群)

⑥测试

五、Cluster 集群增加节点动态扩容

1、准备工作目录和文件

2、修改两个新的配置文件

3、启动两个新的redis节点

4、将两个新的节点加入到集群中

5、将两个新节点中的一个设置为从

6、给新的节点分配哈希槽


一、概述

●主从复制:主从复制是高可用Redis的基础,哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份,以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均衡;存储能力受到单机的限制。

●哨兵:在主从复制的基础上,哨兵实现了自动化的故障恢复。缺陷:写操作无法负载均衡;存储能力受到单机的限制;哨兵无法对从节点进行自动故障转移,在读写分离场景下,从节点故障会导致读服务不可用,需要对从节点做额外的监控、切换操作。

●集群:通过集群,Redis解决了写操作无法负载均衡,以及存储能力受到单机限制的问题,实现了较为完善的高可用方案。

二、redis主从复制

1、概念

主从复制,是指将一台Redis服务器的数据,复制到其他的Redis服务器。前者称为主节点(Master),后者称为从节点(Slave);数据的复制是单向的,只能由主节点到从节点。

默认情况下,每台Redis服务器都是主节点;且一个主节点可以有多个从节点(或没有从节点),但一个从节点只能有一个主节点。

2、主从复制的作用

●数据冗余:主从复制实现了数据的热备份,是持久化之外的一种多机备份数据冗余方式。

●故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复;实际上是一种服务的冗余。

●负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高Redis服务器的并发量。

●高可用基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础。

3、主从复制流程

①首次同步:当从节点要进行主从复制时,它会发送一个SYNC命令给主节点。主节点收到SYNC命令后,会执行BGSAVE命令来生成RDB快照文件,并在生成期间使用缓冲区记录所有写操作。

②快照传输:当主节点完成BGSAVE命令并且快照文件准备好后,将快照文件传输给从节点,并且在发送过程中,主节点会继续将新的写操作缓冲到内存中

③追赶复制:当从节点收到快照文件后,会加载快照文件并应用到自己的数据集中。一旦快照文件被加载,从节点会向主节点发送一个PSYNC命令,以便获取缓冲区中未发送的写操作。

④增量复制:主节点收到PSYNC命令后,会将缓冲区中未发送的写操作发送给从节点,从节点会执行这些写操作,保证与主节点的数据一致性。此时,从节点已经追赶上了主节点的状态。

⑤同步:从节点会继续监听主节点的命令,并及时执行主节点的写操作,以保持与主节点的数据同步。主节点会定期将自己的操作发送给从节点,以便从节点保持最新的数据状态。

注意:当slave首次同步或者宕机后恢复时,会全盘加载,以追赶上大部队,即全量复制

4、搭建Redis 主从复制实验

Master节点:192.168.130.10

Slave1节点:192.168.130.20

Slave2节点:192.168.130.30

①在三台服务器上安装redis

(1)关闭防火墙和安全机制

systemctl disable --now firewalld

setenforce 0

(2)修改内核参数

vim /etc/sysctl.conf

vm.overcommit_memory = 1

net.core.somaxconn = 2048

sysctl -p

(3)安装redis

yum install -y gcc gcc-c++ make           #安装依赖环境

tar xf redis-7.0.13.tar.gz                        #解压安装包

cd redis-7.0.13/                                     #进入解压后的安装包目录

make                                                     #开始编译

make PREFIX=/usr/local/redis install    #指定安装路径并安装

(4)创建redis工作目录

mkdir /usr/local/redis/{conf,log,data}

cp /opt/redis-7.0.13/redis.conf  /usr/local/redis/conf/          #复制配置文件到conf工作目录

useradd -M -s /sbin/nologin redis                                       #创建redis的运行用户redis

chown -R redis.redis /usr/local/redis/                                 #改变redis目录的属主

(5)准备环境变量

vim /etc/profile

PATH=$PATH:/usr/local/redis/bin                #在文件结尾增加一行

source /etc/profile                                        #执行环境变量

(6)定义systemd服务管理脚本

vim /usr/lib/systemd/system/redis-server.service

[Unit]

Description=Redis Server

After=network.target

[Service]

User=redis

Group=redis

Type=forking

TimeoutSec=0

PIDFile=/usr/local/redis/log/redis_6379.pid

ExecStart=/usr/local/redis/bin/redis-server /usr/local/redis/conf/redis.conf

ExecReload=/bin/kill -s HUP $MAINPID

ExecStop=/bin/kill -s QUIT $MAINPID

PrivateTmp=true

[Install]

WantedBy=multi-user.target

systemctl daemon-reload

②修改 Redis 配置文件

主从节点的相同配置:

vim /usr/local/redis/conf/redis.conf

从节点的额外配置:

systemctl start redis

③测试主从复制

在主节点插入数据:

去从节点查看是否同步:

三、 Redis 哨兵模式

1、概述

主从切换技术的方法是:当服务器宕机后,需要手动一台从机切换为主机,这需要人工干预,不仅费时费力而且还会造成一段时间内服务不可用。为了解决主从复制的缺点,就有了哨兵机制。

哨兵的核心功能:在主从复制的基础上,哨兵引入了主节点的自动故障转移

2、哨兵模式的作用

●监控:哨兵会不断地检查主节点和从节点是否运作正常

●自动故障转移:当主节点不能正常工作时,哨兵会开始自动故障转移操作,它会将失效主节点的其中一个从节点升级为新的主节点,并让其它从节点改为复制新的主节点

●通知(提醒):哨兵可以将故障转移的结果发送给客户端。

3、哨兵模式组成

哨兵结构由两部分组成,哨兵节点和数据节点:

●哨兵节点:哨兵系统由一个或多个哨兵节点组成,哨兵节点是特殊的redis节点,不存储数据。

●数据节点:主节点和从节点都是数据节点。

4、哨兵模式工作原理

(1)每个哨兵都会定时探测主节点、从节点、及其它哨兵节点的运行状态

(2) 当哨兵节点探测主节点异常,则认为主节点主观下线

(3)当超过指定数量的哨兵节点认为主节点主观下线,则认定主节点客观下线

(4)哨兵节点会通过raft算法选举出leader,再由leader负责故障转移和通知

(5)将一个从节点提升为新的主节点,让其它从节点指向新的主节点做主从复制

(6)写VIP也会漂移到新的主节点上

(7)原主节点恢复后也会自动变成从节点指向新的主节点做主从复制

需要特别注意的是,客观下线是主节点才有的概念;如果从节点和哨兵节点发生故障,被哨兵主观下线后,不会再有后续的客观下线和故障转移操作。

5、主节点的选举

(1)过滤掉不健康的(已下线的),没有回复哨兵 ping 响应的从节点。

(2)选择配置文件中从节点优先级配置最高的。(replica-priority,默认值为100)

(3)选择复制偏移量最大,也就是复制最完整的从节点。

6、搭建Redis 哨兵模式

Master节点:192.168.130.10

Slave1节点:192.168.130.20

Slave2节点:192.168.130.30

①关闭防火墙和安全机制

systemctl disable --now firewalld

setenforce 0

②修改 Redis 哨兵模式的配置文件(所有节点操作)

cp /opt/redis-7.0.13/sentinel.conf  /usr/local/redis/conf/          #复制哨兵模式配置文件
chown redis.redis /usr/local/redis/conf/sentinel.conf              #修改配置文件的属主属组

vim /usr/local/redis/conf/sentinel.conf

7、启动哨兵模式

先启master,再启slave

cd /usr/local/redis/conf/

redis-sentinel sentinel.conf 

8、查看哨兵信息

redis-cli -p 26379 info Sentinel

9、故障模拟

①在master节点设置VIP

②编写故障转移脚本

#!/bin/bashNEW_MASTERIP=$6
OLD_MASTERIP="$(ifconfig ens33 | awk 'NR==2{print $2}')"
VIP="192.168.130.200"if [ "$NEW_MASTERIP" = "$OLD_MASTERIP" ]; thenifconfig ens33:1 ${VIP}/24exit 0elseifconfig ens33:1 downexit 0
fiexit 1

chmod +x failover.sh

chown redis.redis failover.sh

③修改配置文件

vim sentinel.conf

④复制配置文件和脚本文件到从服务器上

scp failover.sh sentinel.conf 192.168.130.20:`pwd`
scp failover.sh sentinel.conf 192.168.130.30:`pwd`
chown redis. failover.sh sentinel.conf

⑤在所有节点上重新启动哨兵

killall redis-sentinel

redis-sentinel ./sentinel.conf

⑥关闭主节点redis程序进行测试

查看Master 节点上的redis-server进程号

使用kill -9杀死 Master 节点上redis-server的进程号

tail -f /usr/local/redis/log/sentinel.log

redis-cli -p 26379 INFO Sentinel

四、Redis 群集模式

1、概述

集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。

集群由多组节点(Node)组成,Redis的数据分布在这些节点中。集群中的每个节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制

2、集群的作用

(1)数据分区:数据分区(或称数据分片)是集群最核心的功能

集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;另一方面每个主节点都可以对外提供读服务和写服务,实现了写的负载均衡,大大提高了集群的响应能力。

Redis单机内存大小受限问题,在介绍持久化和主从复制时都有提及;例如,如果单机内存太大,bgsave和bgrewriteaof的fork操作可能导致主进程阻塞,主从环境下主机切换时可能导致从节点长时间无法提供服务,全量复制阶段主节点的复制缓冲区可能溢出。

(2)高可用:集群支持主从复制和主节点的自动故障转移(与哨兵类似);当任一节点发生故障时,集群仍然可以对外提供服务。

3、Redis集群的数据分片

Redis集群引入了哈希槽的概念,Redis集群有16384个哈希槽(编号0-16383)

集群的每组节点负责一部分哈希槽,每个Key通过CRC16校验后得出一个数值,再通过得出的数值对16384取余来决定放置哪个哈希槽,通过这个值,去找到对应的插槽所对应的节点,然后直接自动跳转到这个对应的节点上进行存取操作。

以3个节点组成的集群为例:

节点A包含0到5460号哈希槽

节点B包含5461到10922号哈希槽

节点C包含10923到16383号哈希槽

4、Redis集群的主从复制模型

集群中具有A、B、C三个节点,如果节点B失败了,整个集群就会因缺少5461-10922这个范围的槽而不可以用。

为每个节点添加一个从节点A1、B1、C1整个集群便有三个Master节点和三个slave节点组成,在节点B失败后,集群选举B1位为的主节点继续服务。当B和B1都失败后,集群将不可用。

5、搭建Redis 群集模式

redis的集群一般需要6个节点,3主3从。方便起见,这里所有节点在同一台服务器上模拟:

以端口号进行区分:3个主节点端口号:6001/6002/6003,对应的从节点端口号:6004/6005/6006。

①创建工作目录

②在每个工作目录中准备redis配置文件和客户端、服务端工具

for i in {6001..6006};

do

cp redis.conf src/redis-cli src/redis-server /usr/local/redis/redis-cluster/redis$i;

done

③修改配置文件

vim /usr/local/redis/redis-cluster/redis6001/redis.conf

for i in {6002..6006};

do

\cp -f redis6001/redis.conf redis$i;

done
#复制修改好的redis6001中的配置文件到其余的节点目录中

接下来再把剩余6002到6006目录中的配置文件所对应的端口号修改即可:

④启动redis节点

⑤将redis节点加入集群中(启动集群)

redis-cli --cluster create 127.0.0.1:6001 127.0.0.1:6002 127.0.0.1:6003 127.0.0.1:6004 12.0.0.1:6003 127.0.0.1:6004 127.0.0.1:6005 127.0.0.1:6006 --cluster-replicas 1

⑥测试

五、Cluster 集群增加节点动态扩容

redis属于非关系型数据库,拓展方式是横向拓展,需要添加机器设备来是实现拓展。

1、准备工作目录和文件

2、修改两个新的配置文件

3、启动两个新的redis节点

4、将两个新的节点加入到集群中

将节点加入到集群有两种方法:

redis-cli -p 6001 --cluster add-node 127.0.0.1:6007 127.0.0.1:6008       #在命令行中添加

redis-cli -p 6001 -c

cluster meet 127.0.0.1 6007

cluster meet 127.0.0.1 6008                                                                    #进入集群中添加

5、将两个新节点中的一个设置为从

6、给新的节点分配哈希槽

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/613125.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自旋框的使用

1. 自旋框 实例化 //实例化单精度自旋框QSpinBox* spinBox new QSpinBox(this);//实例化双精度自旋框QDoubleSpinBox* doubleSpinBox new QDoubleSpinBox(this);1.1 单精度自旋框 QSpinBox 1.1.1 单精度自旋框的基本函数 QSpinBox_QDoubleSpinBox Dialog.cpp #include "…

网络安全保险发展起始阶段的挑战及应对措施

文章目录 前言一、网络安全保险的有序发展二、当前我国网络安全保险发展的初期态势(一)网络安全风险类型(二)网络安全保险的作用(三)与外国网络安全保费的规模对比 三、我国网络安全保险发展初期面临的挑战…

vue/vue3/js来动态修改我们的界面浏览器上面的文字和图标

前言&#xff1a; 整理vue/vue3项目中修改界面浏览器上面的文字和图标的方法。 效果&#xff1a; vue2/vue3: 默认修改 public/index.html index.html <!DOCTYPE html> <html lang"en"><head><link rel"icon" type"image/sv…

C++_vector类

目录 一、vector的模拟实现 1、vector的组成结构 2、vector尾插数据 2.1 析构函数 3、迭代器实现 4、resize 5、删除数据 5.1 迭代器失效 6、指定位置插入数据 6.1 迭代器失效 7、迭代器构造和resize构造 8、深浅拷贝 结语&#xff1a; 前言&#xff1a; vect…

vue前端开发自学demo-input标签数据双向绑定

vue前端开发自学demo-input标签数据双向绑定&#xff01;今天为大家 展示的内容是&#xff0c;前端开发常见的&#xff0c;form表单里面的&#xff0c;一些输入数据的元素&#xff0c;动态绑定数据的案例。比如input,以及checkbox的状态绑定案例。 首先&#xff0c;老规矩&…

【人工智能Ⅰ】实验11:支持向量机

实验11 支持向量机 一、实验目的 1&#xff1a;了解支持向量机的结构和原理。 2&#xff1a;应用支持向量机建立训练模型&#xff0c;对模型进行评估。 二、实验内容和要求 【实验内容】 选择支持向量机&#xff0c;对花卉图像或玉米果穗图像进行分类。花卉图像包括玫瑰&a…

关于LINUX操作系统异常宕机重启的分析思路

一、先搞清楚现状 当收到系统宕机告警或者故障反馈时&#xff0c;需要先对情况进行核实。比如检查系统启动时间&#xff0c;是不是真实发生了重启&#xff1f;如果重启了&#xff0c;什么时间点发生的重启&#xff1f;重启了几次&#xff1f;重启之前有无变更操作&#xff1f;…

PyTorch|构建自己的卷积神经网络——nn.Sequential()

之前在构建神经网络时&#xff0c;我们一般是采用这种方式&#xff0c;就像这样&#xff1a; class Network1(nn.Module): def __init__(self): super(Network1,self).__init__() self.conv1 nn.Conv2d(in_channels3, out_channels6, kernel_size5) …

【控制篇 / 策略】(7.4) ❀ 03. 地理地址对象在路由中的应用 ❀ FortiGate 防火墙

【简介】如何做到访问国内走Wan1&#xff0c;访问国际走Wan2 &#xff1f;当企业有多条宽带&#xff0c;特别是有国际专线的时候&#xff0c;这个需求就很普遍了。通过地理地址对象可以快速的解决这些问题。 策略路由 当我们有多条宽带的时候&#xff0c;我们有两种方法分流&am…

C++的虚基类

前言 本文介绍C的虚基类 先看一个问题 先看一段代码 #include <iostream> class A { public:int a 1; };class B1:public A { public:int b1 2; };class B2 :public A { public:int b2 3; };class C1:public B1,public B2 { public:int c1 4; };int main(int arg…

每日汇评:黄金多头能否在美国CPI数据发布后占有主动权?

黄金价格再次在2020美元附近找到支撑&#xff0c;因为所有人都在关注美国的通胀数据&#xff1b; 尽管最近美国国债收益率有所上升&#xff0c;但美元仍进一步下跌&#xff1b; 金价保持在21日移动均线和50日移动均线之间&#xff0c;等待区间突破&#xff1b; 在周四早盘的亚洲…

SIT1050ISO具有隔离功能,1Mbps,高速 CAN 总线收发器

➢ 完全兼容“ ISO 11898 ”标准&#xff1b; ➢ 内置过温保护&#xff1b; ➢ 100kV/s 瞬态抗扰度&#xff1b; ➢ 显性超时功能&#xff1b; ➢ -40V 至 40V 的总线故障保护&#xff1b; ➢ I/O 电压范围支持 3.3V 和 5V MCU &#xff1b; ➢ 低环路延迟…

解决原生微信小程序获取关联公众号的code(不是wx.login的code)来获取公众号的openId

解决步骤 以下是使用 web-view 并配配合微信公众号提供的 网页授权 来实现 1、在小程序中做一个web-view页面&#xff0c;页面中只需要写微信 网页授权的链接就行了&#xff0c;注意appid请自行替换&#xff08;公众号的&#xff09;。 onLoad() {this.setData({src: https://o…

Android SDK环境搭建[图解]; 解决问题Done. Nothing was installed.

安装SDK Android SDK环境搭建 依赖java环境,需要自备Java环境 (100%实操成功) 目录 1. 解压&#xff1a;解压到非中文无特殊字符的目录 2. 双击&#xff1a;SDK Manager.exe&#xff0c;不要选全部!不要选全部!不要选全部!(会下很久) 3. 然后勾选组件​ 4. 设置环境变量 …

UM2003A 一款200 ~ 960MHz ASK/OOK +18dBm 发射功率的单发射芯片

UM2003A 是一款工作于 200 ~ 960MHz 频段的单片集成、高性能、可独立运行的 OOK 发射器。内部集成的 OTP 方便用户对各种射频参数以及特色功能进行编程。该芯片以其高集成度和低功耗的设计&#xff0c;特别适用于低成本&#xff0c;低功耗&#xff0c;电池驱动的无线发射应用。…

【TypeScript】入门基础知识

目前在做项目的技术栈是 reacttypescript&#xff0c;之前只知道 ts 是 js 的扩展&#xff0c;增加了类型检查&#xff0c;但是没有仔细的学过&#xff0c;纯纯看别人代码上手 anyscript&#xff08;这很难评...&#xff09;。趁着最近空闲&#xff0c;就学习一下 ts 的基础知识…

章鱼网络 2023 年全回顾|暨12月进展报告

2023年&#xff0c;章鱼网络轻装上阵&#xff0c;身处加密行业的低谷中砥砺前行。 12月17日&#xff0c;经过整整1年时间的开发和打磨&#xff0c;章鱼网络在重磅上线 Octopus 2.0&#xff0c;即 $NEAR Restaking 和 NEAR-IBC&#xff0c;获得了社区和市场的一致认可&#xff…

Java中多线程二

抢占调度模型 概述&#xff1a;优先让优先级高的线程使用 CPU &#xff0c;如果线程的优先级相同&#xff0c;那么随机会选择一个&#xff0c;优先级高的线程获取的 CPU 时间片相对多一些 Thread 类中一些关于线程的方法 方法简述public final int getPriority()返回此线程的优…

自动化控制面板-1Panel

一、1Panel自动化控制面板 官网地址 1Panel 可以实现&#xff1a; 快速建站、高效管理、安全可靠、一键备份、应用商店 快速建站&#xff1a;深度集成 Wordpress 和 Halo&#xff0c;域名绑定、SSL 证书配置等一键搞定&#xff1b;高效管理&#xff1a;通过 Web 端轻松管理 …

Docker启动报错:No chain/target/match by that name 处理

一、问题描述 某次OS升级重启后&#xff0c;发现docker redis实例无法启动&#xff0c;报错如下&#xff1a; Error response from daemon: driver failed programming external connectivity on endpoint vpm.redis.2 (f4b70fef65000bcacb574ee59e65d9b7a25f2abfa5dec0be9b74…