Redis 哨兵(sentinel)

1. 是什么一

1.1 吹哨人巡查监控后台master主机是否故障,如果故障了根据投票数自动将某一个从库转换为新主库,继续对外服务

1.2 作用

俗称,无人值守运维

哨兵的作用:

1、监控redis运行状态,包括master和slave

2、当master down机,能自动将slave切换成新master

1.3 官网理论, https://redis.io/docs/manual/sentinel

2. 能干嘛

2.1 主从监控 ,  监控主从redis库运行是否正常

2.2 消息通知 , 哨兵可以将故障转移的结果发送给客户端

2.3 故障转移 , 如果Master异常,则会进行主从切换将其中一个slave作为新Master

2.4 配置中心 , 客户端通过连接哨兵来获得当前Redis服务的主节点地址址

3. 怎么玩(案例演示实战步骤)

3.1 Redis Sentinel架构,提前说明

3.1.1 3个哨兵   自动监控和维护集群不存放数据,只是吹哨人

3.1.2 1主2从   用于数据读取和存放

3.2 案例步骤, 不服就干

3.2.1 /myredis目录下新建或者拷贝sentinel.conf文件,名字绝不能错

3.2.2 先看看/opt目录下默认的sentinel.conf文件的内容

3.2.3 重点参数项说明

1. bind    服务监听地址,用于客户端连接,默认本机地址

2. daemonize    是否以后台daemon方式运行
3. protected-mode   安全保护模式
4. port   端口

5. logfile   日志文件路径
6. pidfilepid   文件路径
7. dir    工作目录

8. sentinel monitor <master-name> <ip> <redis-port> <quorum>

~ 设置要监控的master服务器
~ quorum表示最少有几个哨兵认可客观下线同意故障迁移的法定票数。

行尾最后的quorum代表什么意思呢?quorum:确认客观下线的最少的哨兵数量

 

我们知道,网络是不可靠的,有时候一个sentinel会因为网络堵塞而误以为一个master redis已经死掉了,在sentinel集群环境下需要多个sentinel互相沟通来确认某个master是否真的死了,quorum这个参数是进行客观下线的一个依据,意思是至少有quorum个sentinel认为这个master有故障,才会对这个master进行下线以及故障转移。因为有的时候,某个sentinel节点可能因为自身网络原因,导致无法连接master,而此时master并没有出现故障,所以,这就需要多个sentinel都一致认为该master有问题,才可以进行下一步操作,这就保证了公平性和高可用。


9. sentinel auth-pass <master-name> <password>

master设置了密码,连接master服务的密码

10. 其它

sentinel down-after-milliseconds <master-name> <milliseconds>:

指定多少毫秒之后,主节点没有应答哨兵,此时哨兵主观上认为主节点下线

sentinel parallel-syncs <master-name> <nums>:

表示允许并行同步的slave个数,当Master挂了后,哨兵会选出新的Master,此时,剩余的slave会向新的master发起同步数据

 

sentinel failover-timeout <master-name> <milliseconds>:

故障转移的超时时间,进行故障转移时,如果超过设置的毫秒,表示故障转移失败

 

sentinel notification-script <master-name> <script-path> :

配置当某一事件发生时所需要执行的脚本

 

sentinel client-reconfig-script <master-name> <script-path>:

客户端重新配置主节点参数脚本

3.2.4 本次案例哨兵sentinel文件通用配置

1. 由于机器硬件关系,我们的3个哨兵都同时配置进192.168.111.169同一台机器

2. sentinel26379.conf

bind 0.0.0.0

daemonize yes
protected-mode no
port 26379
logfile "/myredis/sentinel26379.log"
pidfile /var/run/redis-sentinel26379.pid
dir /myredis
sentinel monitor mymaster 192.168.111.169 6379 2
sentinel auth-pass mymaster 111111


3. sentinel26380.conf

bind 0.0.0.0

daemonize yes
protected-mode no
port 26380
logfile "/myredis/sentinel26380.log"
pidfile /var/run/redis-sentinel26380.pid
dir "/myredis"
sentinel monitor mymaster 192.168.111.169 6379 2
sentinel auth-pass mymaster 111111


4. sentinel26381.conf

bind 0.0.0.0

daemonize yes
protected-mode no
port 26381
logfile "/myredis/sentinel26381.log"
pidfile /var/run/redis-sentinel26381.pid
dir "/myredis"
sentinel monitor mymaster 192.168.111.169 6379 2
sentinel auth-pass mymaster 111111


5. 请看一眼sentinel26379.confsentinel26380.conf、 sentinel26381.conf我们自己填写的内容


6. master主机配置文件说明 

3.2.5 先启动一主二从3个redis实例,测试正常的主从复制

1. 架构说明

1
169机器上新建redis6379.conf配置文件,由于要配合本次案例,请设置masterauth项访问密码为111111,不然后续可能报错master_link_status:down
2
172机器上新建redis6380.conf配置文件,设置好replicaof <masterip> <masterport>
3
173机器上新建redis6381.conf配置文件,设置好replicaof <masterip> <masterport>


2. 请看一眼redis6379.conf、 redis6380.conf、 redis6381.conf我们自己填写主从复制相关内容
主机 6379

6379后续可能会变成从机,需要设置访问新主机的密码, 请设置masterauth项访问密码为111111,

不然后续可能报错master_link_status:down

6380

6381 


3. 3台不同的虚拟机实例,启动三部真实机器实例并连接

4. 具体查看当堂动手案例配置并观察文件内容

3.2.6 三以下是哨兵内容部分

3.2.7 再启动3个哨兵,完成监控

1. redis-sentinel sentinel26379.conf --sentine

2. redis-sentinel sentinel26380.conf --sentine

3. redis-sentinel sentinel26381.conf --sentinel

3.2.8 启动3个哨兵监控后再测试一次主从复制, 岁月静好一切OK

3.2.9 原有的master挂了对比配置文件

1. 我们自己手动关闭6379服务器,模拟master挂了


 

2. 问题思考
~ 两台从机数据是否OK

~ 是否会从剩下的2台机器上选出新的master
~ 之前down机的master机器重启回来谁将会是新老大? 会不会双master冲突?
 

3. 揭晓答案

数据OK

两个小问题

6380


6381

了解 Broken Pipe

认识broken pipe
pipe是管道的意思,管道里面是数据流,通常是从文件或网络套接字读取的数据。当该管道从另一端突然关闭时,会发生数据突然中断,即是broken,对于socket来说,可能是网络被拔出或另一端的进程崩溃
解决问题
其实当该异常产生的时候,对于服务端来说,并没有多少影响。因为可能是某个客户端突然中止了进程导致了该错误
总结 Broken Pipe
这个异常是客户端读取超时关闭了连接,这时候服务器端再向客户端已经断开的连接写数据时就发生了broken pipe异常!

~ 投票新选

sentinel26379.log

sentinel26380.log

sentinel26381.log

~ 谁是master,限本次案例

6381被选为新master,上位成功


以前的6379从master降级变成了slave


6380还是slave,只不过换了个新老大6381(6379变6381),6380还是slave

3.2.10 对比配置文件

1. vim sentinel26379.conf
2. 老master,vim redis6379.conf

3. 新master,vim redis6381.conf
4. 结论

~ 文件的内容,在运行期间会被sentinel动态进行更改
~ Master-Slave切换后,master redis.conf、slave redis.con和sentinel.con的内容都会发生改变即master_redis.conf中会多一行slaveof的配置,sentinel.conf的监控目标会随之调换

3.3 其它备注

1. 生产都是不同机房不同服务器,很少出现3个哨兵全挂掉的情况
2. 可以同时监控多个master,一行一个

4. 哨兵运行流程和选举原理

4.1 当一个主从配置中的master失效之后,sentinel可以选举出一个新的master用于自动接替原master的工作,主从配置中的其他redis服务器自动指向新的master同步数据般建议sentinel采取奇数台,防止某一台sentinel无法连接到master导致误切换

4.2 运行流程,故障切换

4.2.1 三个哨兵监控一主二从,正常运行中....

4.2.2 SDown主观下线(Subjectively Down)

1. SDOWN(主观不可用)是单个sentinel自己主观上检测到的关于master的状态,从sentinel的角度来看如果发送了PING心跳后,在一定时间内没有收到合法的回复,就达到了SDOWN的条件。
2. sentinel配置文件中的down-after-milliseconds设置了判断主观下线的时间长度
3. 说明

所谓主观下线(Subjectively Down, 简称 SDOWN)指的是单个Sentinel实例对服务器做出的下线判断,即单个sentinel认为某个服务下线(有可能是接收不到订阅,之间的网络不通等等原因)。主观下线就是说如果服务器在[sentinel down-after-milliseconds]给定的毫秒数之内没有回应PING命令或者返回一个错误消息, 那么这个Sentinel会主观的(单方面的)认为这个master不可以用了,o(╥﹏╥)o

sentinel down-after-milliseconds <masterName> <timeout>

 表示master被当前sentinel实例认定为失效的间隔时间,这个配置其实就是进行主观下线的一个依据

master在多长时间内一直没有给Sentine返回有效信息,则认定该master主观下线。也就是说如果多久没联系上redis-servevr,认为这个redis-server进入到失效(SDOWN)状态。

4.2.3 ODown客观下线(Objectively Down)

1. ODOWN需要一定数量的sentinel,多个哨兵达成一致意见才能认为一个master客观上已经岩掉
2. 说明

四个参数含义:

masterName是对某个master+slave组合的一个区分标识(一套sentinel可以监听多组master+slave这样的组合)

quorum这个参数是进行客观下线的一个依据,法定人数/法定票数

意思是至少有quorum个sentinel认为这个master有故障才会对这个master进行下线以及故障转移。因为有的时候,某个sentinel节点可能因为自身网络原因导致无法连接master,而此时master并没有出现故障,所以这就需要多个sentinel都一致认为该master有问题,才可以进行下一步操作,这就保证了公平性和高可用。

4.2.4 选举出领导者哨兵(哨兵中选出兵王) 

1. 当主节点被判断客观下线以后,各个哨兵节点会进行协商先选举出一个领导者哨兵节点 (兵王) 并由该领导者节点也即被选举出的兵王进行failover (故障迁移)

sentinel26379.log

sentinel26380.log

sentinel26381.log


2. 哨兵领导者,兵王如何选出来的?  Raft算法

监视该主节点的所有哨兵都有可能被选为领导者,选举使用的算法是Raft算法;Raft算法的基本思路是先到先得

即在一轮选举中,哨兵A向B发送成为领导者的申请,如果B没有同意过其他哨兵,则会同意成为领导者

4.2.5 由兵王开始推动故障切换流程并选出一个新master

1. 3步骤

~ 新主登基

1) 某个Slave被选中成为新Master

2) 选出新master的规则,剩余slave节点健康前提下


redis.conf文件中,优先级slave-priority或者replica-priority最高的从节点(数字越小优先级越高 )


复制偏移位置offset最大的从节点
最小Run ID的从节点  字典顺序,ASCII码

 

~ 群臣俯首

1) 一朝天子一朝臣,换个码头重新拜
2) 执行slaveof no one命令让选出来的从节点成为新的主节点,并通过slaveof命令让其他节点成为其从节点

3) Sentinelleader会对选举出的新master执行slaveof no one操作,将其提升为master节点

4) Sentinel leader向其它slave发送命令,让剩余的slave成为新的master节点的slave
 

~ 旧主拜服

1) 老master回来也认怂
2) 将之前已下线的老master设置为新选出的新master的从节点,当老master重新上线后,它会成为新master的从节点

3) Sentinel leader会让原来的master降级为slave并恢复正常工作

2. 小总结

上述的failover操作均由sentinel自己独自完成,完全无需人工干预

5. 哨兵使用建议

哨兵节点的数量应为多个,哨兵本身应该集群,保证高可用
哨兵节点的数量应该是奇数
各个哨兵节点的配置应一致
如果哨兵节点部署在Docker等容器里面,尤其要注意端口的正确映射哨兵集群+主从复制,并不能保证数据零丢失
承上启下引出集群

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/64432.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

下行抢占指示 DCI format 2_1

这部分R17和R15基本内容一样&#xff0c;只是有写细节描述略有区别&#xff0c;这里就以R17版本的协议看下downlinkPreemption&#xff0c;即DCI format 2_1有关内容。 R15支持eMBB和URLLC服务。 由于URLLC业务是优先级较高的业务&#xff0c;当无线资源不足时&#xff0c;已经…

【LeetCode-中等题】200. 岛屿数量

文章目录 题目方法一&#xff1a;深度优先搜索 dfs方法二&#xff1a;广度优先搜索 bfs方法三&#xff1a;&#xff08;重点掌握&#xff09;并查集 题目 方法一&#xff1a;深度优先搜索 dfs 思路&#xff1a;让一个扫描指针扫描每一个格子&#xff0c;然后每扫到一个为1的格…

基于Gin框架的HTTP接口限速实践

在当今的微服务架构和RESTful API主导的时代&#xff0c;HTTP接口在各个业务模块之间扮演着重要的角色。随着业务规模的不断扩大&#xff0c;接口的访问频率和负载也随之增加。为了确保系统的稳定性和性能&#xff0c;接口限速成了一个重要的话题。 1 接口限速的使用场景 接口…

Qt —UDP通信QUdpSocket 简介 +案例

1. UDP通信概述 UDP是无连接、不可靠、面向数据报&#xff08;datagram&#xff09;的协议&#xff0c;可以应用于对可靠性要求不高的场合。与TCP通信不同&#xff0c;UDP通信无需预先建立持久的socket连接&#xff0c;UDP每次发送数据报都需要指定目标地址和端口。 QUdpSocket…

springboot配置ym管理各种日记(log)

1&#xff1a;yml配置mybatis_plus默认日记框架 mybatis-plus:#这个作用是扫描xml文件生效可以和mapper接口文件使用&#xff0c;#如果不加这个,就无法使用xml里面的sql语句#启动类加了MapperScan是扫描指定包下mapper接口生效&#xff0c;如果不用MapperScan可以在每一个mapp…

docker常用中间件安装

文章目录 1、前言2、中间件安装2.1、mysql2.2、gitlab容器2.3、nacos2.4、redis2.5、xxljob2.6、zipkin2.7、sentinel2.8、seata2.8.1、获取镜像2.8.2、运行容器并获取配置 2.9、rockerMQ2.9.1、rockerMQ-namesrv2.9.2、rockerMQ-broker2.9.3、rockerMQ-console 2.10、jenkins2…

每日一题(链表中倒数第k个节点)

每日一题&#xff08;链表中倒数第k个节点&#xff09; 链表中倒数第k个结点_牛客网 (nowcoder.com) 思路: 如下图所示&#xff1a;此题仍然定义两个指针&#xff0c;fast指针和slow指针&#xff0c;假设链表的长度是5&#xff0c;k是3&#xff0c;那么倒数第3个节点就是值为…

【进阶篇】MySQL分库分表详解

文章目录 0. 前言1. 垂直分库分表2. 水平分库分表 1. 理解过程及实现方案问题讨论衍生出分库分表策略借助成熟组件使用分库分表阶段完成后面临的问题1. 异地多活问题2. 数据迁移问题3. 分布式事务问题4. join查询的问题 分库分表的策略实现示例 2. 参考文档 0. 前言 假设有一个…

windows笔记本远程连接如何打开任务管理器?

参考素材&#xff1a; https://jingyan.baidu.com/article/8275fc86a97f5207a03cf6cd.html https://www.anyviewer.cn/how-to/ctrl-alt-delete-remote-desktop-6540.html 网上查了很多方法&#xff0c;都说ctrlaltend可以解决这个问题。 但是笔记本键盘上没有end键。 继续查了一…

【数学建模】清风数模正课5 相关性分析

相关系数 相关性分析的关键是计算相关系数&#xff0c;在本节课中将会介绍两种常用的相关系数&#xff1a;皮尔逊相关系数&#xff08;Pearson&#xff09;和斯皮尔曼相关系数&#xff08;Spearman&#xff09;。 它们可以用来衡量两个变量间相关性的大小&#xff0c;对于不同…

Android 13 - Media框架(9)- NuPlayer::Decoder

这一节我们将了解 NuPlayer::Decoder&#xff0c;学习如何将 MediaCodec wrap 成一个强大的 Decoder。这一节会提前讲到 MediaCodec 相关的内容&#xff0c;如果看不大懂可以先跳过此篇。原先觉得 Decoder 部分简单&#xff0c;越读越发现自己的无知&#xff0c;Android 源码真…

安卓 tcp 客户端

安卓 tcp 客户端 Server:8888 是Qt 写的Tcp 服务器 ip 是 192.168.2.103 port是8888 安卓手机运行 kotlin 语法的Tcp Client &#xff0c;连接&#xff0c;收发数据 效果如下图 Tcpclient package com.example.myapplicationimport android.os.Handler import android.os.Loo…

Go操作各大消息队列教程(RabbitMQ、Kafka)

Go操作各大消息队列教程 1 RabbitMQ 1.1 概念 ①基本名词 当前市面上mq的产品很多&#xff0c;比如RabbitMQ、Kafka、ActiveMQ、ZeroMQ和阿里巴巴捐献给Apache的RocketMQ。甚至连redis这种NoSQL都支持MQ的功能。 Broker&#xff1a;表示消息队列服务实体Virtual Host&#x…

深入探讨梯度下降:优化机器学习的关键步骤(一)

文章目录 &#x1f340;引言&#x1f340;什么是梯度下降&#xff1f;&#x1f340;损失函数&#x1f340;梯度(gradient)&#x1f340;梯度下降的工作原理&#x1f340;梯度下降的变种&#x1f340;随机梯度下降&#xff08;SGD&#xff09;&#x1f340;批量梯度下降&#xf…

HTML5+CSS3+JS小实例:科技感满满的鼠标移动推开粒子特效

实例:科技感满满的鼠标移动推开粒子特效 技术栈:HTML+CSS+JS 效果: 源码: 【html】 <!DOCTYPE html> <html><head><meta http-equiv="content-type" content="text/html; charset=utf-8"><meta name="viewport&qu…

回归拟合 | 灰狼算法优化核极限学习机(GWO-KELM)MATLAB实现

这周有粉丝私信想让我出一期GWO-KELM的文章&#xff0c;因此乘着今天休息就更新了(希望不算晚) 作者在前面的文章中介绍了ELM和KELM的原理及其实现&#xff0c;ELM具有训练速度快、复杂度低、克服了传统梯度算法的局部极小、过拟合和学习率的选择不合适等优点&#xff0c;而KEL…

HFSS 3维曲线导入

HFSS 3维曲线导入 简介环境参考代码使用结果 简介 如图一所示&#xff0c;CST中可以通过导入和到出由任意点组成的曲线&#xff0c;但是HFSS中貌似不能导入&#xff08;如图二所示&#xff09;&#xff0c;如果我们要将matlab的产生的曲线的点的数据导入特变麻烦&#xff0c;特…

测试验证平台

测试验证平台 1.功能说明&#xff1a; 模拟智能终端车端数据采集及上报的功能&#xff0c;提供数据管理平台的模拟和验证功能。 2.系统组成&#xff1a; 系统示意图 功能要求&#xff1a; 本地电脑实现Imx6配置功能&#xff0c;能够通过运行不同的脚本&#xff0c;模拟不…

大规模网络爬虫系统架构设计 - 云计算和Docker部署

在大规模网络爬虫系统中&#xff0c;合理的架构设计和高效的部署方式是确保系统稳定性和可扩展性的关键。本文将介绍如何利用云计算和Docker技术进行大规模网络爬虫系统的架构设计和部署&#xff0c;帮助你构建高效、可靠的爬虫系统。 1、架构设计原则 在设计大规模网络爬虫系…

英码科技受邀亮相2023WAIE物联网与人工智能展,荣获行业优秀创新力产品奖!

8月28日-30日&#xff0c;2023WAIE 物联网与人工智能展在深圳福田会展中心顺利举办。英码科技受邀亮相本届展会&#xff0c;并现场重点展出了面向智慧交通、智慧校园、智慧应急、智慧园区等不同行业的创新AIoT产品、AI技术服务等内容&#xff0c;与生态伙伴积极探讨市场需求和问…