Redis-cluster集群架构

一、集群架构

        上述集群架构师一个由多个主从节点群组成的分布式服务器,具有复制、高可用和分片的特性。Redis集群不需要sentine哨兵也能完成节点移除和故障转移。官方文档称可以扩展上万个节点。推荐不超过1000个;从节点只担任备份的角色,不承担读写操作;

二、集群原理

        Redis Cluster将所有数据划分为16384个slots(槽位),每个节点负责其中一部分槽位,采薇的信息存储在每个节点中;当Redis Cluster的客户端连接集群时,它也会得到一份集群的槽位配置信息缓存在本地,这样可以根据key值定位到目标节点;槽位与服务端机器不一致问题需要纠正机制来实现槽位校验调整;

1 槽位算法

        HASH SLOT=CRC16(key) mod 16384

2 跳转重定位

        当客户端发出一个错误的节点指令到服务端,该节点会发现指令的key值的槽位并不归自己管理,这是它会向客户端发送一个跳转指令,携带目标节点地址,客户端收到指令后会跳转对应地址并纠正本地槽位映射缓存;

3 Redis集群节点间的通信机制

        节点间采用goss协议进行通信;

        维护集群元数据(集群节点信息,主从角色,节点数量,各节点共享数据等)有两种方式:集中式和gossio;

        集中式:优点在于元数据更新和读取湿陷性好,元数据改变会立即更新到集中式的存储中,缺点是元数据更新集中在一个地方;

        gossio

点对点慢慢通知,及时性差;

4 集群选主的过程

1.slave发现自己的master变为FAIL
2.将自己记录的集群currentEpoc 并广播FAILOVER AUTH REQUEST 信息
3.其他节点收到该信息只有master应,判断请求者的合法性,并发送FAILOVER AUTH ACK,对每一个epoch只发送一次ack
4.尝试failover的slave收集master返回的FAILOVER AUTH ACK

5.silave收到超过半数master的ack后变成新Master(这里解释了集群为什么至少需要三个主节点,如果只有两个,当其中一个挂了,只剩一个主节点是不能选举成功的)

6.slave广播Pong消息通知其他集群节点。

延时发送请求:

DELAY=500ms+random(0-500ms)+ SLAVE RANK*1000ms
'SLAVE RANK表示此slave已经从master复制数据的总量的rank,Rank越小代表已复制的数据越新,这种方式下,持有最新数据的slave将会首先发起选举(埋论上)。

5 集群脑裂问题

        red1s集群没有过半机制会有脑裂问题,网络分区导致脑裂后多个主节点对外提供写服务,一旦网络分区恢复,会将其中一个主节点变为从节点,这时会有大量数据丢失。
规避方法可以在redis配否里加上参数(这种方法不可能百分百避免数据丢失,参考集群leader选举机制):
min-slaves-to-write1 //写数据成功最少同步的s1ave数量,这个数量可以模仿大于半数机制配置,比如集料总共三个节点可以配置1,加上1eader就是2,超过了半数注意:这个配置在一定程度上会影响集群的可用性,比如save要是少于1个,这个集群就算!eader正常也不能提供服务了,需要具体场是权衡选择。

6 集群扩容

        1 节点加入集群(加入后节点默认都是master节点)

        2 槽位重新分配(连接任何机器 发起槽位分配,指定分配数量 ,指定分配到的机器,被分配的节点),数据也会跟着迁移;

        3 加入副本节点,将副本节点指定为刚刚节点的副本节点;

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/1424.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL基础篇总结

参考:黑马程序员MySQL基础视频链接 数据库基本操作 启动与停止 1.第一种方式: 1>以管理员身份运行cmd 2>在命令行窗口中输入: 启动:net start mysql80停止:net stop mysql80 2.第二种方式: 1>WinR快捷方式打开如下: 输入&#…

【可视化大屏开发】19. 加餐-百度地图API实现导航加线路热力图

需求 Web端使用场景中会涉及到地图导航路线情况,并利用热力图显示路况信息。 实现效果如下: 输入起始地点,选择并开始导航 最终效果 思路步骤 利用百度地图API显示地图交通拥堵情况的热力图,需要按照以下步骤进行开发 步骤1&a…

9.Godot数组|遍历|静态变量|对象|调试

数组和字典的遍历 数组的概念 数组是一组数据的集合。在程序中负责批量处理数据。数组中的元素可以包括各个类型的数据,也可以对数组内数据类型进行限定。可以通过 数组名【数字】 的形式来访问数组元素,数字 0 代表数组的第一个元素。数组可以通过调用…

【大数据】TiDB: A Raft-based HTAP Database

文章目录 数据库知识介绍数据库系统的ACID特性分布式系统和CAP理论关系型数据库与非关系型数据库关系型数据库非关系型数据库 OldSQL、NoSQL、NewSQLOldSQLNoSQLNewSQL OLTP、OLAP、HTAP 前言:为什么选择TiDB学习?pingCAP介绍TiDB介绍TiDB的影响力TiDB概…

Java发送邮件 启用SSL

使用的maven依赖: <dependency><groupId>com.sun.mail</groupId><artifactId>javax.mail</artifactId><version>1.4.7</version> </dependency> 配置文件mail.properties如下: # 邮箱配置 email.username=your-email@exa…

[Java EE] 多线程(三):线程安全问题(上)

1. 线程安全 1.1 线程安全的概念 如果多线程环境下代码运行的结果不符合我们的预期,则我们说存在线程安全问题,即程序存在bug,反之,不存在线程安全问题. 1.2 线程不安全的原因 我们下面举出一个线程不安全的例子:我们想要在两个线程中对count进行操作 public class Demo9 …

ubuntu sysctl.conf net.core nofile

Ubuntu 20.04.4 修改系统的文件描述符限制 设置网络接收缓冲区 Configuring open file limits UDP buffe echo "* soft nofile 32000000" >> /etc/security/limits.conf echo "* hard nofile 128000000" >> /etc/security/limits.conf echo …

山东大学操作系统实验一(Linux虚拟机实现)

目录 实验题目 实验要求 示例程序 主程序 头文件 重点代码解析 一、main函数的参数 参数介绍 参数输入方式 本块代码 二、信号处理 本块代码 原理介绍 实现效果 三、kill函数 功能介绍 使用方式 本块代码 四、头文件处理 本块代码 代码作用 实验程序 …

ELK 与 EFK的介绍和对比

ELK 与 EFK的介绍和对比 ELK 和 EFK 分别是两种开源日志管理和分析平台的缩写&#xff0c;它们均基于 Elasticsearch、Kibana 这两个核心组件&#xff0c;但在日志收集阶段采用了不同的工具。下面详细解释这两个术语&#xff1a; ELK Stack ELK 是指 Elasticsearch, Logstas…

微调Llama3实践并基于Llama3构建心理咨询EmoLLM

Llama3 Xtuner微调Llama3 EmoLLM 心理咨询师

【嵌入式DIY实例】-称重计

DIY称重计 文章目录 DIY称重计1、硬件准备1.1 HX711 称重传感器模块2、硬件接线原理图3、代码实现在本文中,我们将使用数字体重秤 HX711 称重传感器模块来实现一个简易的称重计。 HX711 模块非常适合测量重量、力或任何其他可以以克为单位的东西。 该模块易于使用,可以连接到…

SpringBoot-餐饮业供应商管理系统-94116

SpringBoot餐饮业供应商管理系统 摘 要 随着餐饮业竞争的加剧&#xff0c;不仅需要有吸引力的菜肴&#xff0c;还需要先进的管理手段&#xff0c;才能在餐饮业站稳脚跟。通过完善的餐饮业供应商管理系统&#xff0c;不仅可以帮助餐饮企业在物流配送、商品管理等方面有所改进&a…

【C++风云录】解锁智慧之门:物联网安全工具和库助力打造安全可靠的智能家居

物联网安全&#xff1a;保护智能家居和设备数据的关键 前言 随着物联网的快速发展&#xff0c;智能家居和物联网设备正成为我们日常生活中不可或缺的一部分。然而&#xff0c;随之而来的是对设备安全性的关注&#xff0c;因为这些设备存储了大量的个人和敏感数据。为了确保智…

代码随想录总结|60天代码随想录训练结束(图论没开)

今年2月19日晚上我辗转反侧&#xff0c;看着目标院校复试群发呆。大学3年&#xff0c;前两年生病养病&#xff0c;后半年家里出了状况&#xff0c;玉玉了半学期。算是一事无成了&#xff0c;寒假尝试着刷LeetCode&#xff0c;就从B站上找教程&#xff0c;就找到了卡哥。看了一下…

Python根据公募基金在一定时期内持有的股票数据进行社会网络分析

【背景】根据提供的公募基金在一定时期内持有的股票数据&#xff0c;构建一个社会网络分析框架&#xff0c;度量每个基金在每年的度中心度、介数中心度和特征向量中心度&#xff0c;并对相关数据做出简要说明。 【代码】 import networkx as nx import pandas as pd import n…

Scala 第二篇 算子篇

Scala 第二篇 算子篇 上接&#xff1a;Scala 第一篇 基础篇 一、数组方法 1、数组的遍历2、数组获取元素3、数组排序4、交集&#xff0c;并集&#xff0c;补集5、集合转换操作6、合并&#xff0c;拆解&#xff0c;填充7、分组&#xff0c;排列 二、算子 1、简单计算2、高阶计…

IDEA2024配置RunDashBoard(Services)面板

IDEA2024配置RunDashBoard(Services)面板 新版本的IDEA没有RunDashBoard&#xff0c;取而代之的是Services面板&#xff0c;不需要配置workspace.xml文件; 本文教你简单的方法就能一个SpringBoot的Main运行多次&#xff0c;方便调试。 1、配置启动类 导航栏&#xff0c;Edit…

SiteMesh介绍

SiteMesh介绍 SiteMesh是一个网页布局和修饰的框架&#xff0c;利用它可以将网页的内容和页面结构分离&#xff0c;以达到页面结构共享的目的。 下载和安装SiteMesh 官方下载地址&#xff1a;http://www.opensymphony.com/sitemesh/download.action 配置过滤器 在web.xml中…

使用立创EDA打开JSON格式的PCB及原理图

一、将PCB和原理图放同一文件夹 并打包成.zip文件 二、打开嘉立创EDA并导入.zip文件 文件 -> 导入 -> 嘉立创EDA标准版/专业版 三、选择.zip文件并选择 “导入文件并提取库” 四、自定义工程路径 完成导入并转换为.eprj文件 五、视频教学 bilibili_使用立创EDA打开JSO…

Pytorch入门实战: 06-VGG-16算法-Pytorch实现人脸识别

第P6周&#xff1a;VGG-16算法-Pytorch实现人脸识别 &#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客 &#x1f356; 原作者&#xff1a;K同学啊 &#x1f3e1; 我的环境&#xff1a; 语言环境&#xff1a;Python3.8 编译器&#xff1a;Jupyter La…