十四、Redis Cluster集群

Redis Cluster是Redis提供的一个分布式解决方案,在3.0推出。Redis Cluster可以自动将数据分片分布到不同的master节点上,同时提供了高可用的支持,当某个master节点挂了之后,整个集群还是可以正常工作。

1、为什么要用Redis Cluster?

前面十三章讲解了Redis中的哨兵模式。了解了Redis基于读写分离实现的主从架构。同时也知道了当Redis的master节点发生故障时,Sentinel是如何执行故障转移的。
的确,在数据上有从节点做副本数据备份;可用性上,有Sentinel保证master发生故障时,自动执行故障转移。
那么我们就会有疑问,为什么还需要Redis Cluster呢?
首先,Redis Sentinel实际上就是基于主从复制,在主从复制中,从节点的数据完全来源于master节点。
image.png
那么,假设现在master节点的内存只有4G,那么slave节点最多也就只能存储4G的数据。而且在前面第十三章中也介绍过,在主从复制的架构中读写是分离,也就是说我们可以横向增加slave节点的数量来提升Redis的读并发能力,但是写能力存储能力是无法扩展的,就只能是master节点的承载上限。
因此,当我们只存储4G的数据时,基于主从复制和Sentinel的高可用架构完全没得问题。但是当我们的数据量达到16G、64G、1TB呢?在现在互联网的业务中,只要公司的体量大,我感觉必然会面临海量数据缓存问题。

这就是为什么要引入Redis Cluster的原因。

2、Redis Cluster是什么

Redis Cluster我们可以很简单的理解为n个主从架构一起对外提供服务。Redis Cluster要求最少3个master才能组成一个集群,同时每个master至少有一个slave节点。
image.png
这样一来,如果一个主从能够存储32G数据,那么2个主从就可以存储64G的数据。如果有更大量的数据,只需要加相应数量的主从即可。
在主从架构中,我们知道可以通过增加slave节点的数量来提供Redis的读请求并发能力。那么Redis Cluster是如何做的呢?虽然每个master节点都挂了至少一个slave节点,但是slave节点只是做数据的备份作用,所有的读写请求都由master节点提供

3、节点负载均衡

从上面我们知道,在Redis Cluster中只有master节点对外提供读写能力,且有多个master,每个master上的存储的数据都不一样。那么Redis Cluster是如何知道哪个数据存储到哪个master上的呢?

3.1、哈希算法

一般的负载均衡算法,基本上会采用哈希算法
image.png
首先对key计算出一个hash值,然后用hash值对master的数据量取模。由此就可以将key均匀的分布到每个master节点上。这就是简单的哈希算法的实现。但是Redis Cluster并没有采用这种实现方式。而是采用了一个类一致性哈希算法的实现方式。
对于为什么没有采用哈希算法原因是:假如此时有一台master节点挂掉了,那么此时会导致Redis中的所有缓存失效(基本上所有数据都查不到)。
那么为什么呢?假如现在有3台master节点,那么之前的哈希算法应该是hash % 3,如果此时有一台master节点挂掉了,那么此时的哈希算法就应该是hash % 2。由于取模的基数不一样了,那么势必会影响的之前存储的所有数据。

3.2、一致性哈希算法

我们上面说到的哈希算法,是对master节点数量进行取模。而一致性哈希算法,是对232 取模,也就是值的范围在[0-232-1]。一致性哈希算法将其范围抽象成一个圆环,使用CRC16算法计算出来的哈希值会落到圆环的某个地方。
而且,我们的Redis实例也分布在圆环上,我们在圆环上按照顺时针的顺序找到第一个Redis实例,那么这个key存储的就是在这个实例上。
image.png
举个例子:假设我们有A、B、C三个实例按照如图的方式分布在圆环上,此时计算出来的hash值对应在D的位置,那么我们按照顺时针的顺序,就能够找到这个key应该分配的Redis实例B。同理计算出来的位置在E,那么对应的Redis实例就是A。
即使这个时候Redis实例B挂掉了也不会影响到A、C两个实例。
image.png
假如此时B节点挂掉了,那之前计算出来的位置D的key,按照顺时针顺序找到节点C。相当于把节点B的流量转移到节点C上,原来节点A、C的流量没有影响。
这就是一致性哈希算法,能够在我们后续删除或者添加节点的时候,不影响其他节点。

3.3、一致性哈希算法的虚拟节点机制

但是一致性哈希算法还是有点问题,例如当们的Redis节点按照如下分布时:
image.png
如果按照Redis节点上图分布时,明显数据落在节点A上的几率更大,其次落到节点C的几率最小。这样一来导致整个集群的数据存储不平衡,A、B节点的负载较高,节点C的资源利用不足,所以为了解决这个问题,引入了虚拟节点机制。
image.png
在圆环中增加了对应节点的虚拟节点,然后完成了虚拟节点到真实节点的映射。假设现在计算出来的结果是位置D,那么按照顺时针顺序,我们找到的第一个节点就是虚拟节点C#1,由于有虚拟节点到真实节点的映射关系,所以数据最终会落到真实节点C上。
通过增加虚拟节点的方式,使ABC三个节点在圆环上分布更加均匀,平均了落在每个节点上的概率。这样就解决了上面提到的节点分布不均匀导致的数据分布不均匀的问题。这就是一致性哈希算法的虚拟节点机制。

4、Redis Cluster采用的算法

Redis Cluster 采用的是类一致性哈希算法。
一致性哈希算法是对232取模,而Redis Cluster则是对214(也就是16384)取模。Redis Cluster将自己分成了16384个Slot(槽位)。通过CRC16计算出来的哈希值,会对16384取模,取模之后得到的值就是对应的槽位,然后每个redis节点都会负责处理一部分的槽位,就像下标所示:

节点处理槽位
A0-5000
B5001-10000
C10001-16383
每个Redis实例都会维护一份**slot-Redis节点**的映射关系,但是如果你在节点A上设置了某个key,但是通过CRC16计算的槽位是节点B维护的,那么就会提示你去节点B上进行操作。

image.png

5、Redis Cluster如何做到高可用?

现在我们想一个问题:如果Redis Cluster中的某个master节点挂了,它是如何保证集群自身的高可用的?如果我们想在集群里扩容节点,新扩容的节点它应该负责哪些槽位?

5.1、集群如何扩容?

Redis Cluster可以很方便的横向扩容,那当新的节点加入进来时,它是如何获取对应的slot的呢?
答案是通过**reshard(重新分片)**来实现,reshard可以将已经分配给某个节点的任意数量的slot迁移给另一个节点。在Redis内部是通过redis-trib负责执行的。可以理解为Redis其实已经封装好了所有命令,而redis-trib负责向获取slot节点和被转移slot的节点发送命令来实现reshard。

假设我们想集群中加入一个新节点D,而此时集群内已经有A、B、C三个节点。
此时redis-trib会向A、B、C三个节点发送迁移出槽位的请求,同时会向D发送准备导入槽位的请求,做好准备之后A、B、C这三个节点就开始执行迁移,将对应的slot的所有键值迁移到目标节点D。最后redis-trib会向集群中的所有主节点发送槽位变更信息。

5.2、高可用故障转移

Redis Cluster中保证集群高可用的思路和Redis Sentinel如出一辙。
简单来说,针对节点A,如果某个节点认为节点A挂了,那么此时就是主观宕机,而如果集群内超过半数的节点都认为节点A挂了,那么此时A就会标记为客观宕机
一旦节点A被标记为客观宕机,那么集群就会开始故障转移。其余正常运行的master节点会进行投票选举,从节点A的slave节点中选出一个,将其切换为新的master节点对外提供服务。当某个slave节点获得超过半数的master节点的投票,就成功当选。
image.png
当选成功后,新的master节点会执行slaveof no one来让自己停止复制节点A,使自己成为master节点。然后将A节点负责的slot,全部转移给自己,然后向集群发送PONG消息来广播自己的最新状态。

按照一致性哈希算法的思想,如果某个节点挂了,那么就会沿着那个圆环,按照顺时针找到遇到的第一个Redis实例。
而对于Redis Cluster,某个key它其实是不用关心它最终是去哪个Redis实例,它只要关心自己属于哪个slot,不论你节点怎么迁移,最终还是只需要找到对应的slot即可,然后在找到slot关联的节点。

6、gossip协议

gossip:留言、八卦、小道消息。

gossip协议:就是Redis Cluster各个节点之间交换数据、通信所采用的一种协议。
gossip在最初提出是为了解决分布式数据库中,各个副本节点的数据同步问题。但是随着技术的发展,gossip后续也被广泛用与信息扩散、故障检测等等。
Redis Cluster就是用gossip来实现自身的
信息扩散
的。
image.png
很简单,就像图里那样,每个Redis节点每秒都会向其他节点发送PING,然后被PING的节点会回一个PONG。

6.1、gossip协议消息类型

Redis Cluster中,节点之间的消息类型分为5种,分别是MEET、PING、PONG、FAIL和PUBLISH。

消息类型消息内容
MEET给某个节点发送MEET消息,请求接收消息的节点加入到集群。(新的节点加到集群)
PING每隔一秒钟,选择5个最久没有通信的节点,发送PING消息,检测对应的节点是否在线;同时还有一种策略:如果某个节点的通信延迟大于cluster-node-time的值的一半,就会立即给该节点发送PING消息,避免数据交换延迟太久。
PONG当节点收到MEER或者PING消息后,会回一个PONG消息给对方,代表自己收到了MEET或者PING消息。同时,节点也可以主动发送PONG消息向集群中广播自己的信息,让其他节点获取到自己的最新消息。就像完成故障转移之后的新的master向集群发送PONG消息一样。
FAIL用于广播自己的对某个节点的宕机判断,假设当前节点对节点A判断为宕机,那么就会立即向Redis Cluster广播自己对于节点A的判断,所有收到消息的节点就会对A节点进行标记。
PUBLISH用于向指定的Channel发送消息,某个节点收到PUBLISH消息之后会直接在集群内广播,这样一来,客户端不论连接到任何节点都能订阅这个Channel。

6.2、gossip的优劣

优点
扩展性网络可以允许节点的任意增加和减少,新增加的节点的状态最终会与其他节点一致。
容错性由于每个节点都持有一份完整的元数据,所以任何节点宕机都不会影响gossip的运行。
健壮性与容错性类似,由于所有节点都持有数据,地位平等,是一个去中心化的设计。任何节点都不会影响到服务的运行。
最终一致性当有新消息需要传递时,消息可以快速的发送到所有节点,让所有节点都拥有最新的数据。
gossip可以在O(logN)轮就可以将信息传播到所有节点,为什么是O(logN)呢?因为每次PING,**当前节点都会带上自己的信息外加整个Cluster的1/10数量的节点信息**,一起发送出去。

7、总结

总的来说,Redis Cluster相当于是把Redis的主从架构Sentinel继承在一起,从Reids Cluster的高可用机制、判断故障转移以及执行故障转移的过程,都和主从、Sentinel相关。这也就是为什么说,主从是Redis高可用的基石。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/838657.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

智慧景区AR导览手绘地图小程序系统开发源码搭建

智慧景区AR导览手绘地图小程序系统开发源码搭建需要以下步骤: 1. 确定系统需求和功能:了解智慧景区AR导览手绘地图小程序系统的需求和功能,包括地图绘制、AR导览、用户交互、数据管理等。 2. 选择开发平台和工具:选择适合的编程…

KMP 算法JavaScript代码实现

LeetCode 28. 找出字符串中第一个匹配项的下标 给定一个 haystack 字符串和一个 needle 字符串,在 haystack 字符串中找出 needle 字符串出现的第一个位置 (从0开始)。如果不存在,则返回 -1。 示例 1: 输入: haystack "hello", needle &quo…

浅说文心一言

文心一言(ERNIE Bot)是一个基于Transformer结构的知识增强大语言模型,它可以根据用户的指令和输入,生成相应的回答或文本。以下是一些常见的指令示例,你可以根据需要进行调整: 问答指令: "…

rocketmq的流程

生产过程 消费过程 存储 在RocketMQ中,一个Broker的所有Topic的消息都会被写入到同一个CommitLog文件中。 每个队列(Queue)都有对应的ConsumeQueue文件。 ConsumeQueue每个记录定长,20字节,消息在commitlog中的偏移量…

2024 年第四届长三角高校数学建模竞赛赛题浅析

一图流 赛道 题目难度 数据处理难度 模型难度 备注 A 高 低 高 需要物理模型和优化算法来预测物体在水中的行为和搜索策略,数据相对简单,主要挑战在于环境模拟和策略优化。 B 中等 高 中等 涉及大数据处理、特征工程、机器学习模型选择和调…

Linux quotacheck命令教程:如何检查和修复文件系统的磁盘配额(附案例详解和注意事项)

Linux quotacheck命令介绍 quotacheck命令是用于扫描文件系统以检查磁盘配额的一致性。它生成、检查和修复配额文件。这个命令通常在系统引导时运行,或者在手动更改了配额设置后运行。 Linux quotacheck命令适用的Linux版本 quotacheck命令在大多数Linux发行版中…

Poetry - Python 环境管理

文章目录 关于 poetry初始化项目从 0 创建项目已有项目中初始化环境 管理依赖库添加库查看依赖更新 管理环境查看有哪些虚拟环境删除环境 执行 python 脚本进入环境 manual 关于 poetry 官网:https://python-poetry.org官方文档:https://python-poetry.…

外贸客户采集软件有哪些?

外贸客户采集软件可以帮助企业收集潜在客户的信息,以便进行市场分析和客户开发。以下是一些常用的外贸客户采集软件: 易谷歌地图数据采集大师:基于谷歌地图数据采集的软件,能够采集任意国家、地区的企业地址、电话号码、邮件地址等…

SpringCloud 2023.0.1

本文介绍如何使用 springboot3及cloud2023 进行微服务模块化开发 采用父-module 模块开发 父工程 demo-java pom.xml <!--配置 springboot的依赖的版本号, 方便 module 进行继承--><dependencyManagement><dependencies><!--增加 springboot的依赖--&g…

浅谈-数据分析之道--数据思维的培养

第一篇数据思维 数据分析中最重要的是数据思维&#xff0c;对于业务场景中常见的问题&#xff0c;只要有分析问题的思路和方法&#xff0c;无论用什么工具都可以得到结果。 数据思维是数据分析师分析问题的思路和角度。 第一章&#xff0c;什么是数据思维 什么是数据治理&a…

MCN公司是做什么的,你了解吗?

近年来,短视频、直播等新兴内容形式在互联网上风靡一时,催生了大批头部网红和内容创作者。然而,在网红经济的繁荣发展背后,却存在着一个鲜为人知的"幕后推手"——MCN机构。简单来讲&#xff0c;MCN就是网红“大红大紫的背后推手”。 MCN可以说是一个把流量和广告营销…

适合建站的香港服务器有哪些,企业和个人建站的

香港服务器适合外贸建站、个人和企业建站&#xff0c;尤其是中小企业官网非常适合放在香港服务器上&#xff0c;因为香港服务器在国内外的访问速度都很快&#xff0c;也就意味着全球客户都能访问到你的网站。 对于很多新手小白来说不知道怎么才能买到靠谱稳定的香港服务器&…

eslint从0配置到1(vue3)

1、安装 npm i -D eslint npm i -D eslint-plugin-vue npm i -D vite-plugin-eslint 2、 创建文件&#xff08;根据自己的配置规则去增删&#xff09;&#xff1a;.eslintrc.cjs module.exports { root: true, // 使 eslint 支持 node 与 ES6 env: { browser: true, es2021: t…

mysql主从热备+keepalived 部署mysql高可用主备模式

目录 1、环境准备 2、分别在主服务器和备用服务器上安装keepalived 3、修改keepalived服务的配置文件 3.1 修改主服务器上的keepalive服务的配置文件 3.2 修改备用服务器上的keepalive服务配置文件 4、编写mysql监控脚本放到主服务器上 5、在主服务器和备用服务器上查看…

水泡传感器内部结构

水泡传感器内部结构&#xff1a; 水泡传感器放大电路 电路是基于1.6V做的TIA I2V&#xff0c; 也就是输出部分基于1.6V做电压的增加或减少。

Milvus 快速入门

引言 在本篇文章中&#xff0c;我们将介绍 Milvus 的基本概念&#xff0c;并通过一个简单的示例展示如何在 Milvus 中创建集合、插入向量和执行搜索。最后&#xff0c;我们将概览 Milvus 提供的 API。 一、基本概念 1.1 集合 (Collection) 在 Milvus 中&#xff0c;集合类似…

如何组织 Vue 项目

介绍 在启动 Vue 项目时&#xff0c;思考项目结构至关重要。主要考虑因素是预期项目的规模。在本篇博文中&#xff0c;我将探讨适用于不同规模 Vue 项目的各种结构。这个考虑与康威定律相吻合&#xff1a; “设计系统的组织受限于产生这些组织沟通结构的设计。” - 梅尔康威 基…

C语言之指针初阶

目录 前言 一、内存与地址的关系 二、指针变量 三、野指针 四、const 五、传值调用与传址调用 总结 前言 本文主要介绍C语言指针的一些基础知识&#xff0c;为后面深入理解指针打下基础&#xff0c;因此本文内容主要包括内存与地址的关系&#xff0c;指针的基本语法&…

WebRTC实时音视频通话之语音通话设计与实践

一、背景 在移动互联网流量时代&#xff0c;很多业务场景都有音视频通信的需求&#xff0c;比如IM场景&#xff0c;除了文字交流还需要音视频通话进行实时交互。为了帮助58、赶集、安居客等业务线更好的为用户提供服务&#xff0c;节约沟通成本&#xff0c;提升效率&#xff0…

【Linux】19. 习题②

2022-11-12_Linux环境变量 1. 分页存储(了解) 一个分页存储管理系统中&#xff0c;地址长度为 32 位&#xff0c;其中页号占 8 位&#xff0c;则页表长度是__。 A.2的8次方 B.2的16次方 C.2的24次方 D.2的32次方 【答案解析】A 页号即页表项的序号&#xff0c;总共占8个二进制…