Redis哈希槽和一致性哈希

前言

单点的Redis有一定的局限:

  • 单点发生故障,数据丢失,影响整体服务应用
  • 自身资源有限,无法承载更多资源分配
  • 并发访问,给服务器主机带来压力,性能瓶颈

我们想提升系统的容量、性能和可靠性,就会将数据分散到多个节点来存储或备份,也就是集群部署。
那么,一个存储数据应该到哪个或哪些节点上来获得,应该是确定的。如果通过简单的取模算法将数据请求分散到了不同的服务器节点上,会有一个很致命的问题,如果节点数量发生了变化,也就是在对系统做扩容或者缩容时,必须迁移改变了映射关系的数据,否则会出现查询不到数据的问题。

单节点到集群

为了解决种种问题,Redis有多种集群的构建方式

  • Sentinel哨兵模式:主节点支持读写,从节点支持读,哨兵阶段负责维护高可用。
    • 主节点和从节点都有全量数据,适合数据量相对较少。
    • 主节点负责写操作,主节点数据写入后将数据按照流程同步到从节点。
    • 当主节点异常后,从节点会被选举为主节点,从而完成后续的写和同步。
  • Redis Cluster:一致性Hash的方案。
  • Twemproxy:类似于代理模式,数据的分片和负载均衡由Twemproxy来实现。
    • TwemProxy本身不提供高可用,适用于轻量级的场景。

一致性哈希在Cluster中的作用

Cluster的需求

  • 数据量大,只能存储在一个节点。
  • 保证数据分布相对均匀。
  • 不能影响查询效率,所有查询应该只用查询一个集群节点。
  • 高可用,满足宕机恢复与扩容缩容等。

一致性哈希方案

一致性哈希算法就很好地解决了分布式系统在扩容或者缩容时,发生过多的数据迁移的问题。

一致哈希算法也用了取模运算,但与哈希算法不同的是,哈希算法是对节点的数量进行取模运算,而一致哈希算法是对 2^32 进行取模运算,是一个固定的值。
在这里插入图片描述
要想解决节点能在哈希环上分配不均匀的问题,就是要有大量的节点,可以加入虚拟节点,也就是对一个真实节点做多个副本。
具体做法是,不再将真实节点映射到哈希环上,而是将虚拟节点映射到哈希环上,并将虚拟节点映射到实际节点,所以这里有两层映射关系。
在这里插入图片描述
带虚拟节点的一致性哈希方法不仅适合硬件配置不同的节点的场景,而且适合节点规模会发生变化的场景。
虚拟节点除了会提高节点的均衡度,还会提高系统的稳定性。当节点变化时,会有不同的节点共同分担系统的变化,因此稳定性更高。

一致性哈希还有一些其他的应用场景:

  • RPC框架Dubbo用来选择服务提供者
  • 分布式关系数据库分库分表:数据与节点的映射关系
  • LVS负载均衡调度器

Redis集群分片的方案

Slot Partitioning槽分区算法

Redis集群的做法是将数据划分为 16384(2的14次方)个哈希槽(slots),如果你有多个实例节点,那么每个实例节点将管理其中一部分的槽位,槽位的信息会存储在各自所归属的节点中。
槽位的计算:

  • 通常Cluster 默认基于 Key 进行 crc16 算法进行 Hash 计算,然后基于 16384 进行取模
  • 特殊情况下,Cluster 可以指定某个Key挂载到特定的槽位上(通过 Tag 实现,Tag 映射槽位)
    在这里插入图片描述

参考文章

面试官 : 你能说清楚 Redis 哈希槽和一致性哈希的要点吗?
Redis系列5:深入分析Cluster 集群模式
什么是一致性哈希

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/4674.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

sentinel-1.8.7与nacos-2.3.0实现动态规则配置、双向同步

😊 作者: 一恍过去 💖 主页: https://blog.csdn.net/zhuocailing3390 🎊 社区: Java技术栈交流 🎉 主题: sentinel-1.8.7与nacos-2.3.0实现动态规则配置、双向同步 ⏱️ 创作时…

unity的特性AttriBute详解

unity的特性AttriBute曾经令我大为头疼。因为不动使用的法则,但是教程都是直接就写,卡住就不能继续学下去。令我每一次看到,直接不敢看了。 今天使用文心一言搜索一番,发现,恐惧都是自己想象的,实际上这个…

Kotlin泛型之 循环引用泛型(A的泛型是B的子类,B的泛型是A的子类)

IDE(编辑器)报错 循环引用泛型是我起的名字&#xff0c;不知道官方的名字是什么。这个问题是我在定义Android 的MVP时提出来的。具体是什么样的呢&#xff1f;我们看一下我的基础的MVP定义&#xff1a; interface IPresenter<V> { fun getView(): V }interface IVie…

Nodejs 第六十八章(远程桌面)

远程桌面 远程桌面&#xff08;Remote Desktop&#xff09;是一种技术&#xff0c;允许用户通过网络远程连接到另一台计算机&#xff0c;并在本地计算机上控制远程计算机的操作。通过远程桌面&#xff0c;用户可以在不同地点的计算机之间共享屏幕、键盘和鼠标&#xff0c;就像…

BKPUNIX

第二条等待寄存器同步&#xff0c;可以参考前边RTC框图部分。在图中可以看到有两个时钟&#xff0c;PCLK1和RTCCLK&#xff0c;PCLK1在主电源掉电时会停止&#xff0c;为了保证RTC主电源掉电正常工作&#xff0c;RTC里的寄存器都是在RTCCLK同步下进行变更的。当用PCLK驱动的总线…

宝塔面板安装教程(linux)

宝塔官网地址 宝塔官网linux安装地址 针对Ubuntu系统的安装命令&#xff1a; wget -O install.sh https://download.bt.cn/install/install-ubuntu_6.0.sh && sudo bash install.sh ed8484bec 安装过程中&#xff0c;中途会出现一个 Y&N ? 的选项&#xf…

OpenCV如何模板匹配

返回:OpenCV系列文章目录&#xff08;持续更新中......&#xff09; 上一篇&#xff1a;OpenCV如何实现背投 下一篇 &#xff1a;OpenCV在图像中寻找轮廓 目标 在本教程中&#xff0c;您将学习如何&#xff1a; 使用 OpenCV 函数 matchTemplate()搜索图像贴片和输入图像之间…

如何下载AndroidStudio旧版本

文章目录 1. Android官方网站2. 往下滑找到历史版本归档3. 同意软件下载条款协议4. 下载旧版本Androidstudio1. Android官方网站 点击 Android官网AS下载页面 https://developer.android.google.cn/studio 进入AndroidStuido最新版下载页面,如下图: 2. 往下滑找到历史版本归…

react怎么制作选项卡

在React中制作选项卡&#xff08;Tabs&#xff09;是一个常见的需求&#xff0c;下面是一个简单的步骤和示例代码&#xff0c;用于创建一个基本的选项卡组件。 首先&#xff0c;我们需要定义选项卡组件的状态和结构。每个选项卡都有一个标签&#xff08;label&#xff09;和一…

Golang Colly批量爬取小红书图片

语言:Golang 库:Iris/Colly 先看输入日志: Saved file: images\20240428190531_2_0.jpg It is image 20240428190532_2_1.jpg Saved file: images\20240428190532_2_1.jpg It is image 20240428190533_2_2.jpg Saved file: images\20240428190533_2_2.jpg It is image 2024…

一本书了解AI的下一个风口:AI Agent

在数字化浪潮中&#xff0c;人工智能&#xff08;AI&#xff09;已成为推动现代社会前进的强劲引擎。 从智能手机的智能助手到自动驾驶汽车的精准导航&#xff0c;AI技术的应用已经渗透到生活的方方面面。 随着技术的飞速发展&#xff0c;我们正站在一个新的转折点上&#xff…

构建本地大语言模型知识库问答系统

MaxKB 2024 年 4 月 12 日&#xff0c;1Panel 开源项目组正式对外介绍了其官方出品的开源子项目 ——MaxKB&#xff08;github.com/1Panel-dev/MaxKB&#xff09;。MaxKB 是一款基于 LLM&#xff08;Large Language Model&#xff09;大语言模型的知识库问答系统。MaxKB 的产品…

关于ListView的使用及其实现原理

ListView的使用 ListView的使用主要分为以下几个步骤&#xff1a; 布局定义&#xff1a; 在XML布局文件中定义ListView控件&#xff0c;为其指定ID&#xff0c;并设置相关属性&#xff0c;如宽度、高度等。 <ListView android:id"id/list_view" android:layout…

[论文笔记]GAUSSIAN ERROR LINEAR UNITS (GELUS)

引言 今天来看一下GELU的原始论文。 作者提出了GELU(Gaussian Error Linear Unit,高斯误差线性单元)非线性激活函数&#xff1a; GELU x Φ ( x ) \text{GELU} x\Phi(x) GELUxΦ(x)&#xff0c;其中 Φ ( x ) \Phi(x) Φ(x)​是标准高斯累积分布函数。与ReLU激活函数通过输入…

机器学习中的线性模型和非线性模型

机器学习中的线性模型和非线性模型 线性模型 线性模型是基于线性假设的模型&#xff0c;即输出是输入特征的线性组合。以下是一些常见的线性模型&#xff1a; 线性回归&#xff08;Linear Regression&#xff09; 预测连续值输出。 逻辑回归&#xff08;Logistic Regression…

网盘—上传文件

本文主要讲解网盘里面关于文件操作部分的上传文件&#xff0c;具体步骤如下 目录 1、实施步骤&#xff1a; 2、代码实现 2.1、添加上传文件协议 2.2、添加上传文件槽函数 2.3、添加槽函数定义 2.4、关联上传槽函数 2.5、服务器端 2.6、在服务器端添加上传文件请求的ca…

JAVA:后端框架-将servlet+jsp改为springboot+jsp需要做什么

目录 POJO&#xff08;作为实体&#xff09;&#xff1a; 添加注释Entity Id DAO&#xff08;作为存储库&#xff09;&#xff1a;使用Spring Boot时&#xff0c;不需要具体的DAO实现或JdbcUtils COMMON&#xff08;应用配置&#xff09;&#xff1a;JdbcUtils 与 JdbcTempla…

算法学习(5)-图的遍历

目录 什么是深度和广度优先 图的深度优先遍历-城市地图 图的广度优先遍历-最少转机 什么是深度和广度优先 使用深度优先搜索来遍历这个图的过程具体是&#xff1a; 首先从一个未走到过的顶点作为起始顶点&#xff0c; 比如以1号顶点作为起点。沿1号顶点的边去尝试访问其它未…

TensorFlow轻松入门(二)——小案例:ANN构建一个异或运算的模型

异或运算&#xff1a; 位与位进行比较&#xff0c;相同则结果为0&#xff1b;不同则结果为1。 实现步骤 构建Feature与Label数据 创建顺序模型 指定模型的第一层&#xff0c;线性模型 添加激活函数&#xff08;需要增加多个隐藏层&#xff09; 模型编译 模型训练 模型预…

提升编码技能:学习如何使用 C# 和 Fizzler 获取特价机票

引言 五一假期作为中国的传统节日&#xff0c;也是旅游热门的时段之一&#xff0c;特价机票往往成为人们关注的焦点。在这个数字化时代&#xff0c;利用爬虫技术获取特价机票信息已成为一种常见的策略。通过结合C#和Fizzler库&#xff0c;我们可以更加高效地实现这一目标&…