大厂面试官问我:Redis为什么使用哈希槽的方式进行数据分片?为什么不适用一致性哈希的方式?【后端八股文十三:Redis 集群哈希八股文合集(1)】

  本文为【Redis 集群哈希 八股文合集(1)】初版,后续还会进行优化更新,欢迎大家关注交流~

hello hello~ ,这里是绝命Coding——老白~💖💖 ,欢迎大家点赞🥳🥳关注💥💥收藏🌹🌹🌹
19d95742d45b4220ad0ae0359ffcba93.png

💥个人主页:绝命Coding-CSDN博客
💥 所属专栏:后端技术分享
这里将会不定期更新有关后端、前端的内容,希望大家多多点赞关注收藏💖

    往期内容(篇幅过多,不一一列出,感兴趣的小伙伴可以查看专栏):

大厂面试官问我:Redis处理点赞,如果瞬时涌入大量用户点赞(千万级),应当如何进行处理?【后端八股文一:Redis点赞八股文合集】-CSDN博客

大厂面试官问我:布隆过滤器有不能扩容和删除的缺陷,有没有可以替代的数据结构呢?【后端八股文二:布隆过滤器八股文合集】-CSDN博客

redis做集群时如何高效快速找到对应的节点 / Redis Cluster 如何分配命令在哪个节点上执行

哈希槽

原因:

  1. 简单高效:哈希槽是一个 0-16383 的整数范围,通过对 key 进行 CRC16 计算后对 16384 取模就可以确定该 key 属于哪个槽。这种方式计算简单高效,且容易管理和维护。
  2. 负载均衡:Redis 集群会尽量将 16384 个槽均匀地分配到各个节点上,从而达到良好的负载均衡效果。当集群节点数发生变化时,只需要在节点间进行槽的迁移,不需要重新计算每个 key 的路由。
  3. 扩展性:当集群需要扩展时,可以将部分槽迁移到新加入的节点上,无需对所有 key 进行rehash。这种方式可以平滑地扩展集群规模。

Redis为什么使用哈希槽的方式进行数据分片?为什么不适用一致性哈希的方式?/ redis的hash slot算法,与哈希环算法区别

Redis 选择使用哈希槽(hash slot)是因为它更加简单高效:

  • 哈希槽是一个 0-16383 的整数范围,通过对 key 进行 CRC16 计算后对 16384 取模就可以确定该 key 属于哪个槽。这种方式计算简单高效。
  • 相比之下,一致性哈希需要维护复杂的哈希环拓扑,扩展时需要重新计算所有 key 的路由,不够灵活。
  • 哈希槽可以将 16384 个槽均匀地分配到各个节点上,从而达到良好的负载均衡效果。当集群节点数发生变化时,只需要在节点间进行槽的迁移,不需要重新计算每个 key 的路由。

了解redis的哈希环吗?如何做到哈希一致性?

哈希环(Consistent Hashing):
Redis使用哈希环(Consistent Hashing)算法来实现哈希一致性。这个算法的核心思想是:

  • 将所有的节点和key都映射到同一个哈希空间(如0-2^32-1)的圆环上。
  • 增加或删除节点时,只影响相邻的节点,其他节点基本不受影响。
  • 这样可以很好地解决增加/删除节点时数据迁移的问题,提高了系统的伸缩性。

什么是哈希环

如上图

  1. 我们有一个虚拟的哈希环,将节点 (Node 1、Node 2、Node 3) 和数据项 (Key 1) 都映射到这个环上。
  2. 当我们需要存储一个数据项时,我们会根据该数据项的 hash 值将其定位到哈希环上的某个位置,并将其存储到顺时针方向第一个遇到的节点上
  3. 比如 Key 1 被定位到 Node3 上
  4. 当我们新增或删除节点时,只需要调整少量数据项的存储位置,而不需要大规模的数据迁移。
  5. 比如如果我们新增了 Node 4,那么 Key 3 可能会被重新分配到 Node 4 上,但其他 Key 的存储位置不会受到影响。

具体新增:

比如:

  1. 有三个节点:

    • Node 1 位于左上方,占据了大约1/4的环空间。
    • Node 2 位于右上方,占据了大约1/4的环空间。
    • Node 3 位于中心,占据了剩余的1/2环空间。
  2. 有两个数据项:

    • Key 1 位于左上方,接近Node 1。
    • Key 2 位于右下方,接近Node 2。

  1. 有两个节点 Node 1 和 Node 2,分别存储了 Key 1 和 Key 2。(根据一致性哈希算法:Key 1 被存储在顺时针方向第一个遇到的节点Node 1上,key 2 被存储在顺时针方向第一个遇到的节点Node 2上)
  2. 现在我们新增了一个节点 Node 3。
  3. 为了将 Node 3 加入到哈希环中,我们需要重新计算哈希环上的数据分布。
  4. 按照一致性哈希算法的规则,Key 1 仍然存储在 Node 1 上,因为它距离 Node 1 最近。
  5. 但 Key 2 原本存储在 Node 2 上,现在需要被重新分配。根据一致性哈希算法,Key 2 应该被存储在顺时针方向第一个遇到的节点 Node 3 上。
  6. 所以经过这次节点变更,只有 Key 2 需要被迁移到新的节点 Node 3 上,而 Key 1 的存储位置保持不变。这就大大减少了数据重分布的开销。

Redis 哈希槽的概念?

Redis 集群没有使用一致性 hash,而是引入了哈希槽的概念, Redis 集群有16384 个哈希槽,每个key 通过 CRC16 校验后对 16384 取模来决定放置哪个槽, 集群的每个节点负责一部分 hash 槽。

哈希槽是如何映射到 Redis 实例上的?/ 哈希槽在redis中是如何存储的

节点取余分区。使用特定的数据,如Redis的键或用户ID,对节点数量N取余:hash(key)%N计算出哈希值,用来决定数据映射到哪一个节点上。

虚拟槽分区,所有的键根据哈希函数映射到0~16383整数槽内,计算公式:slot=CRC16(key)&16383。每一个节点负责维护一部分槽以及槽所映射的键值数据。**Redis Cluser采用虚拟槽分区算法。

redis哈希槽为什么16384

16384 这个数字是经过权衡后选择的:

  • 16384 是 2^14,是一个比较大的素数,可以较为均匀地分配给集群节点。
  • 16384 个槽够用于大多数应用场景,既不会过于浪费内存,也不会造成过多的槽迁移开销。
  • 使用 16 位 CRC16 哈希函数可以快速计算出 key 所属的槽号,计算效率高。

Redis一致性哈希是如何用的?怎么判断slot是属于哪个节点。初始化的时候怎么分配的slot的?

一致性哈希的使用:

  • Redis 使用一致性哈希算法将所有节点和 key 映射到同一个哈希环上。
  • 当客户端需要查找某个 key 时,会通过哈希函数将该 key 映射到哈希环上的一个点。
  • 然后顺时针查找最近的节点,即可找到负责该 key 的节点。

如何判断 slot 属于哪个节点:

  • Redis 将哈希空间分成 16384 个固定大小的槽位(slot)。
  • 每个 key 根据其 key 值经过 CRC16 哈希函数计算,得到一个 0-16383 之间的整数值,这个值就是该 key 所在的槽位。
  • 每个 Redis 节点负责管理一部分连续的槽位。通过维护一个槽位与节点的映射关系,就可以确定某个槽位属于哪个节点。

初始化时的槽位分配:

  • 在 Redis 集群初始化时,会将 16384 个槽位平均分配给集群中的所有节点。
  • 例如,如果集群有 3 个节点,那么每个节点会被分配 0-5460、5461-10920 和 10921-16383 三个槽位区间。
  • 当添加或删除节点时,Redis 会根据新的节点数重新计算每个节点应该负责的槽位区间,并自动进行槽位的迁移。

redis集群新增一个节点和删除一个节点后如何解决雪崩现象?

环哈希


为什么使用一致性哈希?

  • 传统哈希算法(如取模)在节点变更时,会导致大量 key 的重新分布,引发大量的数据迁移和客户端路由更新,容易造成雪崩效应。
  • 而一致性哈希算法通过将节点和 key 都映射到一个虚拟的哈希环上,在节点变更时只需要调整少量 key 的映射关系,减少了数据迁移和客户端路由的开销。

cluster 在服务器扩容时如何 rehash,哈希槽如何计算

当增加或减少 Redis 集群的节点时,需要对哈希槽进行重新分配,这个过程称为 rehash。

rehash 的具体步骤是:

计算新的哈希槽分配方案

迁移数据到新的槽位

更新客户端路由信息

哈希槽的计算公式是: slot = crc16(key) & 16383

crc16 是一种常用的哈希算法

结果被 16383 取模,得到 0-16383 之间的槽位号

多个主库如何实现

在 Redis 中,一般不会存在多个主库的情况,因为这样会导致数据一致性问题。

如果确实有这种需求,可以考虑使用 Redis 集群模式,通过哈希槽的方式将数据分散在多个主节点上。

     后期新的八股文合集文章会继续分享,感兴趣的小伙伴可以点个关注~

 更多精彩内容以及免费资料请关注公众号:绝命Coding

914cbb12b2c3492aaa31232a11aa9c64.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/872909.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

whisper-api语音识别语音翻译高性能兼容openai接口协议的开源项目

whisper-api 介绍 使用openai的开源项目winsper语音识别开源模型封装成openai chatgpt兼容接口 软件架构 使用uvicorn、fastapi、openai-whisper等开源库实现高性能接口 更多介绍 [https://blog.csdn.net/weixin_40986713/article/details/138712293](https://blog.csdn.n…

leetcode-46. 全排列

题目描述 给定一个不含重复数字的数组 nums ,返回其 所有可能的全排列 。你可以 按任意顺序 返回答案。 示例 1: 输入:nums [1,2,3] 输出:[[1,2,3],[1,3,2],[2,1,3],[2,3,1],[3,1,2],[3,2,1]]示例 2: 输入&#xf…

【ELK+Kafka+filebeat分布式日志收集】分布式日志收集详解

分布式日志收集是一种用于在分布式系统中收集、聚合、存储和分析日志数据的技术。随着系统规模的扩大和分布式架构的普及,单节点的日志收集和处理方案已经难以满足需求。因此,分布式日志收集系统应运而生。以下是分布式日志收集的详细讲解: 一、背景 1、为什么需要分布式日…

百日筑基第二十三天-23种设计模式-创建型总汇

百日筑基第二十三天-23种设计模式-创建型总汇 前言 设计模式可以说是对于七大设计原则的实现。 总体来说设计模式分为三大类: 创建型模式,共五种:单例模式、简单工厂模式、抽象工厂模式、建造者模式、原型模式。结构型模式,共…

防洪墙的安全内容检测+http请求头

1、华为的IAE引擎:内部工作过程 IAE引擎主要是针对2-7层进行一个数据内容的检测 --1、深度检测技术 (DPI和DPF是所有内容检测都必须要用到的技术) ---1、DPI--深度包检测,针对完整的数据包,进行内容的识别和检测 1、基于特征子的检…

Windows图形界面(GUI)-DLG-C/C++ - 列表视图(ListView)

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​​​​链接点击跳转博客主页 目录 列表视图(ListView) 控件类型 初始化控件环境 示例代码 列表视图(ListView) 控件类型 详细信息视图(Report View):数据以列的形式显示&…

Collections.unmodifiableList

Collections.unmodifiableList 是 Java Collections Framework 提供的一个方法,用于创建一个不可修改的视图(unmodifiable view)列表。这个方法返回的列表是对原始列表的一个包装,任何对这个包装列表的修改操作都会抛出 Unsupport…

数据分析01——系统认识数据分析

1.数据分析的全貌 1.1观测 1.1.1 观察 (1)采集数据 a.采集数据:解析系统日志 当你在看视频的时候———就会产生日志———解析日志———得到数据 b.采集数据:埋点获取新数据(自定义记录新的信息) 日志…

vue3中的watch函数

watch函数 作用&#xff1a;监听数一个或者多个数据的变化&#xff0c;数据变化时执行回调函数&#xff0c;两个额外的参数&#xff1a;1、immediate&#xff08;立即执行&#xff09;2、deep&#xff08;深度监听&#xff09; 监听单个数据&#xff1a; <script setup&g…

【Vue】Vue3 安装 Tailwind CSS 入门

初始化 Vue 3 项目 npm install -g vue/cli vue create my-project安装 Tailwind CSS 进入你的项目目录&#xff0c;然后安装 Tailwind CSS 和其依赖项&#xff1a; npm install -D tailwindcss postcss autoprefixer配置 PostCSS Tailwind CSS 需要通过 PostCSS 进行处理。…

Python酷库之旅-第三方库Pandas(029)

目录 一、用法精讲 74、pandas.api.interchange.from_dataframe函数 74-1、语法 74-2、参数 74-3、功能 74-4、返回值 74-5、说明 74-6、用法 74-6-1、数据准备 74-6-2、代码示例 74-6-3、结果输出 75、pandas.Series类 75-1、语法 75-2、参数 75-3、功能 75-4…

单例模式 单例模式在多线程中是否线程安全, 如何保证线程安全。

单例模式 顾名思义就是在整个运行时域&#xff0c;一个类只有一个实例对象 懒汉式和饿汉式 1.懒汉式&#xff1a;类加载时不实例化&#xff0c;在第一次被调用时才进行实例化 下面展示一个 单例模式懒汉式代码片。 package com.haina.java08;public class Single {//构造器私…

mybatis-plus getMap sum求和 between时间查询

oracle 语法 QueryWrapper<Xxxx> eq new QueryWrapper<Xxxx>().select("NVL(sum(AAA),0) AS AA","NVL(sum(BBB),0) AS BB","NVL(sum(CCC),0) AS CC").eq("T_ID", id).apply("CREATE_TIME between to_date({0}, YYYY…

牛客 7.13 月赛(留 C逆元 Ddp)

B-最少剩几个&#xff1f;_牛客小白月赛98 (nowcoder.com) 思路 奇数偶数 奇数&#xff1b;奇数*偶数 奇数 所以在既有奇数又有偶数时&#xff0c;两者结合可以同时删除 先分别统计奇数&#xff0c;偶数个数 若偶个数大于奇个数&#xff0c;答案是偶个数-奇个数 若奇个数…

六边形动态特效404单页HTML源码

源码介绍 动态悬浮的六边形,旁边404文字以及跳转按钮,整体看着像科技二次元画风,页面简约美观,可以做网站错误页或者丢失页面,将下面的代码放到空白的HTML里面,然后上传到服务器里面,设置好重定向即可 效果预览 完整源码 <!DOCTYPE html> <html><head…

【17】Android 线程间通信(二) - Handler

概述 记得上篇文章我们留下的问题吗&#xff1f;如果还没有看过上一篇讲解Handler基本原理文章的同学可以补一下知识。Android 线程间通信(一) - Handler 回到正题&#xff0c;这次我们将一下上一篇文章留下问题中的几个&#xff0c;idleHandler & syncBarrier。 同步屏…

PyCharm查看文件或代码变更记录

背景&#xff1a; Mac笔记本上有一个截图的定时任务在运行&#xff0c;本地Python使用的是PyCharm IDE&#xff0c;负责的同事休假&#xff0c;然后定时任务运行的结果不符合预期&#xff0c;一下子不知道问题出现在哪里。 定位思路&#xff1a; 1、先确认网络、账号等基本的…

Qt 快速保存配置的方法

Qt 快速保存配置的方法 一、概述二、代码1. QFileHelper.cpp2. QSettingHelper.cpp 三、使用 一、概述 这里分享一下&#xff0c;Qt界面开发时&#xff0c;快速保存界面上一些参数配置的方法。 因为我在做实验的时候&#xff0c;界面上可能涉及到很多参数的配置&#xff0c;我…

实战打靶集锦-31-monitoring

文章目录 1. 主机发现2. 端口扫描3. 服务枚举4. 服务探查4.1 ssh服务4.2 smtp服务4.3 http/https服务 5. 系统提权5.1 枚举系统信息5.2 枚举passwd文件5.3 枚举定时任务5.4 linpeas提权 6. 获取flag 靶机地址&#xff1a;https://download.vulnhub.com/monitoring/Monitoring.o…

django学习入门系列之第四点《BootStrap依赖》

文章目录 往期回顾 BootStrap依赖于JavaScript的类库&#xff0c;JQuery下载 下载JQuery&#xff0c;在界面上应用JQuery 在页面上应用BootStrap和avaScript的类库【JQuery是avaScript的类库】 JQuery的官网&#xff1a; jQuery 如果要应用JQuery 则要在body里面导入文件…