【Redis】Redis的数据分布算法

一共有五种算法,分别为:哈希算法、一致性哈希算法、带有限负载的一致性哈希算法、虚拟节点一致性哈希算法、虚拟槽分区

哈希算法

思想:根据某个key的值或者key 的哈希值与当前可用的 master 节点数取模,根据取模的值获取具体的服务器
缺点:扩展性非常差。万一某个节点宕机,就需要重新计算

一致性哈希算法

目的:为了解决哈希算法可扩展性差的问题
思想:数据映射到哈希环上后按照顺时针的方向查找存储节点,即从数据映射在环上的位置开始,顺时针方向找到的第一个存储节点,那么他就存储在这个节点上
图解
在这里插入图片描述
上图所示:id=2会存储在server2,id=3,1,5,6会存储在server3,id=4会存储在server1
缺点:会出现数据分布不均匀的问题,也就是数据倾斜的问题。但是在一定程度上可扩展性更强

带有限负载的一致性哈希算法

目的:为了解决数据倾斜的问题
思想:给每个存储节点设置一个存储上限值来控制存储节点添加或移除造成的数据不均匀,当数据按照一致性哈希算法找到相应的存储节点时,要先判断该存储节点是否达到了存储上限;如果已经达到了上限,则需要继续寻找该存储节点顺时针方向之后的节点进行存储
图解
在这里插入图片描述
我们的添加顺序按照 id 大小排序,所以前四个数据(1,2,3,4)都没有问题,这时候的服务器都没有超过最高负载数量。
id=5 的数据落在了服务器 server2 和服务器 server3 之间,本应该是存储在服务器server3 上,但是由于此时的服务器 server3 上已经存储了 id=1、id=3 的数据,达到了最高限定,因此 id=5 的数据会沿着顺时针的方向继续往下寻找服务器。下一个服务器就是 server1,此时的服务器 server1 只存储了 id=4 的数据,并没有达到上限,所以 id=5 的数据就会存储在服务器 server1。id=6 的数据同样的道理,存储在server2上面。

虚拟节点一致性哈希算法

目的:带有限负载的一致性哈希算法存在一个服务器之间异构性(每台服务器的性能配置可能存在不一样)的问题
思想:根据每个节点的性能为每个节点划分不同数量的虚拟节点,并将这些虚拟节点映射到哈希环中,然后再按照一致性哈希算法进行数据映射和存储
图解
在这里插入图片描述
假设服务器server3是配置最差的,所以我们以服务器server3 为基准,服务器server2 是服务器server3 的两倍,服务器server1 是服务器server3 的三倍,我们建立虚拟节点。
假设服务器server3 的虚拟节点为服务器server3_1,服务器server2 就有两个虚拟节点服务器server2_1、服务器server2_2,服务器server1 有三个虚拟节点服务器server1_1、服务器server1_2、服务器server1_3。
落到虚拟节点上的数据都会存到对应的物理服务器上,所以通过带虚拟节点的一致性哈希算法后,数据存储结果为:数据id=2、id=3、id=5 的数据都会存储到服务器server1 上,id=1 的数据将会存储到服务器server2 上,数据 id=4、id=6 都会存放到服务器server3上。

虚拟槽分区

虚拟槽分区是 redis cluster 中默认的数据分布技术。
Redis cluster 中有16384(0~16383)个槽,会将这些槽平均分配到每个 master 上,在存储数据时利用 CRC16 算法,具体的计算公式为:slot = CRC16(key)/16384 来计算 key 属于哪个槽。
一个key查找过程图示如下:
在这里插入图片描述
虚拟槽分区解耦了数据与节点的关系,通过引入槽,让槽成为集群内数据管理和迁移的基本单位,简化了节点扩容和收缩难度。我们只需关注数据在哪个槽,所以虚拟槽分区可以说比较好的兼容了数据均匀分布和扩展性的问题

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/693688.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

机器学习 -- 矩阵和向量

场景 在之前的knn算法和余弦算法等算法中,都有很重要的概念,叫做矩阵和向量。这个是机器学习中很重要的概念。今天来深入学习一些矩阵和向量的一些知识。 向量(Vector) 向量是一个有序的数字列表,可以在几何中表示为从原点出发的箭头。在机…

halcon 标定多元点标定板、棋盘格映射矫正图像、矫正失真图像

一、标定多圆孔标定 其理论与棋盘格 和圆孔都是一样的,不一样的地方就是定方向的方式不一样。如图 2、结果 read_image (CalibImage, ./circle/1.png) get_image_size (CalibImage, Width, Height) dev_close_window () dev_open_window_fit_image (CalibImage, 0…

推荐一款Vite中加载svg的小工具

最近开发中使用到一个好玩的Vite三方小插件vite-plugin-svg-icons很实用,可以辅助我们开发过程中快速加载svg小图标。其原理是在Vite编译器的时候通过一次性的DOM操作将SVG插入DOM结构中,然后通过使用内联SVG进行加载访问,极大的方便了我们的小图标引用模式。 若只是少量的s…

PE 资源表-字符串

最近在写PE加载代码,写到LoadStringA时一直找不到字中的ID,网上搜索的资源只分析三层目录,之后的找不相关资料,只好自己分析。 资料显示pe资源表 分三层目录,之后是节点,再指向数据, 第二层的…

“成像光谱遥感技术中的AI革命:ChatGPT应用指南“

遥感技术主要通过卫星和飞机从远处观察和测量我们的环境,是理解和监测地球物理、化学和生物系统的基石。ChatGPT是由OpenAI开发的最先进的语言模型,在理解和生成人类语言方面表现出了非凡的能力。本课程重点介绍ChatGPT在遥感中的应用,人工智…

2024牛客寒假算法基础集训营4(视频讲解题目)

2024牛客寒假算法基础集训营4&#xff08;视频讲解题目&#xff09; 视频链接ABCDEFG、H&#xff08;下面是hard版本的代码两个都可以过&#xff09; 视频链接 2024牛客寒假算法基础集训营4&#xff08;视频讲解题目&#xff09; A #include<bits/stdc.h> #define en…

【教程】N2N V3内网穿透、异地组网,包括Win/Linux/Android,包括不同内网实现adb远程连接

目录 一、背景 二、Linux 配置 并运行 N2N - Supernode (必选) 三、Linux -- 配置 并运行 N2N - 边缘节点配置 Edge(可选步骤) 四、Windows -- 配置 并运行 N2N - 边缘节点配置 Edge (可选步骤) (一)配置 TAP 虚拟网卡 (二)配置 N

C++:C++入门基础

创作不易&#xff0c;感谢三连 &#xff01;&#xff01; 一、什么是C C语言是结构化和模块化的语言&#xff0c;适合处理较小规模的程序。对于复杂的问题&#xff0c;规模较大的程序&#xff0c;需要高度的抽象和建模时&#xff0c;C语言则不合适。为了解决软件危机&#xff…

子网络划分与互通,上网行为审计

网络环境需求:在办公网络环境中,由于公司部门的划分,以及服务器、电脑、手机等设备类型,一般都需要划分多个网段,便于进行网络管理,并提升网络通信效率。各个子网段管理员控制设备的接入,子网段之间需要进行局域网通信,发送消息和文件,通常使用飞秋。服务器网段,禁止…

Java Mybatis面试题解析(下)

15. 说一下Mybatis的一级缓存和二级缓存&#xff1f;【重点】 考核点&#xff1a;Mybatis缓存。 答&#xff1a; Mybatis的一级缓存是指SqlSession&#xff0c;一级缓存的作用域是SqlSession&#xff0c;Mybaits默认开启一级缓存&#xff1b; 在同一个SqlSession中&#xf…

第100讲:MHA+Atlas实现MySQL主从复制读写分离分布式集群

文章目录 1.Atlas读写分离简介2.搭建MHA高可用MySQL主从复制集群3.部署配置Atlas读写分离中间件3.1.安装Atlas读写分离中间件3.2.配置读写分离3.3.启动Atlas读写分离 4.读写分离集群测试5.生产环境中创建一个用户通过Atlas使用6.Atlas通过管理接口实现在线管理7.Atlas自动分表 …

Oracle中TimeStamp和Date的区别

在Oracle数据库中&#xff0c;DATE和TIMESTAMP数据类型都是用于存储日期和时间信息&#xff0c;但它们之间有几个重要的区别&#xff1a; 精度不同&#xff1a; DATE数据类型能存储日期和时间到秒的精度&#xff0c;格式通常是YYYY-MM-DD HH24:MI:SS&#xff0c;并且它总是包含…

华为OD机试真题-开源项目热榜-2023年OD统一考试(C卷)---python免费

题目&#xff1a; 考察内容&#xff1a; 理解题目双排序 代码&#xff1a; """ 题目分析&#xff1a; 计算热度值&#xff0c;进行降序排序&#xff0c;热度值一样&#xff0c;字母小写&#xff0c;字典排序输入&#xff1a; 项目个数N, int 0-100 权重列表…

高企详细流程

一、自我评价 企业根据《认定办法》和《工作指引》进行自我评价&#xff0c;初步判断是否达到认定条件的要求。 二、注册登记 企业登录"高新技术企业认定管理工作网"&#xff0c;按要求填写《企业注册登记表》&#xff0c;并通过网络系统提交至认定机构。认定机构…

快速部署华为云WAF实现Web应用安全防护

通常&#xff0c;用户将web应用暴露在公网上&#xff0c;不做任何准备或者安全措施可能会受到黑客的注入入侵攻击导致网站核心数据被脱库泄露。以及木马上传网页篡改&#xff0c;导致网站公信力受到影响。本文九河云将为您介绍如何通过华为云WAF应用防火墙实现web应用安全防护&…

[office] excel如何设置图片大小 #其他#其他

excel如何设置图片大小 如果你是EXCEL初学者&#xff0c;因为EXCEL功能强大&#xff0c;刚开始肯定很难记住许多的操作技巧&#xff0c;这里讲一下如何插入图片并根据需要改变图片的大小。下面让小编为你带来excel设置图片大小的方法。 excel设置图片大小步骤&#xff1a; 步骤…

解锁创意灵感,探索FlutterExampleApps项目的奥秘

解锁创意灵感&#xff0c;探索FlutterExampleApps项目的奥秘 项目简介 FlutterExampleApps项目是一个包含各种示例应用链接的仓库&#xff0c;旨在演示Flutter应用开发中的各种功能、特性和集成。 项目包含了以下几个部分&#xff0c;每个部分都涵盖了不同的内容和主题&…

Day23--learning English

一、积累 1.straw 2.umami | tangy | bland 3.lactose dairy 4.fatigue 5.stumble | curb 6.pore 7.toll 8.arrear 9.robe 10.stylish 11.dash 12.mischief 13.ranch 14.sponsorship 15.podcast 16.villian 17.clutch 18.envision 二、练习 1.牛津原译 1.straw /strɔː/ 1…

Unity3D 实现基于物理引擎的绳子关节解析详解

前言 在游戏开发中&#xff0c;有时候我们需要实现绳子关节效果&#xff0c;比如在射击游戏中射击绳子&#xff0c;或者在平衡游戏中使用绳子作为支撑。本文将详细介绍如何使用Unity3D的物理引擎实现绳子关节效果。 对惹&#xff0c;这里有一个游戏开发交流小组&#xff0c;希…

为python新手准备的练习题目

1、输入一个整数并打印 if 输入年级&#xff0c;如果大于18岁&#xff0c;输出 已成年&#xff0c;否则输出未成年 如果大于等于90&#xff0c;输出“优秀”&#xff0c;如果大于等于70&#xff0c;输出“良好”&#xff0c; 如果大于等于60&#xff0c;输出“及格”&#…