韩信大招:一致性哈希

作者 | 悟空聊架构

来源 | 悟空聊架构

韩信点兵的成语来源淮安民间传说。常与多多益善搭配。寓意越多越好。我们来看下主公刘邦和韩信大将军的对话。

刘邦:“你觉得我可以带兵多少?”

韩信:“最多十万。”

刘邦不解的问:“那你呢?”

韩信自豪地说:“越多越好,多多益善嘛!

假如刘邦现在给了韩信一千个士兵,需要大致均匀分成三组。士兵的编号是六位数,从 1-100000 随机分配。比如第一个士兵的值是 245,第二个士兵的编号是 82593,其他士兵类似。那么如何对士兵进行分配呢?

刘邦:韩将军,你看这些士兵怎么分配好呢?

韩信:这还不简单,我的一技能就能搞定。

一技能:哈希算法

分组

韩信的一技能哈希算法:将士兵的编号 num 值当做一个哈希值,再和总做小组数 N 做取余操作,得出的结果在 0 到 N - 1 之间,这个士兵就属于那个组。

如下图所示,每来一个士兵都有一个六位的 hash 值(也可以称作编号),然后被韩信用除以 3 取余数的方式分配到三个组。比如第一组中的编号为 123456 的士兵,除以 3 之后,整除,余数为 0,所以分配到第一组。

哈希算法

查找士兵

现在已经分好组了,假如想找到编号为 666666 的士兵该怎么找?首先将 666666 除以 3,得到余数 0,说明在第一个组,然后去第一个组里面找就可以了。

这里有小伙伴可能会问,为什么不是把所有士兵放到一个组?

因为一个组太大了,影响行军速度。映射到互联网架构中,就是通过增加节点从而减小单节点的负载压力。

哈希分组弊端

刘邦看了这个一技能后,大呼:

韩将军真是厉害。

哈希算法看起来很完美,那我再给你五百士兵,需要分成四个组怎么办?

这时,韩信的副将说话了:

这还不简单,再用 4 取余不就好了吗?

刘邦摸着下巴思索片刻后,对副将说:

这个方案可行,但很多士兵都被重新分组了,刚刚建立的团队友情就被分解了。

我们来看下刘邦为什么觉得方案不可行。

比如原来分配到一组的编号为 3 的士兵,当分成四组的时候,通过公式计算:3%4=3,所以会分配到到第四组。

依次类推,会发现很多士兵进行了重新分配,只有小部分不会变换分组,比如 1,2,12 不会被重新分组。

韩信对着刘邦点点头,对着主公说道:

主公,您说得没错,这就是我的一技能的弱点所在。

不过我还有一个技能:一致性哈希

二技能:一致性哈希

哈希环

一致性哈希算法也用了取模运算,但是它与哈希算法不同的地方:

  • 哈希算法:对节点的数量进行取模运算。

  • 一致性哈希算法:对 2^32 进行取模运算。

可以想象一下,一致性哈希算法,是将整个哈希值空间组成了一个虚拟的圆环,也就是哈希环

如下图,把 3 个组映射到固定大小为 2^32 的哈希环中。三个组一共将整个环分成了三个区域,C-A(第一组)、A-B(第二组)、B-C(第三组)。如下图所示:

分成三组
  • 第一组负责存储落在 C-A 区间内的数据。

  • 第二组负责存储落在 A-B 区间内的数据。

  • 第三组负责存储落在 B-C 区间内的数据。

士兵分配

假定编号为 9527 的士兵,进行哈希运算后,落到 C-A 区域。如下图所示:

士兵所站位置

第二步,让这个士兵顺时针往前走,遇到的第一个节点 A 就是他所在的组了。如下图所示:

顺时针遇到第一个节点

增加分组

目前三个节点的时候,假定编号为 89757 的士兵经过哈希运算后,分配到了 B-C 区域(第三组),也就是属于 C 节点管控。如下图所示:

属于 C 节点

回到刘邦刚问的问题,如果分组变成四组,该怎么进行士兵分配。

如下图所示,增加一个节点 D,原来的区域 B-C 变成了区域 B-D(第三组) 和 D-C(第四组)。

增加 D 节点

那么这名士兵属于哪个节点管控呢?如下图所示,士兵顺时针往前走,先走到了 D 节点,所以属于 D 节点管控。虽然还是属于第三组,但是这名士兵的领导者已经变了:由 C 变成了 D

领导者变了

从上面的变化来看,只有 B-C 区域中的部分数据会进行迁移:B-D 之间的数据会由 C 节点迁移到 D 节点。

其他数据不受影响,也不用进行迁移。而且节点越多,需要迁移的数据就越少。这就是多多益善了~

刘邦看了后,大赞韩信:

不亏是大将军,萧何当时月下追你,值了!

哈希环缺陷

萧何看了韩信画的哈希环后,觉得有些不对劲,思索片刻后,对韩信说:

将军,你这个哈希环上的节点分布不太均匀啊,你看第三组和第四组的的区域好小啊。

萧何说得没错,确实存在这个问题,放到互联网架构中,就存在如下问题:

节点分布不均匀,导致业务对节点的访问冷热不均

韩信眼中充满着赞赏,知我者莫若萧何。然后胸有成竹地说道:

你说得没错,不过我还有一个技能,虚拟节点映射

三技能:虚拟节点

一般虚拟节点比物理节点要多,并相对均匀地分布在哈希环上。如下图所示,12 个虚拟节点 N1~N12,相对均匀地分布在虚拟节点上。如果有士兵属于 N2/N3/N4 中的某一个,都会重新映射到 A 节点,依次类推,N5/N6/N7 属于 B 节点的虚拟节点映射。

虚拟节点

我们来看下萧何的提出的问题,真实的 B-D 区域比较小,用虚拟节点后,N5/N6/N7 属于 B 节点,N8/N9/N10 属于 D 节点,他们分到的虚拟节点一样多,而且区域大致相等。所以士兵的分配也比较均匀。

萧何看了韩信的三技能后,直呼:妙哉妙哉!

总结

本篇通过韩信点兵的故事,然后从故事中衍生出刘邦、韩信、萧何的对话,来讲解士兵的分组的问题。现在对故事中的知识点做一个总结:

  • 哈希算法会带来增加或删除节点时,数据迁移量太大的问题。

  • 一致性哈希算法降低了数据迁移量。

  • 节点较少,哈希环上每个节点实际占据的区间大小不一,最终导致业务对节点的访问冷热不均

  • 引入虚拟节点映射解决了分布不均问题。

  • 节点越多时,使用哈希算法时,需要迁移的数据就越多,而使用一致性哈希算法,迁移的数据就越少

  • 一致性哈希算法本质上是一种路由寻址算法,适合简单的路由寻址场景。

  • 一致性哈希算法常用在负载均衡的架构设计中。


往期推荐

SpringBoot接口幂等性实现的4种方案!


try-catch-finally中的4个巨坑,老程序员也搞不定!


对象复制的7种方法,还是Spring的最好用!


关注我,每天和你进步一点点!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/544990.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

mysql连接非常慢的觖决办法及其它常见问题解决办法

2019独角兽企业重金招聘Python工程师标准>>> 编辑/etc/mysql/my.cnf 在[mysqld]段中加入 skip-name-resolve 重启mysql 禁用DNS反响解析,就能大大加快MySQL连接的速度。 转载于:https://my.oschina.net/ydsakyclguozi/blog/401768

Java SimpleTimeZone toString()方法与示例

SimpleTimeZone类toString()方法 (SimpleTimeZone Class toString() method) toString() method is available in java.util package. toString()方法在java.util包中可用。 toString() method is used for string denotation of this SimpleTimeZone. toString()方法用于此Sim…

最常见的10种Java异常问题!

封面:洛小汐译者:潘潘前言本文总结了有关Java异常的十大常见问题。目录检查型异常(checked) vs. 非检查型异常(Unchecked)异常管理的最佳实践箴言为什么在try代码块中声明的变量不能在catch或者finally中被…

OSSIM学习-英汉对照注释

Ossim的Web UI目前没有很好的本地化解决方案,这给不少初学Ossim的用户尤其是英文不太好的人来说,带来了一些麻烦,下面是部分英汉对照注释,并在不断完善中,希望对大家学习过程中,有所帮助。Action 动作Actio…

Cookie的设置获取和删除

关于Cookie操作的实验&#xff0c;包括设置&#xff0c;获取和删除。 设置Cookie name[必选]value[必选]expiredays[必选]setCookie getCookie 操作Cookie GETDEL 以下是源代码&#xff1a; <html><head><meta charset"utf-8" /><script type&q…

observable_Java Observable clearChanged()方法与示例

observable可观察的类clearChanged()方法 (Observable Class clearChanged() method) clearChanged() method is available in java.util package. clearChanged()方法在java.util包中可用。 clearChanged() method represents that this object has no longer changed or in o…

Linux中Samba详细安装

为了实现Windows主机与Linux服务器之间的资源共享&#xff0c;Linux操作系统提供了Samba服务&#xff0c;Samba服务为两种不同的操作系统架起了一座桥梁&#xff0c;使Linux系统和Windows系统之间能够实现互相通信&#xff0c;为广泛的Linux爱好者提供了极大方便。本文简要介绍…

Java ObjectInputStream close()方法与示例

ObjectInputStream类close()方法 (ObjectInputStream Class close() method) close() method is available in java.io package. close()方法在java.io包中可用。 close() method is used to close this ObjectInputStream and free any system resources linked with this str…

Java获取文件类型的5种方法

前言工作中经常会用到&#xff0c;判断一个文件的文件类型&#xff0c;这里总结一把&#xff0c;一般判断文件类型的原理有2种方式&#xff1a;根据文件扩展名判断优点&#xff1a;速度快&#xff0c;代码简单缺点&#xff1a;无法判断出真实的文件类型&#xff0c;例如一些伪造…

OpenCart 之 CSV 格式商品导入 – 如何导入商品主图片和附加图片?

1. 在文件中定义多个附加图片可以为一个商品导入多个图片。这些图片需要以“附加图片分隔符”来分割&#xff0c;而附加图片分隔符的定义在扩充功能配置页面。下面是一个带有URL链接的多个图片的填写格式&#xff1a;…,”http://www.example.com/p_w_picpath1.png:::http://ww…

你以为用了BigDecimal后,计算结果就一定精确了?

BigDecimal&#xff0c;相信对于很多人来说都不陌生&#xff0c;很多人都知道他的用法&#xff0c;这是一种java.math包中提供的一种可以用来进行精确运算的类型。很多人都知道&#xff0c;在进行金额表示、金额计算等场景&#xff0c;不能使用double、float等类型&#xff0c;…

tohexstring方法_Java Float类toHexString()方法的示例

tohexstring方法浮动类toHexString()方法 (Float class toHexString() method) toHexString() method is available in java.lang package. toHexString()方法在java.lang包中可用。 toHexString() method is used to represent a hexadecimal string of the given parameter […

Google 开源的依赖注入库,比 Spring 更小更快!

来源 | zhuanlan.zhihu.com/p/24924391Guice是Google开源的一个依赖注入类库&#xff0c;相比于Spring IoC来说更小更快。Elasticsearch大量使用了Guice&#xff0c;本文简单的介绍下Guice的基本概念和使用方式。学习目标概述&#xff1a;了解Guice是什么&#xff0c;有什么特点…

Servlet页面跳转实现方法的区别

Servlet页面跳转实现方法的区别 http://developer.51cto.com/art/200907/133803.htm本文向您介绍Servlet页面跳转实现方法的几种区别&#xff0c;包括Servlet和JSP中的不同实现&#xff0c;比如Servlet中的redirect方式和forward方式得区别等。一直对Servlet页面跳转的几种方式…

Java Double类shortValue()方法与示例

双类shortValue()方法 (Double class shortValue() method) shortValue() method is available in java.lang package. shortValue()方法在java.lang包中可用。 shortValue() method is used to return the value denoted by this Double object converted to type short (by c…

这个 bug 让我更加理解 Spring 单例了

谁还没在 Spring 里栽过跟头呢&#xff0c;从哪儿跌倒&#xff0c;就从哪儿睡一会儿&#xff0c;然后再爬起来。讲点儿武德 这是由一个真实的 bug 引起的&#xff0c;bug 产生的原因就是忽略了 Spring Bean 的单例模式。来&#xff0c;先看一段简单的代码。public class TestS…

mysql优化--叶金荣老师讲座笔记

copy to tmp table执行ALTER TABLE修改表结构时建议&#xff1a;凌晨执行Copying to tmp table拷贝数据到内存中的临时表&#xff0c;常见于GROUP BY操作时建议&#xff1a;创建索引Copying to tmp table on disk临时结果集太大&#xff0c;内存中放不下&#xff0c;需要将内存…

JS判断文本框中只能输入数字和小数点

http://liva-zheng.iteye.com/blog/1733827 1.文本框只能输入数字(不包括小数点) <input οnkeyup"this.valuethis.value.replace(/\D/g,)" onafterpaste"this.valuethis.value.replace(/\D/g,)"> 2.只能输入数字和小数点. <input οn…

java 方法 示例_Java集合asLifoQueue()方法和示例

java 方法 示例集合类asLifoQueue()方法 (Collections Class asLifoQueue() method) asLifoQueue() Method is available in java.lang package. asLifoQueue()方法在java.lang包中可用。 asLifoQueue() Method is used to represent the given deque as a Lifo queue (LIFO me…

废弃fastjson!大型项目迁移Gson保姆级实战

前言本篇文章是我这一个多月来帮助组内废弃fastjson框架的总结&#xff0c;我们将大部分Java仓库从fastjson迁移至了Gson。这么做的主要的原因是公司受够了fastjson频繁的安全漏洞问题&#xff0c;每一次出现漏洞都要推一次全公司的fastjson强制版本升级&#xff0c;很令公司头…