使用.Net Core实现FNV分布式hash一致性算法

说到FNV哈希算法不得不提Memcached,我们先简单介绍一下Memcached。

Memcached

Memcached分为客户端与服务端,Memcached是服务端,服务端本身不提供分布式实现,只是一个单独的k-v缓存;Memcached的分布式是在客户端类库中实现的,也就是说你可以根据自己的需要实现不同的分布式方案,不一定非得使用FNV哈希算法。

Memcached通过FNV算法实现了服务的分布式,并通过引入虚拟节点的办法尽量是服务器分布的更均匀。已经有很多文章在介绍Memcached的分布式实现原理了,所以我就不那么多废话了。

FNV分布式hash算法实现

如果你还不了解FNV哈希算法,可以先看一下我之前的文章,在那里我摘录了wiki上的FNV哈希算法实现公式。

FNV1算法实现

代码实现上我将参考MD5算法的实现来编写FNV1算法:

  1. 首先,我将创建一个FNV1类,该类需要实现HashAlgorithm,之所以实现HashAlgorithm,是因为该抽象类定义了hash算法通用的接口,这样也可以使我们的实现与.net框架集成的更好,当然如果你不喜欢也可以不实现HashAlgorithm,就当是写了一个独立的帮助类。

  2. 然后,我们重写Create方法,这里我们将创建一个FNV1类的实例

  3. 最后,我们去实现这个FNV1类

    所有实现代码如下:

640?wx_fmt=png

FNV其实还有FNV1a算法,与FNV1有些许的区别,这里我就不一一实现了,你可以参考FNV1的实现和FNV哈希算法来实现FNV1a算法。我有一个帮助类MicroFx.Cryptography分别实现了FNV1和FNV1a的32bit、64bit算法版本。

为什么使用FNV算法实现hash一致性

无论是分布式算法还是hash一致性算法都不只有一种或几种实现方案,但Memached为什么会选择FNV算法,而不是md5,不是sha呢?我有自己的认识。

  1. 我们先看几行代码,分别使用MD5,sha,FNV算法计算一个Test字符串的哈希值,然后对比hash结果中数组的长度

    var bytes = Encoding.UTF8.GetBytes("Test");var shabytes = SHA1.Create().ComputeHash(bytes); //shabytes长度为20,及160bitvar md5bytes=MD5.Create().ComputeHash(bytes);    //md5bytes长度为16,及128bitvar fnvbytes = FNV1a.Create().ComputeHash(bytes); //fnvbytes长度为4,及32bit
    算法取值范围
    sha1[0,2^160-1]
    md5[0,2^128-1]
    fnv[0,2^32-1]

    从上表我们可以看出,FNV的取值范围最小,如果将区间内的每一个整数看做一个Memcached服务端节点,那么FNV容纳的数量最少,但相对于实际的环境下已经足够多了,这样我们每次在计算一台服务器属于哪个节点的时候速度上会比md5、sha1快很多。

  2. FNV的32bit计算结果值刚好是一个uint类型,.net core最大支持ulong也就是uint64,再大的话就需要我们自己实现,所以这也是选择FNV的一个原因。(或许我这里不应该拿.net举例,但实际常用的高级语言最大也是64bit)

原文地址:https://www.cnblogs.com/guodf/p/9681543.html


.NET社区新闻,深度好文,欢迎访问公众号文章汇总 http://www.csharpkit.com

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/319814.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[XSY4197] Snow(树形DP)

我们在树上的每个点iii上放aia_iai​个小点,初始时先让每个点单独减,这样要花费aia_iai​之和的次数。 然后尝试把某些减合并。一个点上面的小点至多可以向两个相邻的小点连边(这两个小点不能在同一个点上)。每连一条边&#xff…

Followme Devops实践之路

引言天下武功,唯快不破想要提高开发团队效率,势必要有一套完整而成熟的开发流程方案,除了sprint迭代开发模式之外,还有近几年流行的devops流程,都是可以大幅度提高开发效率的工具. 我们团队也不断探索、实践,最终形成了现有的一套体系&#x…

基环树小记

概念 基环树就是有n个点n条边的图(比树多出现一个环)。 特殊形态的基环树 无向树(N点N边无向图) 外向树(每个点只有一条入边) 内向树(每个点只有一条出边) 以上三种树有十分优秀的性质,就是可以直接将环作为根。就可以对每个环的子树进行单…

利用BenchmarkDotNet 测试 .Net Core API 同步和异步方法性能

事由:这两天mentor给我布置了个任务让我用BenchmarkDotNet工具去测试一下同一个API 用同步和异步方法写性能上有什么差别。顺带提一下:啊啊啊啊 等我仔细看文档的时候文档 发现它让我用Release的模式去运行benchmark。 emmm...其实我之前一直在用Debug模…

MATLAB线性规划相关函数用法

一.线性规划的Matlab标准形式及软件求解 1. MATLAB中规定线性规划的标准形式为 其中c和 x为n 维列向量, A、 Aeq 为适当维数的矩阵,b 、beq为适当维数的列向量。 (Aeq 对应约束条件中等式约束的系数矩阵,A为约不等式约束的系数矩…

.NET Core 出得云端入得本地,微软让跨平台应用勇敢表达

地铁公交的上班路上、咖啡馆里等人的时候,这些碎片化时间都是现代人学习和充电的机会,根据第42次CNNIC中国互联网发展状况统计报告,截至2018年6月,网络文学用户规模已达4.06亿,占网民总体50.6%;手机网络文学…

【每日一题】7月3日精讲—毒瘤xor

【每日一题】7月3日精讲—毒瘤xor 时间限制:C/C 1秒,其他语言2秒 空间限制:C/C 32768K,其他语言65536K Special Judge, 64bit IO Format: %lld文章目录题目描述题解:代码:题目描述 输入描述: 第一行一个整…

了解改良圈算法

一.相关知识——Hamilton圈 什么是Hamilton圈? 哈密顿图(哈密尔顿图)(英语:Hamiltonian path,或Traceable path)是一个无向图,由天文学家哈密顿提出,由指定的起点前往指…

ASP.NET Core Middleware

中间件(Middleware)是ASP.NET Core中的一个重要特性。所谓中间件就是嵌入到应用管道中用于处理请求和响应的一段代码。ASP.NET Core Middleware可以分为两种类型:Conventional MiddlewareIMiddlewareConventional Middleware这种中间件没有实现特定的接口或者继承特…

NOIP复健计划——动态规划

树形DP [POI2011] DYN-Dynamite 二分KKK check(mid): 能否选出mmm个点,使得 ∀i为关键点,Minjisselected{dis(i,j)}≤mid\forall i为关键点,Min_{j\ is\ selected}\{dis(i,j)\}\leq mid∀i为关键点,Minj is selecte…

【每日一题】7月6日精讲—平衡二叉树

来源:牛客网: 文章目录题目描述题解:代码:时间限制:C/C 1秒,其他语言2秒 空间限制:C/C 1048576K,其他语言2097152K 64bit IO Format: %lld题目描述 平衡二叉树,顾名思义就…

MATLAB灰色预测

一.灰色预测 1.灰色系统下的灰色预测 <1>什么是灰色系统&#xff1f; 所谓的灰色系统其实就是夹杂在白色系统和黑色系统之中的一种系统&#xff0c;而白色系统就是全部信息已知的系统&#xff0c;黑色系统就是全部信息未知的系统。所以&#xff0c;夹在这两种系统中间…

ASP.NET Core 中的依赖注入

什么是依赖注入软件设计原则中有一个依赖倒置原则&#xff08;DIP&#xff09;&#xff0c;为了更好的解耦&#xff0c;讲究要依赖于抽象&#xff0c;不要依赖于具体。而控制反转(Ioc)就是这样的原则的其中一个实现思路, 这个思路的其中一种实现方式就是依赖注入(DI)。什么是依…

【每日一题】7月7日题目精讲—最短路

来源&#xff1a;牛客网&#xff1a; 文章目录题目描述题解&#xff1a;代码&#xff1a;时间限制&#xff1a;C/C 1秒&#xff0c;其他语言2秒 空间限制&#xff1a;C/C 1048576K&#xff0c;其他语言2097152K 64bit IO Format: %lld题目描述 给一个连通图&#xff0c;每次询问…

【活动(广州)】office365的开发者训练营

Office 365每月有超过1亿的商业活跃用户&#xff0c;是现有最大的生产力服务。Office 365为开发人员提供了一个令人难以置信的机会&#xff0c;包括业务关键数据和数百万用户&#xff0c;以及一个旨在让人们保持工作流程的平台。作为一名开发人员&#xff0c;您可以使用每天使用…

牛客网【每日一题】7月8日 Alliances

来源&#xff1a;牛客网 文章目录题目描述题解&#xff1a;代码&#xff1a;时间限制&#xff1a;C/C 5秒&#xff0c;其他语言10秒 空间限制&#xff1a;C/C 262144K&#xff0c;其他语言524288K 64bit IO Format: %lld题目描述 树国是一个有n个城市的国家&#xff0c;城市编号…

Ocelot简易教程(四)之请求聚合以及服务发现

上篇文章给大家讲解了Ocelot的一些特性并对路由进行了详细的介绍&#xff0c;今天呢就大家一起来学习下Ocelot的请求聚合以及服务发现功能。希望能对大家有所帮助。作者&#xff1a;依乐祝原文地址&#xff1a;https://www.cnblogs.com/yilezhu/p/9695639.html请求聚合Ocelot允…

邓公数据结构C++语言版学习笔记1

1. 对于计算幂2n2^n2n的算法优化 暴力算法时间复杂度O(n)O(n)O(n) __int64 power2BF_I(int n) //幂函数2^n算法&#xff08;蛮力迭代版&#xff09;&#xff0c;n > 0{ __int64 pow 1; //O(1)&#xff1a;累积器刜始化为2^0while (0 < n --) //O(n)&#xff1a;迭代n轮…

HttpClientFactory系列二:集成Polly处理瞬态故障

前言&#xff1a;最近&#xff0c;同事在工作中遇到了使用HttpClient,有些请求超时的问题&#xff0c;辅导员让我下去调研一下&#xff0c;HttpClinet的使用方式已经改成了之前博客中提到的方式&#xff0c;问题的原因我已经找到了&#xff0c;就是因为使用了伪异步&#xff0c…

邓公数据结构C++语言版学习笔记——二叉树

二叉树的遍历 一. preorder——先序遍历VLR 1. 递归先序遍历 2. 迭代先序遍历 3.先序遍历图解 二. inorder——先序遍历LVR 1. 递归中序遍历 2.迭代中序遍历 3.迭代中序遍历优化空间复杂度 <1>定义直接后继 <2>借用直接后继优化算法 解释&#xff1a;…