设计一个分布式ID

为了保证全局唯一性可以用时间作为区分点一部分,时间尽可能细化,可以精确到毫秒,甚至是微秒和纳秒。如果是分布式系统有多态机器,可以根据机器ID再进行以下区分。如哦机器运行的特别快,1毫秒有大量ID生成,可以结合实际限制下实际生成的ID数目。
如果N台机器去ID生成服务器的服务端得到全局ID,很容易保证全局唯一切自增的,但是存在单点失效的问题,不满足高可用。

雪花算法

生成的结果是一个int64的数据。核心思想是:使用41bit作为毫秒数,10bit作为机器的ID(5个bit是数据中心,5个bit的机器ID),12bit作为毫秒内的流水号,意味着每个节点再每毫秒可以产生 4096 个 ID, 最后还有一个符号位,永远是0.

优点: 优点是毫秒书在高位,自增序列在低位,整个ID是趋势递增的。不依赖数据库等第三方系统,一服务的方式部署,稳定性更高,生成ID的性能也是非常高的。可以根据自身业务特性分配bit位,非常灵活。

缺点: 强依赖机器时钟,如果机器上时钟回拨,会导致号重复或者服务会处于不可用状态。

Redis生成ID

因为 Redis 是单线程的,也可以用来生成全局唯一ID。可以用Redis的原子操作INCR和INCRBY来实现。使用Redis集群来获取更高的吞吐量。假如一个集群中有5台Redis,可以初始化每台Redis的值分别是1,2,3,4,5,步长都是5,各Redis生成的ID如下:A: 1,6,11,16; B: 2,7,12,17; C: 3,8,13,18; D: 4,9,14,19; E: 5,10,15,29。负载到哪台机器提前定好,未来很难做修改。3-5台服务器基本能安祖需求,但步长和初始值一定需要事先确定,使用Redis集群也可以解决单点故障问题。

**优点:**不依赖数据库,灵活方便,且性能优于数据库,数字ID天然排序,对分页或需要排序的结果很有帮助。

**缺点:**如果系统中没有Redis,需要引入新的组件,增加系统复杂度;需要编码和配置的工作量比较大。

UUID

可以利用数据库也可以利用程序生成,一般全球唯一。UUID是由32个16进制数字组成,所以每个UUID的长度是128位(16^32 = 2 ^128)。UUID有多个实现版本,影响它的因素包括时间,网卡MAC地址,自定义Namespace等等。

优点:简单,代码方便;生成ID性能非常好,基本不会有性能问题;全球唯一,在遇见数据迁移,系统数据合并,或者数据库变更情况下,可以从容应对。

缺点:没有排序,无法保证确实递增;UUID往往是使用字符串存储,查询的效率比较低;存储空间比较大,如果是海量数据库,就需要哦考虑存储量的问题;传输数据量大;不可读。

美团Leaf

Leaf-segment

直接用数据库自增ID充当分布式ID,减少对数据库的频繁操作。过程是从数据库批量的获取自增ID,每次从数据库取出一个号段范围,例如(1,10000]代表10000个ID,业务服务将号段生成1~10000的自增ID并加载在内存,在当前号段消费到某个点时,就异步的把下一个号段加载到内存中。而不需要等到号段用尽的时候才去更新号段。这样做很大程度上的降低了系统的风险。Leaf-segment采用双buffer的发过誓,他的服务内部有两个号段缓存qusegment.当前号段已消耗10%时,还没能拿到下一个号段,则会另启一个更新线程去更新下一个号段。Leaf保证了总是会多缓存两个号段,即便那一时刻数据库挂了,也会保证发号服务可以正常工作一段时间。通常推荐号段(segment)长度设置为服务高峰期发号QPS的600倍(10分钟),这样即使DB宕机,Leaf仍能持续发号10-20分钟不受影响。

tip biz_tag

针对不同业务需求,用biz_tag字段来隔离,如果以后需要扩容时,只需要对biz_tag分库分表即可

优点: Leaf服务可以很方便的线性扩展,性能完全能够支持大多数业务场景;容灾行=性高;Leaf服务内部有号段缓存,即使DB宕机,短时间内Leaf仍能正常对外提供服务。

缺点: ID号码不够随机,能够泄漏发号数量的信息,不太安全;DB宕机会造成整个系统不可用(用到数据库的都有可能)

Leaf-snowflake

Leaf-snowflake基本上就是沿用了snowflake的设计,ID组成结构:正数位(占1比特)+时间戳(占41比特)+机器ID(占5bit)+机房ID(占5 bit) + 自增值(占12bit), 总共54比特组成的一个int64类型。不同点主要是在workId的生成上,Leaf-snowflake依靠Zookeerper生成workId。Leaf中workId时基于Zookeeper中生成一个顺序Id,相当于一台机器对应一个顺序节点。

启动服务的过程大致如下:启动Leaf-snowflake服务,连接Zookeeper, 在leaf_foever父节点下检查自己是否已经注册过;如果有注册过直接取回自己的workerId(zk顺序节点生成的int类型ID号)。启动服务;如果没有注册过,就在该父节点下面创建一个持久顺序节点,创建成功后取回顺序号当作自己的workerID号,启动服务。Leaf-snowflake对Zookeeper是一种弱依赖关系,除了每次会去ZK拿数据以外,也会在本机文件系统上缓存一个workerID文件。一旦Zookeeper出现问题,敲好机器出现故障需重启时,依然能够保证服务正常启动。

优点: ID号码是趋势递增的8 byte的64位数据,满足上述数据库存储的主键要求。

缺点: 依赖Zookeeper, 存在服务不可用风险

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/653641.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

第十四章认识Ajax(五)

art-template模板引擎 简介 art-template模板引擎是新一代高性能JavaScript模板引擎,可以将数据与HTML模板结合,省去繁琐的字符串拼接,便于代码维护。 此模板主要使用特定的语法将动态数据嵌入到HTML模板中,然后生成最终的HTML页面。 art-template模板引擎既可以在服务…

代码随想录算法训练营第2天—数组02 | *977.有序数组的平方 ,209.长度最小的子数组 ,*59.螺旋矩阵II

*977.有序数组的平方 题目链接:https://leetcode.cn/problems/squares-of-a-sorted-array/ 文章讲解:https://programmercarl.com/0977.%E6%9C%89%E5%BA%8F%E6%95%B0%E7%BB%84%E7%9A%84%E5%B9%B3%E6%96%B9.html 视频讲解: https://www.bilib…

MarkDown快速入门-以Obsidian编辑器为例

直接上图,左右对应。 首先是基础语法。 # 标题,几个就代表几级标题;* 单个是序号,两个在一起就是斜体;- [ ] 代表任务,注意其中的空格; 然后是表格按钮代码 | 使用中竖线代表表格&#xff0c…

Mybatis 52_基于嵌套select的N-N关联

52_基于嵌套select的N-N关联 嵌套select的N-N关联映射基于嵌套select的映射时,可指定如下独有属性:项目0522基于嵌套select的N-N使用@Many注解嵌套select的N-N关联映射 【备注】:对于N-N关联,底层数据表不能直接使用主外键关联来管理,必须使用连接表来管理关联关系。 只要…

Ubuntu22.04安装docker

君衍. 一、认识docker二、查看Docker的依赖三、在Ubuntu22.04上安装Docker步骤1、更新Ubuntu2、添加Docker库3、安装Docker4、Docker测试 四、安装docker-compose 一、认识docker Docker是一个软件容器平台,属于Linux容器的一种封装,同时提供简单易用的…

3. 构建以太网交换网络

3.1 实验一:以太网基础与 VLAN 配置实验 3.1.1 实验介绍 3.1.1.1 关于本实验 以太网是一种基于 CSMA/CD(Carrier Sense Multiple Access/Collision Detection)的共享通讯介质的数据网络通讯技术。当主机数目较多时会导致冲突严重、广播泛滥…

WebSocket设置私信在线离线

WebSocket设置在线离线以及优先展示最近聊天的人 1.设置在线状态 主要逻辑&#xff1a; 1.用户连接之后&#xff0c;首先后端执行onOpen,传入用户的id,然后写入到redis中 RedisConfig.java 中加入 Beanpublic RedisTemplate<String, String> redisTemplate() {RedisT…

HarmonyOS鸿蒙 虚拟像素

Android中&#xff0c;有的sp&#xff0c;dp&#xff0c;dpi&#xff0c;px等概念。 dpi&#xff0c;dots per inch&#xff0c;代表屏幕像素密度。是指屏幕上每英寸&#xff08;1英寸 2.54 厘米&#xff09;距离中有多少个像素点。 dp&#xff0c;device independent pixels&…

python222网站实战(SpringBoot+SpringSecurity+MybatisPlus+thymeleaf+layui)-友情链接管理实现

锋哥原创的SpringbootLayui python222网站实战&#xff1a; python222网站实战课程视频教程&#xff08;SpringBootPython爬虫实战&#xff09; ( 火爆连载更新中... )_哔哩哔哩_bilibilipython222网站实战课程视频教程&#xff08;SpringBootPython爬虫实战&#xff09; ( 火…

github连不上

github连不上 错误提示解决方案steam 采用Hosts加速 错误提示 fatal: unable to access ‘https://github.com/Ada-design/qianduan.git/’: Failed to connect to github.com port 443 after 21073 ms: Couldn’t connect to server 解决方案 下载steam https://steampp.ne…

latent-diffusion model环境配置--我转载的

latent-diffusion model环境配置&#xff0c;这可能是你能够找到的最细的博客了_latent diffusion model 训练 autoencoder-CSDN博客 前言 最近在研究diffusion模型&#xff0c;并对目前最火的stable-diffusion模型很感兴趣&#xff0c;又因为stable-diffusion是一种latent-di…

Mysql大数据量分页优化

前言 之前有看过到mysql大数据量分页情况下性能会很差&#xff0c;但是没有探究过它的原因&#xff0c;今天讲一讲mysql大数据量下偏移量很大&#xff0c;性能很差的问题&#xff0c;并附上解决方式。 原因 将原因前我们先做一个试验&#xff0c;我做试验使用的是mysql5.7.2…

Arm AArch64 alignment(对齐)

数据和指令必须与合适的边界保持对齐(alignment)。访问是否对齐会影响ARM核的性能&#xff0c;并且在将代码从早期的体系结构移植到ARMv8-A时可能会出现可移植性问题。出于性能原因&#xff0c;或者在移植代码时&#xff0c;都值得去注意下对齐问题。本文将讲述了ARMv8-A AArch…

shell 函数与数组

一、Shell函数&#xff1a; 函数的数学表达式 sin cos tan 其实就是定义好了计算公式 函数就是一个功能模块&#xff0c;在函数中写好执行的命令即可 使用函数可以避免代码重复&#xff0c;增加可读性&#xff0c; 简化脚本 使用函数可以将大的工程分割为若干小的功能…

迷宫(蓝桥杯省赛C/C++)

题目描述 本题为填空题&#xff0c;只需要算出结果后&#xff0c;在代码中使用输出语句将所填结果输出即可。 下图给出了一个迷宫的平面图&#xff0c;其中标记为 1 的为障碍&#xff0c;标记为 0 的为可以通行的地方。 010000 000100 001001 110000 迷宫的入口为左上角&am…

初识人工智能,一文读懂贝叶斯优化进阶的知识文集(9)

&#x1f3c6;作者简介&#xff0c;普修罗双战士&#xff0c;一直追求不断学习和成长&#xff0c;在技术的道路上持续探索和实践。 &#x1f3c6;多年互联网行业从业经验&#xff0c;历任核心研发工程师&#xff0c;项目技术负责人。 &#x1f389;欢迎 &#x1f44d;点赞✍评论…

[机器学习]简单线性回归——梯度下降法

一.梯度下降法概念 2.代码实现 # 0. 引入依赖 import numpy as np import matplotlib.pyplot as plt# 1. 导入数据&#xff08;data.csv&#xff09; points np.genfromtxt(data.csv, delimiter,) points[0,0]# 提取points中的两列数据&#xff0c;分别作为x&#xff0c;y …

[BUUCTF]-PWN:pwnable_hacknote解析

先看保护 32位&#xff0c;没开pie&#xff0c;got表可修改 看ida 总的来说就是alloc创建堆块&#xff0c;free释放堆块&#xff0c;show打印堆块内容 但alloc处的函数比较特别&#xff0c;他会先申请一个0x8大小的堆来存放与puts相关的指针 完整exp&#xff1a; from pwn …

<网络安全>《9 入侵防御系统IPS》

1 概念 IPS&#xff08; Intrusion Prevention System&#xff09;是电脑网络安全设施&#xff0c;是对防病毒软件&#xff08;Antivirus Programs&#xff09;和防火墙&#xff08;Packet Filter, Application Gateway&#xff09;的补充。 入侵预防系统&#xff08;Intrusio…

数据结构【图的遍历】

数据结构之图 图的类型定义和存储结构图的遍历遍历的定义图的特点图常用的遍历深度优先搜索 DFS&#xff08;DepthFirstSearch&#xff09;算法实现算法效率分析 广度优先搜索 BFS&#xff08;BreadthFirstSearch&#xff09;算法实现算法效率分析 DFS与BFS算法效率比较 图的类…