分布式唯一ID 雪花算法

       📝个人主页：五敷有你      

 🔥系列专栏：算法分析与设计

⛺️稳中求进，晒太阳

算法具体介绍

雪花算法是 64 位 的二进制，一共包含了四部分：

  • 1位是符号位，也就是最高位，始终是0，没有任何意义，因为要是唯一计算机二进制补码中就是负数，0才是正数。
  • 41位是时间戳，具体到毫秒，41位的二进制可以使用69年，因为时间理论上永恒递增，所以根据这个排序是可以的。
  • 10位是机器标识，可以全部用作机器ID，也可以用来标识机房ID + 机器ID，10位最多可以表示1024台机器。
  • 12位是计数序列号，也就是同一台机器上同一时间，理论上还可以同时生成不同的ID，12位的序列号能够区分出4096个ID。

优化

由于41位是时间戳，我们的时间计算是从1970年开始的，只能使用69年，为了不浪费，其实我们可以用时间的相对值，也就是以项目开始的时间为基准时间，往后可以使用69年。获取唯一ID的服务，对处理速度要求比较高，所以我们全部使用位运算以及位移操作，获取当前时间可以使用System.currentTimeMillis()。

时间回拨问题

在获取时间的时候，可能会出现时间回拨的问题，什么是时间回拨问题呢？就是服务器上的时间突然倒退到之前的时间。

  1. 人为原因，把系统环境的时间改了。
  2. 有时候不同的机器上需要同步时间，可能不同机器之间存在误差，那么可能会出现时间回拨问题。

解决方案

  1. 回拨时间小的时候，不生成 ID，循环等待到时间点到达。
  2. 上面的方案只适合时钟回拨较小的，如果间隔过大，阻塞等待，肯定是不可取的，因此要么超过一定大小的回拨直接报错，拒绝服务，或者有一种方案是利用拓展位，回拨之后在拓展位上加1就可以了，这样ID依然可以保持唯一。但是这个要求我们提前预留出位数，要么从机器id中，要么从序列号中，腾出一定的位，在时间回拨的时候，这个位置 +1。

由于时间回拨导致的生产重复的ID的问题，其实百度和美团都有自己的解决方案了，有兴趣可以去看看，下面不是它们官网文档的信息：

  • 百度UIDGenerator：https://github.com/baidu/uid-generator/blob/master/README.zh_cn.md
    • UidGenerator是Java实现的, 基于Snowflake算法的唯一ID生成器。UidGenerator以组件形式工作在应用项目中, 支持自定义workerId位数和初始化策略, 从而适用于docker等虚拟化环境下实例自动重启、漂移等场景。 在实现上, UidGenerator通过借用未来时间来解决sequence天然存在的并发限制; 采用RingBuffer来缓存已生成的UID, 并行化UID的生产和消费, 同时对CacheLine补齐，避免了由RingBuffer带来的硬件级「伪共享」问题. 最终单机QPS可达600万。

  • 美团Leaf:https://tech.meituan.com/2019/03/07/open-source-project-leaf.html
    • leaf-segment 方案
      • 优化：双buffer + 预分配
      • 容灾：Mysql DB 一主两从，异地机房，半同步方式
      • 缺点：如果用segment号段式方案：id是递增，可计算的，不适用于订单ID生成场景，比如竞对在两天中午12点分别下单，通过订单id号相减就能大致计算出公司一天的订单量，这个是不能忍受的。
    • leaf-snowflake方案
      • 使用Zookeeper持久顺序节点的特性自动对snowflake节点配置workerID
        • 1.启动Leaf-snowflake服务，连接Zookeeper，在leaf_forever父节点下检查自己是否已经注册过（是否有该顺序子节点）。
        • 2.如果有注册过直接取回自己的workerID（zk顺序节点生成的int类型ID号），启动服务。
        • 3.如果没有注册过，就在该父节点下面创建一个持久顺序节点，创建成功后取回顺序号当做自己的workerID号，启动服务。
     
      • 缓存workerID，减少第三方组件的依赖
      • 由于强依赖时钟，对时间的要求比较敏感，在机器工作时NTP同步也会造成秒级别的回退，建议可以直接关闭NTP同步。要么在时钟回拨的时候直接不提供服务直接返回ERROR_CODE，等时钟追上即可。或者做一层重试，然后上报报警系统，更或者是发现有时钟回拨之后自动摘除本身节点并报警

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/788367.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

大数据实验一，Hadoop安装及使用

大数据实验一，Hadoop安装及使用

目录 一．实验内容 二．实验目的 三．实验过程截图及说明 1、安装SSH，并配置SSH无密码登录 2、配置java环境 3.Hadoop的安装与配置 4、修改四个配置文件： 5、格式化HDFS的NameNode： 6、启动Hadoop 7、…
阅读更多...
如何使用极狐GitLab 启用自动备份功能

如何使用极狐GitLab 启用自动备份功能

本文作者：徐晓伟 GitLab 是一个全球知名的一体化 DevOps 平台，很多人都通过私有化部署 GitLab 来进行源代码托管。极狐GitLab 是 GitLab 在中国的发行版，专门为中国程序员服务。可以一键式部署极狐GitLab。 本文主要讲述了如何极狐GitLab 自…
阅读更多...
探索Flutter混淆在提高应用安全性方面的作用

探索Flutter混淆在提高应用安全性方面的作用

在移动应用开发中，保护应用代码安全至关重要。Flutter 提供了简单易用的混淆工具，帮助开发者在构建 release 版本应用时有效保护代码。本文将介绍如何在 Flutter 应用中使用混淆，并提供了相关的操作步骤和注意事项。 📝 摘要 本…
阅读更多...
四、Mybatis-查询与删除

四、Mybatis-查询与删除

文章目录 1.查询单条数据2.查询多条记录3.模糊查询4.批量删除 1.查询单条数据 <!-- User getUserById();--><select id"getUserById" resultType"com.mybatis.Bean.User">select * from user where id 3;</select>返回对象可以是 …
阅读更多...
kuboard项目前端展示

kuboard项目前端展示

前端展示 https://www.wu123.com/v/#/k8s-manage/k8s-manage https://www.wu123.com/v/#/k8s-manage/k8s-install 部署kuboard 部署脚本 !/bin/bash #使用方法&#xff1a;sh create.ssh env_name port 例如sh create.sh sandbox 31080&#xff1b; #端口可以依次往后推&am…
阅读更多...
普通Java工程可执行JAR两种打包方式探讨

普通Java工程可执行JAR两种打包方式探讨

文章目录 一、需求概述二、代码结构三、运行结果四、打包设置1. 一体化可执行包2. 带外部依赖lib的可执行包 五、打包运行1. 源码放送2. 打包执行3. 打包结果 一、需求概述 普通Java工程 docker-show 实现了定时打印docker应用信息&#xff0c;现在需要将其打包成可执行Jar部署…
阅读更多...
Nginx三大常用功能“反向代理，负载均衡，动静分离”

Nginx三大常用功能“反向代理，负载均衡，动静分离”

注意&#xff1a;以下案例在Windows系统计算机作为宿主机&#xff0c;Linux CentOS 作为虚拟机的环境中实现 一&#xff0c;Nginx配置实例-反向代理 1.反向代理 案例一 实现效果&#xff1a;使用nginx反向代理&#xff0c;访问 www.123.com 直接跳转到127.0.0.1:8080 准备工…
阅读更多...
视频基础学习四——视频编码基础一（冗余信息）

视频基础学习四——视频编码基础一（冗余信息）

文章目录 前言一、编码压缩的原理1.空间冗余帧内预测 2.时间冗余帧间预测运动估计运动补偿 3.编码冗余4.视觉冗余 二、压缩编码的流程1.编码器2.编解码流程 总结 前言 上一篇文章介绍了视频帧率、码率、与分辨率。也介绍了为什么需要对视频进行压缩&#xff0c;因为720P、rgb2…
阅读更多...
计算机网络-HTTP相关知识-RSA和ECDHE及优化

计算机网络-HTTP相关知识-RSA和ECDHE及优化

HTTPS建立基本流程 客户端向服务器索要并验证服务器的公钥。通过密钥交换算法&#xff08;如RSA或ECDHE&#xff09;协商会话秘钥&#xff0c;这个过程被称为“握手”。双方采用会话秘钥进行加密通信。 RSA流程 RSA流程包括四次握手&#xff1a; 第一次握手&#xff1a;客户…
阅读更多...
Flask学习（七）：pymysql链接数据库

Flask学习（七）：pymysql链接数据库

1、pymysql链接数据库相关参数&#xff1a; conn pymysql.connect(host127.0.0.1, port3306, userroot, passwordroot, dbsmbms) def __init__(self,*,userNone, password"", hostNone, databaseNone, unix_socketNone,port0,charset"",collationNone,sq…
阅读更多...
分布式锁的几种实现方式

分布式锁的几种实现方式

详解 Redis 分布式锁的 5 种方案-腾讯云开发者社区-腾讯云 面试官&#xff1a;了解分布式锁&#xff1f;说说ZooKeeper分布式锁的实现原理_为什么说zookeepr是天然的分布式锁-CSDN博客面试官&#xff1a;了解分布式锁&#xff1f;说说ZooKeeper分布式锁的实现原理_为什么说zoo…
阅读更多...
OpenCV项目实战-深度学习去阴影-图像去阴影

OpenCV项目实战-深度学习去阴影-图像去阴影

往期热门博客项目回顾&#xff1a; 计算机视觉项目大集合 改进的yolo目标检测-测距测速 路径规划算法 图像去雨去雾目标检测测距项目 交通标志识别项目 yolo系列-重磅yolov9界面-最新的yolo 姿态识别-3d姿态识别 深度学习小白学习路线 //正文开始&#xff01; 图…
阅读更多...
不可变集合、Stream流、方法引用

不可变集合、Stream流、方法引用

一、不可变集合 是一个长度不可变&#xff0c;内容也无法修改的集合 定义完成后不可以修改&#xff0c;或者添加、删除 不可变集合分类 不可变的list集合 不可变的set集合 不可变的map集合 如何创建不可变集合? List、Set、Map接口中&#xff0c;都存在of方法可…
阅读更多...
k8s的ClusterIP和NodePort类型有何不同

k8s的ClusterIP和NodePort类型有何不同

Kubernetes&#xff08;K8s&#xff09;是一个开源的容器编排平台&#xff0c;用于自动部署、扩展和管理容器化应用程序。在Kubernetes中&#xff0c;服务&#xff08;Service&#xff09;是一个抽象层&#xff0c;它定义了一种访问Pods&#xff08;运行中的容器&#xff09;的…
阅读更多...
备战蓝桥杯---贪心刷题1

备战蓝桥杯---贪心刷题1

话不多说&#xff0c;直接看题&#xff1a; 本质是一个数学题&#xff1a; 我们令xi<0表示反方向传递&#xff0c;易得我们就是求每一个xi的绝对值之和min,我们令平均值为a爸。 易得约束条件&#xff1a; x1-x2a1-a,x2-x3a2-a..... 解得x1x1-0,x2x1-((n-1)*a-a2-...an)。…
阅读更多...
LLM - 大语言模型 基于人类反馈的强化学习(RLHF)

LLM - 大语言模型 基于人类反馈的强化学习(RLHF)

欢迎关注我的CSDN：https://spike.blog.csdn.net/ 本文地址：https://blog.csdn.net/caroline_wendy/article/details/137269049 基于人类反馈的强化学习(RLHF，Reinforcement Learning from Human Feedback)，结合 强化学习(RL) 和 人类反馈 来优化模型的性能。这种方法主要包…
阅读更多...
pair作为unordered_map的key报错

pair作为unordered_map的key报错

问题 pair作为unordered_map的key报错&#xff0c;编译时会报错 原因 因为pair没有哈希函数 解决方法 定义哈希函数 template <typename T> inline void hash_combine(std::size_t &seed, const T &val) {seed ^ std::hash<T>()(val) 0x9e3779b9 (…
阅读更多...
Jamba: A Hybrid Transformer-Mamba Language Model

Jamba: A Hybrid Transformer-Mamba Language Model

Jamba: A Hybrid Transformer-Mamba Language Model 相关链接&#xff1a;arXiv 关键字&#xff1a;hybrid architecture、Transformer、Mamba、mixture-of-experts (MoE)、language model 摘要 我们介绍了Jamba&#xff0c;一种新的基于新颖混合Transformer-Mamba混合专家&am…
阅读更多...
xilinx fpga程序固化

xilinx fpga程序固化

一、前言 xilinx 旗下的产品主要有包含有处理器的SOC系列&#xff0c;也有只有纯逻辑的fpga&#xff0c;两者的程序固化的方法并不相同&#xff0c;本文介绍只包含纯逻辑而不涉及处理器的fpga的代码固化。 二、固化流程 将工程综合&#xff0c;实现&#xff0c;并得到比特流…
阅读更多...
MYSQL-7.内存

MYSQL-7.内存

内存 Mysql的内存结构 大体可分为四个板块&#xff1a;mysql工作组件、线程本地内存、mysql共享内存、存储引擎缓冲区&#xff1b; Mysql server工作组件 对应着mysql架构图中的组件层&#xff1a; Mysql在启动时&#xff0c;会将这些工作组件初始化到内存中&#xff1b; …
阅读更多...
最新文章

Copyright @ 2022~2023