使用雪花算法(Snowflake Algorithm)在Python中生成唯一ID

使用雪花算法Snowflake Algorithm在Python中生成唯一ID

  • 使用雪花算法(Snowflake Algorithm)在Python中生成唯一ID
    • 雪花算法简介
    • Python实现
    • 代码解析
    • 使用示例
    • 优势
    • 注意事项
    • 适用场景
    • 结论

使用雪花算法(Snowflake Algorithm)在Python中生成唯一ID

在分布式系统中生成唯一ID是一个常见的需求。Twitter的雪花算法(Snowflake Algorithm)是一种优秀的解决方案,它可以生成64位的唯一ID,包含时间戳、工作机器ID和序列号。今天,我们将探讨如何在Python中实现雪花算法。

雪花算法简介

雪花算法生成的ID结构如下:

  • 1位符号位(始终为0)
  • 41位时间戳(毫秒级)
  • 5位数据中心ID
  • 5位工作机器ID
  • 12位序列号

这种结构允许在同一毫秒内生成4096个唯一ID,并支持多个数据中心和工作机器。

Python实现

import time
import threadingclass SnowflakeGenerator:def __init__(self, datacenter_id, worker_id):self.datacenter_id = datacenter_idself.worker_id = worker_idself.sequence = 0self.last_timestamp = -1# Bit lengths for different partsself.datacenter_id_bits = 5self.worker_id_bits = 5self.sequence_bits = 12# Maximum valuesself.max_datacenter_id = -1 ^ (-1 << self.datacenter_id_bits)self.max_worker_id = -1 ^ (-1 << self.worker_id_bits)self.max_sequence = -1 ^ (-1 << self.sequence_bits)# Shift amountsself.worker_id_shift = self.sequence_bitsself.datacenter_id_shift = self.sequence_bits + self.worker_id_bitsself.timestamp_shift = self.sequence_bits + self.worker_id_bits + self.datacenter_id_bitsself.lock = threading.Lock()def _current_milliseconds(self):return int(time.time() * 1000)def _til_next_millis(self, last_timestamp):timestamp = self._current_milliseconds()while timestamp <= last_timestamp:timestamp = self._current_milliseconds()return timestampdef generate_id(self):with self.lock:timestamp = self._current_milliseconds()if timestamp < self.last_timestamp:raise ValueError("Clock moved backwards. Refusing to generate id.")if timestamp == self.last_timestamp:self.sequence = (self.sequence + 1) & self.max_sequenceif self.sequence == 0:timestamp = self._til_next_millis(self.last_timestamp)else:self.sequence = 0self.last_timestamp = timestampreturn ((timestamp - 1288834974657) << self.timestamp_shift) | \(self.datacenter_id << self.datacenter_id_shift) | \(self.worker_id << self.worker_id_shift) | \self.sequencedef generate_unique_id(prefix: str, datacenter_id: int, worker_id: int) -> str:generator = SnowflakeGenerator(datacenter_id, worker_id)snowflake_id = generator.generate_id()return f"{prefix}{snowflake_id}"

代码解析

  1. SnowflakeGenerator类

    • 初始化方法设置数据中心ID和工作机器ID,并定义各部分的位长度和最大值。
    • _current_milliseconds()方法获取当前时间戳(毫秒级)。
    • _til_next_millis()方法等待直到下一毫秒。
    • generate_id()方法是核心,它生成唯一的雪花ID。
  2. generate_id()方法

    • 使用锁确保线程安全。
    • 获取当前时间戳。
    • 处理时钟回拨问题(抛出异常)。
    • 处理同一毫秒内的序列号。
    • 组合各部分生成最终的ID。
  3. generate_unique_id()函数

    • 创建SnowflakeGenerator实例。
    • 生成雪花ID并添加前缀。

使用示例

# 创建一个生成器,指定数据中心ID和工作机器ID
datacenter_id = 1
worker_id = 1# 生成用户ID
user_id = generate_unique_id("USER_", datacenter_id, worker_id)
print(f"生成的用户ID: {user_id}")# 生成订单ID
order_id = generate_unique_id("ORDER_", datacenter_id, worker_id)
print(f"生成的订单ID: {order_id}")# 生成多个产品ID
for i in range(5):product_id = generate_unique_id("PROD_", datacenter_id, worker_id)print(f"产品 {i+1} ID: {product_id}")

输出可能如下:

生成的用户ID: USER_6791951648483729408
生成的订单ID: ORDER_6791951648483729409
产品 1 ID: PROD_6791951648483729410
产品 2 ID: PROD_6791951648483729411
产品 3 ID: PROD_6791951648483729412
产品 4 ID: PROD_6791951648483729413
产品 5 ID: PROD_6791951648483729414

优势

  1. 高性能:雪花算法可以快速生成ID,不需要网络请求或数据库操作。
  2. 唯一性:在正确配置的情况下,可以保证全局唯一性。
  3. 有序性:生成的ID大致按时间顺序递增,有利于数据库索引。
  4. 包含信息:ID中包含时间戳、数据中心和工作机器信息,便于追踪和调试。
  5. 可定制:可以根据需求调整各部分的位数。

注意事项

  1. 时钟同步:雪花算法依赖系统时钟,在分布式系统中需要确保时钟同步。
  2. 时钟回拨:代码中包含了对时钟回拨的处理,但在实际应用中可能需要更复杂的处理逻辑。
  3. 数据中心和工作机器ID:需要确保这些ID在整个分布式系统中是唯一的。
  4. 64位限制:如果使用的语言或系统不支持64位整数,可能需要调整算法。

适用场景

雪花算法特别适用于以下场景:

  • 分布式系统中需要生成全局唯一ID
  • 需要按时间顺序对数据进行排序
  • 高并发系统,需要快速生成大量唯一ID
  • 微服务架构,每个服务需要独立生成ID

结论

雪花算法提供了一种优雅的方式来在分布式系统中生成唯一ID。这个Python实现简单易用,同时保持了雪花算法的核心优势。在实际应用中,您可能需要根据具体需求进行进一步的调整和优化,例如处理时钟回拨的更复杂情况,或者调整各部分的位数分配。

通过使用这种方法,您可以在Python项目中轻松实现高效、唯一且信息丰富的ID生成。无论是用于用户ID、订单编号还是其他需要唯一标识符的场景,雪花算法都能提供可靠的解决方案。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/37848.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数据仓库数据质量检测的免费开源框架对比及应用场景

数据仓库的数据质量检测是确保数据分析可靠性的关键环节。幸运的是&#xff0c;有许多开源框架和工具可以帮助我们实现这一目标。以下是几个知名的免费开源数据质量检测框架及其在GitHub上的链接&#xff0c;以及它们的优缺点和应用场景&#xff1a; Great Expectations GitHu…

MapReduce的执行流程排序

MapReduce 是一种用于处理大规模数据集的分布式计算模型。它将作业分成多个阶段&#xff0c;以并行处理和分布式存储的方式来提高计算效率。以下是 MapReduce 的执行流程以及各个阶段的详细解释&#xff1a; 1. 作业提交&#xff08;Job Submission&#xff09; 用户通过客户端…

【人工智能学习之图像操作(五)】

【人工智能学习之图像操作&#xff08;五&#xff09;】 对象掩码形状匹配 对象掩码 用于获取构成对象的所有像素点 import cv2 import numpy as np img cv2.imread(3.jpg) imggray cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) ret, thresh cv2.threshold(imggray, 127, 255, …

人工神经网络在全规模污水处理厂性能预测中的应用

人工神经网络&#xff08;Artificial Neural Networks, ANNs&#xff09;是一种模拟生物神经网络的计算模型&#xff0c;广泛应用于各种预测和分类任务中。在全规模污水处理厂性能预测中&#xff0c;ANNs可以用来预测处理效率、能耗、出水质量等关键指标&#xff0c;帮助优化运…

Python | Leetcode Python题解之第205题同构字符串

题目&#xff1a; 题解&#xff1a; class Solution:def isIsomorphic(self, s: str, t: str) -> bool:dicts Counter(s)dictt Counter(t) if list(dicts.values()) ! list(dictt.values()):return Falsefor i in range(len(s)):inds list(dicts.keys()).index(s…

Z变换详细介绍

Z变换是一种强有力的数学工具&#xff0c;用于分析和设计离散时间信号和系统。它是傅里叶变换和拉普拉斯变换在离散时间域的推广&#xff0c;广泛应用于数字信号处理、控制系统等领域。 定义 离散时间信号 x [ n ] x[n] x[n]的Z变换定义为&#xff1a; X ( z ) ∑ n − ∞…

51单片机第3步_4X4键盘应用

以前学习51单片机&#xff0c;总想着电路设计&#xff0c;所以程序里也体现了器件的电气连接。这是一个4x4的小键盘&#xff0c;也是用模拟软件仿真的。 #include <reg51.h> //p1.0~p1.3用作输出,P1.4~ P1.7用做输入,接上拉电阻; //列号码: P1.4 P1.5 P1.6 P1.…

C#语言编写的仅有8KB大小的简易贪吃蛇开源游戏

前言 今天大姚给大家分享一款由C#语言编写的仅有8KB大小的简易贪吃蛇开源游戏&#xff1a;SeeSharpSnake。 项目特点 该仓库中的项目文件和脚本可以用多种不同的配置构建相同的游戏&#xff0c;每个配置生成的输出大小也不同。 项目源码运行 F5 运行 SeeSharpSnake项目&…

【Android面试八股文】在项目开发过程中,你在什么时候会考虑到使用Service?如何拥有service的进程具有较高的优先级?

文章目录 一、在项目开发过程中,你在什么时候会考虑到使用Service?二、在项目开发过程中,如何拥有service的进程具有较高的优先级?方法一:使用前台服务(Foreground Service)方法二:提高进程优先级(不推荐)注意事项补充一、在项目开发过程中,你在什么时候会考虑到使用…

FFmpeg 关于AV1编码指导文档介绍

介绍 本篇博客主要介绍FFMpeg中关于AV1编码支持说明,主要根据官方wiki说明进行总结。官方wiki地址:AV1AV1是一种由Alliance for Open Media (AOMedia)开发的开源且免版税的视频编解码器,它在压缩效率上比VP9高出约30%,比H.264高出约50%。目前,FFmpeg支持三种AV1编码器:li…

E4A视频APP源码电视盒子Coolpoint酷点电视4.5版后端苹果cms

电视盒子酷点TV版4.5影视APP源码后端对接苹果CMS&#xff0c;此版带会员功能,对接的是 如意验证1.71版苹果cms后端APP 电视TV4.5版,会员功能带注册邀请,绑定邮箱,邮箱找回密码,修改新密码,卡密充值,签到,积分兑换会员&#xff1b; 自带10个解析线路,有电视直播功能,首页滚动公…

Java教程之IO模式精讲,NIO+BIO

第一章 BIO、NIO、AIO介绍 背景 在java的软件设计开发中&#xff0c;通信架构是不可避免的&#xff0c;我们在进行不同系统或者不同进程之间的数据交互&#xff0c;或 者在高并发下的通信场景下都需要用到网络通信相关的技术&#xff0c;对于一些经验丰富的程序员来说&#x…

第11章 规划过程组(11.5创建WBS)

第11章 规划过程组&#xff08;一&#xff09;11.5创建WBS&#xff0c;在第三版教材第380~383页&#xff1b; 文字图片音频方式 视频22 第一个知识点&#xff1a;主要输入 1、项目管理计划 范围管理计划 定义了如何根据项目范围说明书创建WBS2、项目文件 项目范围说明…

十六进制计数器

目录 描述 输入描述&#xff1a; 输出描述&#xff1a; 参考代码 描述 请用Verilog设计十六进制递增计数器电路&#xff0c;每个时钟周期递增1。 电路的接口如下图所示。Q[3:0]中&#xff0c;Q[3]是高位。 接口电路图如下&#xff1a; 输入描述&#xff1a; input …

操作系统期末复习考题三(不挂科系列)

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 文章目录 一、前言&#x1f680;&#x1f680;&#x1f680;二、正文☀️☀️☀️三、总结&#x1f353;&#x1f353;&#x1f353; 一、前言&#x1f680;&#x1f680;&am…

生有热爱:成为一束光

坚持每天写作&#xff0c;转眼已过两周。这两周除了每天1&#xff5e;2篇文章的输出外&#xff0c;还看完了《生有热爱》这本书。这应该是看纸质书以来&#xff0c;第一次精确时间点完成一本书的阅读&#xff0c;成就感满满。这本书主要是以篇章的形式&#xff0c;讲述了一个又…

java基于ssm+jsp 房屋租赁系统

1 管理员登录 管理员输入个人的用户名、密码登录系统&#xff0c;这时候系统的数据库就会在进行查找相关的信息&#xff0c;如果我们输入的用户名、密码不正确&#xff0c;数据库就会提示出错误的信息提示&#xff0c;同时会提示管理员重新输入自己的用户名、密码&#xff0c;…

了解WPF控件:OpenFileDialog常用属性与用法(十六)

掌握WPF控件&#xff1a;熟练OpenFileDialog常用属性&#xff08;十六&#xff09; OpenFileDialog控件在WPF中用于需要用户指定文件路径&#xff0c;为用户提供了一个直观且易用的界面来浏览和选择本地文件系统中的文件。例如&#xff0c;当用户需要打开一个已存在的文本文件…

C++自定义智能指针

template <class T> class counted_ptr;// 智能指针引用计数类 template <class T> class Ref_Ptr {friend class counted_ptr<T>; private:T* m_pTtr; // 实际的指针size_t counted_ptr; // 引用计数Ref_Ptr(T* p);virtual ~Ref_Ptr(); };template <clas…

使用tar命令解压文件的教程

使用tar命令解压文件的教程 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 在Linux和Unix系统中&#xff0c;tar命令是一个常用的压缩和解压工具&#xff0c;…