基于Redis的3种分布式ID生成策略

在分布式系统设计中，全局唯一ID是一个基础而关键的组件。随着业务规模扩大和系统架构向微服务演进，传统的单机自增ID已无法满足需求。高并发、高可用的分布式ID生成方案成为构建可靠分布式系统的必要条件。

Redis具备高性能、原子操作及简单易用的特性，因此我们可以基于Redis实现全局唯一ID的生成。

分布式ID的核心需求

一个优秀的分布式ID生成方案应满足以下要求

  • 全局唯一性：在整个分布式系统中保证ID不重复
  • 高性能：能够快速生成ID，支持高并发场景
  • 高可用：避免单点故障，确保服务持续可用
  • 趋势递增：生成的ID大致呈递增趋势，便于数据库索引和分片
  • 安全性（可选） ：不包含敏感信息，不易被推测和伪造

1. 基于INCR命令的简单自增ID

原理

这是最直接的Redis分布式ID实现方式，利用Redis的INCR命令原子性递增一个计数器，确保在分布式环境下ID的唯一性。

代码实现

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.stereotype.Component;@Component
public class RedisSimpleIdGenerator {private final RedisTemplate<String, String> redisTemplate;private final String ID_KEY;public RedisSimpleIdGenerator(RedisTemplate<String, String> redisTemplate) {this.redisTemplate = redisTemplate;this.ID_KEY = "distributed:id:generator";}/*** 生成下一个ID* @return 唯一ID*/public long nextId() {Long id = redisTemplate.opsForValue().increment(ID_KEY);if (id == null) {throw new RuntimeException("Failed to generate id");}return id;}/*** 为指定业务生成ID* @param bizTag 业务标签* @return 唯一ID*/public long nextId(String bizTag) {String key = ID_KEY + ":" + bizTag;Long id = redisTemplate.opsForValue().increment(key);if (id == null) {throw new RuntimeException("Failed to generate id for " + bizTag);}return id;}/*** 获取当前ID值但不递增* @param bizTag 业务标签* @return 当前ID值*/public long currentId(String bizTag) {String key = ID_KEY + ":" + bizTag;String value = redisTemplate.opsForValue().get(key);return value != null ? Long.parseLong(value) : 0;}
}

优缺点

优点

  • 实现极其简单，仅需一次Redis操作
  • ID严格递增，适合作为数据库主键
  • 支持多业务ID隔离

缺点

  • Redis单点故障会导致ID生成服务不可用
  • 主从切换可能导致ID重复
  • 无法包含业务含义

适用场景

  • 中小规模系统的自增主键生成
  • 对ID连续性有要求的业务场景
  • 单数据中心部署的应用

2. 基于Lua脚本的批量ID生成

原理

通过Lua脚本一次性获取一批ID，减少网络往返次数，客户端可在内存中顺序分配ID，显著提高性能。

代码实现

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Component;import java.util.Collections;
import java.util.List;
import java.util.concurrent.atomic.AtomicLong;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;@Component
public class RedisBatchIdGenerator {private final RedisTemplate<String, String> redisTemplate;private final String ID_KEY = "distributed:batch:id";private final DefaultRedisScript<Long> batchIncrScript;// 批量获取的大小private final int BATCH_SIZE = 1000;// 本地计数器和锁private AtomicLong currentId = new AtomicLong(0);private AtomicLong endId = new AtomicLong(0);private final Lock lock = new ReentrantLock();public RedisBatchIdGenerator(RedisTemplate<String, String> redisTemplate) {this.redisTemplate = redisTemplate;// 创建Lua脚本String scriptText = "local key = KEYS[1] " +"local step = tonumber(ARGV[1]) " +"local currentValue = redis.call('incrby', key, step) " +"return currentValue";this.batchIncrScript = new DefaultRedisScript<>();this.batchIncrScript.setScriptText(scriptText);this.batchIncrScript.setResultType(Long.class);}/*** 获取下一个ID*/public long nextId() {// 如果当前ID超过了分配范围，则重新获取一批if (currentId.get() >= endId.get()) {lock.lock();try {// 双重检查，防止多线程重复获取if (currentId.get() >= endId.get()) {// 执行Lua脚本获取一批IDLong newEndId = redisTemplate.execute(batchIncrScript, Collections.singletonList(ID_KEY),String.valueOf(BATCH_SIZE));if (newEndId == null) {throw new RuntimeException("Failed to generate batch ids");}// 设置新的ID范围endId.set(newEndId);currentId.set(newEndId - BATCH_SIZE);}} finally {lock.unlock();}}// 分配下一个IDreturn currentId.incrementAndGet();}/*** 为指定业务生成ID*/public long nextId(String bizTag) {// 实际项目中应该为每个业务标签维护独立的计数器和范围// 这里简化处理，仅使用不同的Redis keyString key = ID_KEY + ":" + bizTag;Long newEndId = redisTemplate.execute(batchIncrScript, Collections.singletonList(key),String.valueOf(1));return newEndId != null ? newEndId : -1;}
}

优缺点

优点

  • 显著减少Redis网络请求次数
  • 客户端缓存ID段，大幅提高性能
  • 降低Redis服务器压力
  • 支持突发流量处理

缺点

  • 实现复杂度增加
  • 服务重启可能导致ID段浪费

适用场景

  • 高并发系统，需要极高ID生成性能的场景
  • 对ID连续性要求不严格的业务
  • 能容忍小部分ID浪费的场景

3. 基于Redis的分段式ID分配（号段模式）

原理

号段模式是一种优化的批量ID生成方案，通过预分配号段（ID范围）减少服务间竞争，同时引入双Buffer机制提高可用性。

代码实现

import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.data.redis.core.script.DefaultRedisScript;
import org.springframework.stereotype.Component;import java.util.Collections;
import java.util.Map;
import java.util.concurrent.ConcurrentHashMap;
import java.util.concurrent.atomic.AtomicLong;
import java.util.concurrent.locks.Lock;
import java.util.concurrent.locks.ReentrantLock;@Component
public class RedisSegmentIdGenerator {private final RedisTemplate<String, String> redisTemplate;private final String SEGMENT_KEY = "distributed:segment:id";private final DefaultRedisScript<Long> segmentScript;// 号段大小private final int SEGMENT_STEP = 1000;// 加载因子，当前号段使用到这个百分比时就异步加载下一个号段private final double LOAD_FACTOR = 0.7;// 存储业务号段信息的Mapprivate final Map<String, SegmentBuffer> businessSegmentMap = new ConcurrentHashMap<>();public RedisSegmentIdGenerator(RedisTemplate<String, String> redisTemplate) {this.redisTemplate = redisTemplate;// 创建Lua脚本String scriptText = "local key = KEYS[1] " +"local step = tonumber(ARGV[1]) " +"local value = redis.call('incrby', key, step) " +"return value";this.segmentScript = new DefaultRedisScript<>();this.segmentScript.setScriptText(scriptText);this.segmentScript.setResultType(Long.class);}/*** 获取下一个ID* @param bizTag 业务标签* @return 唯一ID*/public long nextId(String bizTag) {// 获取或创建号段缓冲区SegmentBuffer buffer = businessSegmentMap.computeIfAbsent(bizTag, k -> new SegmentBuffer(bizTag));return buffer.nextId();}/*** 内部号段缓冲区类，实现双Buffer机制*/private class SegmentBuffer {private String bizTag;private Segment[] segments = new Segment[2]; // 双Bufferprivate volatile int currentPos = 0; // 当前使用的segment位置private Lock lock = new ReentrantLock();private volatile boolean isLoadingNext = false; // 是否正在异步加载下一个号段public SegmentBuffer(String bizTag) {this.bizTag = bizTag;segments[0] = new Segment(0, 0);segments[1] = new Segment(0, 0);}/*** 获取下一个ID*/public long nextId() {// 获取当前号段Segment segment = segments[currentPos];// 如果当前号段为空或已用完，切换到另一个号段if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {lock.lock();try {// 双重检查当前号段状态segment = segments[currentPos];if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {// 切换到另一个号段currentPos = (currentPos + 1) % 2;segment = segments[currentPos];// 如果另一个号段也未初始化或已用完，则同步加载if (!segment.isInitialized() || segment.getValue() > segment.getMax()) {loadSegmentFromRedis(segment);}}} finally {lock.unlock();}}// 检查是否需要异步加载下一个号段long value = segment.incrementAndGet();if (value > segment.getMin() + (segment.getMax() - segment.getMin()) * LOAD_FACTOR&& !isLoadingNext) {isLoadingNext = true;// 异步加载下一个号段new Thread(() -> {Segment nextSegment = segments[(currentPos + 1) % 2];loadSegmentFromRedis(nextSegment);isLoadingNext = false;}).start();}return value;}/*** 从Redis加载号段*/private void loadSegmentFromRedis(Segment segment) {String key = SEGMENT_KEY + ":" + bizTag;// 执行Lua脚本获取号段最大值Long max = redisTemplate.execute(segmentScript, Collections.singletonList(key),String.valueOf(SEGMENT_STEP));if (max == null) {throw new RuntimeException("Failed to load segment from Redis");}// 设置号段范围long min = max - SEGMENT_STEP + 1;segment.setMax(max);segment.setMin(min);segment.setValue(min - 1); // 设置为min-1，第一次incrementAndGet返回minsegment.setInitialized(true);}}/*** 内部号段类，存储号段的范围信息*/private class Segment {private long min; // 最小值private long max; // 最大值private AtomicLong value; // 当前值private volatile boolean initialized; // 是否已初始化public Segment(long min, long max) {this.min = min;this.max = max;this.value = new AtomicLong(min);this.initialized = false;}public long getValue() {return value.get();}public void setValue(long value) {this.value.set(value);}public long incrementAndGet() {return value.incrementAndGet();}public long getMin() {return min;}public void setMin(long min) {this.min = min;}public long getMax() {return max;}public void setMax(long max) {this.max = max;}public boolean isInitialized() {return initialized;}public void setInitialized(boolean initialized) {this.initialized = initialized;}}
}

优缺点

优点

  • 双Buffer设计，高可用性
  • 异步加载下一个号段，性能更高
  • 大幅降低Redis访问频率
  • 即使Redis短暂不可用，仍可分配一段时间的ID

缺点

  • 实现复杂，代码量大
  • 多实例部署时，各实例获取的号段不连续
  • 重启服务时号段内的ID可能浪费
  • 需要在内存中维护状态

适用场景

  • 对ID生成可用性要求高的业务
  • 需要高性能且多服务器部署的分布式系统

4. 性能对比与选型建议

策略性能可用性ID长度实现复杂度单调递增
INCR命令★★★☆☆★★☆☆☆递增整数低严格递增
Lua批量生成★★★★★★★★☆☆递增整数中批次内递增
分段式ID★★★★★★★★★☆递增整数高段内递增

5. 实践优化技巧

1. Redis高可用配置

// 配置Redis哨兵模式，提高可用性
@Bean
public RedisConnectionFactory redisConnectionFactory() {RedisSentinelConfiguration sentinelConfig = new RedisSentinelConfiguration().master("mymaster").sentinel("127.0.0.1", 26379).sentinel("127.0.0.1", 26380).sentinel("127.0.0.1", 26381);return new LettuceConnectionFactory(sentinelConfig);
}

2. ID预热策略

// 系统启动时预热ID生成器
@PostConstruct
public void preWarmIdGenerator() {// 预先获取一批ID，确保系统启动后立即可用for (int i = 0; i < 10; i++) {try {segmentIdGenerator.nextId("order");segmentIdGenerator.nextId("user");segmentIdGenerator.nextId("payment");} catch (Exception e) {log.error("Failed to pre-warm ID generator", e);}}
}

3. 降级策略

// Redis不可用时的降级策略
public long nextIdWithFallback(String bizTag) {try {return segmentIdGenerator.nextId(bizTag);} catch (Exception e) {log.warn("Failed to get ID from Redis, using local fallback", e);// 使用本地UUID或其他替代方案return Math.abs(UUID.randomUUID().getMostSignificantBits());}
}

6. 结论

选择合适的分布式ID生成策略时，需要综合考虑系统规模、性能需求、可靠性要求和实现复杂度。无论选择哪种方案，都应注重高可用性设计，增加监控和预警机制，确保ID生成服务的稳定运行。

在实践中，可以基于业务需求对这些方案进行组合和优化，例如为不同业务选择不同策略，或者在ID中嵌入业务标识等，打造更适合自身系统的分布式ID生成解决方案。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/79700.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Spotlight on Mysql详细介绍

Spotlight on Mysql详细介绍

1. 版本............................................................................................................................................1 2. 使用介绍...............................................................................................…
阅读更多...
背包 DP 详解

背包 DP 详解

文章目录 背包DP01 背包完全背包多重背包二进制优化单调队列优化 小结 背包DP 背包 DP&#xff0c;说白了就是往一个背包里扔东西&#xff0c;求最后的最大价值是多少&#xff0c;一般分为了三种&#xff1a;01 背包、完全背包和多重背包。而 01 背包则是一切的基础。 01 背包…
阅读更多...
二级评论列表-Java实现

二级评论列表-Java实现

二级评论列表是很常见的功能&#xff0c;文章记录了新手用Java实现的具体逻辑。 整体实现逻辑是先用2个sql&#xff0c;分别查出两层数据。然后用java在service中实现数据组装&#xff0c;返给前端。这种实现思路好处是SQL简洁&#xff0c;逻辑分明&#xff0c;便于维护。 一…
阅读更多...
快速入手-基于python和opencv的人脸检测

快速入手-基于python和opencv的人脸检测

1、安装库 pip install opencv-python 如果下载比较卡的话&#xff0c;指向国内下载地址&#xff1a; pip3 install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple 2、下载源码 https://opencv.org/ windows11对应的版本下载&#xff1a; https://pan.baidu…
阅读更多...
GitLab本地安装指南

GitLab本地安装指南

当前GitLab的最新版是v17.10&#xff0c;安装地址&#xff1a;https://about.gitlab.com/install/。当然国内也可以安装极狐GitLab版本&#xff0c;极狐GitLab 是 GitLab 中国发行版&#xff08;JH&#xff09;。极狐GitLab支持龙蜥&#xff0c;欧拉等国内的操作系统平台。安装…
阅读更多...
OpenCv高阶（六）——图像的透视变换

OpenCv高阶（六）——图像的透视变换

目录 一、透视变换的定义与作用 二、透视变换的过程 三、OpenCV 中的透视变换函数 1. cv2.getPerspectiveTransform(src, dst) 2. cv2.warpPerspective(src, H, dsize, dstNone, flagscv2.INTER_LINEAR, borderModecv2.BORDER_CONSTANT, borderValue0) 四、文档扫描校正&a…
阅读更多...
资源-又在网上淘到金了

资源-又在网上淘到金了

前言&#xff1a; 本期再分享网上冲浪发现的特效/动画/视频资源网站。 一、基本介绍&#xff1a; mantissa.xyz&#xff0c;about作者介绍为&#xff1a;Midge “Mantissa” Sinnaeve &#xff08;米奇辛纳夫&#xff09;是一位屡获殊荣的艺术家和导演&#xff0c;提供动画、…
阅读更多...
Linux疑难杂惑 | 云服务器重装系统后vscode无法远程连接的问题

Linux疑难杂惑 | 云服务器重装系统后vscode无法远程连接的问题

报错原因&#xff1a;本地的known_hosts文件记录服务器信息与现服务器的信息冲突了&#xff0c;导致连接失败。 解决方法&#xff1a;找到本地的known_hosts文件&#xff0c;把里面的所有东西删除后保存就好了。 该文件的路径可以在报错中寻找&#xff1a;比如我的路径就是&a…
阅读更多...
FFMPEG-视频解码-支持rtsp|rtmp|音视频文件（低延迟）

FFMPEG-视频解码-支持rtsp|rtmp|音视频文件（低延迟）

本人亲测解码显示对比延迟达到7到20毫秒之间浮动兼容播放音视频文件、拉流RTSP、RTMP等网络流 基于 Qt 和 FFmpeg 的视频解码播放器类，继承自 QThread，实现了视频流的解码、播放控制、帧同步和错误恢复等功能 工作流程初始化阶段: 用户设置URL和显示尺寸 调用play()启动线程解…
阅读更多...
【音视频】音视频FLV合成实战

【音视频】音视频FLV合成实战

FFmpeg合成流程 示例本程序会⽣成⼀个合成的⾳频和视频流&#xff0c;并将它们编码和封装输出到输出⽂件&#xff0c;输出格式是根据⽂件扩展名⾃动猜测的。 示例的流程图如下所示。 ffmpeg 的 Mux 主要分为 三步操作&#xff1a; avformat_write_header &#xff1a; 写⽂件…
阅读更多...
全链路开源数据平台技术选型指南：六大实战工具链解析

全链路开源数据平台技术选型指南：六大实战工具链解析

在数字化转型加速的背景下&#xff0c;开源技术正重塑数据平台的技术格局。本文深度解析数据平台的全链路架构&#xff0c;精选六款兼具创新性与实用性的开源工具&#xff0c;涵盖数据编排、治理、实时计算、联邦查询等核心场景&#xff0c;为企业构建云原生数据架构提供可落地…
阅读更多...
JAVA设计模式——（1）适配器模式

JAVA设计模式——（1）适配器模式

JAVA设计模式——&#xff08;1&#xff09;适配器模式 目的理解实现优势 目的 将一个类的接口变换成客户端所期待的另一种接口&#xff0c;从而使原本因接口不匹配而无法一起工作的两个类能够在一起工作。 理解 可以想象成一个国标的插头&#xff0c;结果插座是德标的&…
阅读更多...
Qt C++ 解析和处理 XML 文件示例

Qt C++ 解析和处理 XML 文件示例

使用 Qt C 解析和处理 XML 文件 以下是使用 Qt C 实现 XML 文件处理的几种方法&#xff0c;包括解析、创建和修改 XML 文件。 1. 使用 QXmlStreamReader (推荐方式) #include <QFile> #include <QXmlStreamReader> #include <QDebug>void parseXmlWithStr…
阅读更多...
坐标上海，20~40K的面试强度

坐标上海，20~40K的面试强度

继续分享最新的面经&#xff0c;面试的岗位是上海某公司的Golang开发岗&#xff0c;给的薪资范围是20~40K&#xff0c;对mongodb要求熟练掌握&#xff0c;所以面试过程中对于mongodb也问的比较多。 下面是我整理好的面经&#xff08;去除了项目相关的问题&#xff09;&#xf…
阅读更多...
B端管理系统：企业运营的智慧大脑，精准指挥

B端管理系统：企业运营的智慧大脑，精准指挥

B端管理系统的定义与核心功能 B端管理系统&#xff08;Business Management System&#xff09;是专门设计用于支持企业内部运作和外部业务交互的一套软件工具。它集成了多种功能模块&#xff0c;包括但不限于客户关系管理(CRM)、供应链管理(SCM)、人力资源管理(HRM)以及财务管…
阅读更多...
IDE中使用Spring Data Redis

IDE中使用Spring Data Redis

步骤一&#xff1a;导入Spring Data Redis的maven坐标 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency> 步骤二&#xff1a;配置Redis数据源 步骤三&…
阅读更多...
ARINC818协议的帧格式

ARINC818协议的帧格式

SOFi:sof initiale;这个是第一个ADVB帧的SOF开始&#xff0c;一帧只有一个SOFi。 SOFn:sof normal;这个是非首个ADVB帧的SOF头的normal头。 Vsync为场同步&#xff0c;两个SOFi之间为Vsync信号&#xff0c;也就是一帧&#xff0c;也就是VS信号。 Hsync为行同步&#xff0c;如果…
阅读更多...
Git核心命令

Git核心命令

Git核心命令完全指南&#xff1a;从入门到高效协作 前言 在软件开发领域&#xff0c;Git已成为现代版本控制的代名词。据统计&#xff0c;全球超过90%的开发团队使用Git进行代码管理。然而&#xff0c;许多开发者仅停留在基础命令的机械使用层面&#xff0c;未能真正掌握Git命…
阅读更多...
【计算机视觉】CV实战项目- Face-and-Emotion-Recognition 人脸情绪识别

【计算机视觉】CV实战项目- Face-and-Emotion-Recognition 人脸情绪识别

Face-and-Emotion-Recognition 项目详细介绍 项目概述项目功能项目目录结构项目运行方式1. 环境准备2. 数据准备3. 模型训练4. 模型运行 常见问题及解决方法1. **安装依赖问题**2. **数据集问题**3. **模型训练问题**4. **模型运行问题** 项目实战建议项目参考文献 项目概述 F…
阅读更多...
java lambda

java lambda

案例1 lambda表达式看做成一个函数对象 方法引用 1.Math是类型&#xff0c;max是静态方法 2.Student是对象&#xff0c;getName是非静态方法 3.对象&#xff1a;&#xff1a;非静态方法 4.类型&#xff1a;&#xff1a;new关键字 练习1 假设已有对象 常见函数接口 predicate…
阅读更多...
最新文章

Copyright @ 2022~2023