SpringBoot分布式定时任务实战:告别重复执行的烦恼

场景再现:你刚部署完基于SpringBoot的集群服务,凌晨3点突然收到监控告警——优惠券发放量超出预算两倍!检查日志发现,两个节点同时执行了定时任务。这种分布式环境下的定时任务难题,该如何彻底解决?

本文将手把手带你攻克这些难题:

  • 剖析传统@Scheduled注解在分布式环境失效的根源
  • 实战演示三种主流分布式定时任务方案
  • 生产环境避坑指南与性能优化建议

一、为什么单机方案在分布式环境下失效?

当我们的服务以集群方式部署时,每个节点的定时任务都会独立运行。这会导致:

  1. 重复任务执行导致业务异常(如重复扣款)
  2. 数据库被多个节点同时操作引发锁冲突
  3. 无法实现任务的动态扩容缩容

二、五大分布式定时任务方案选型

方案实现难度可靠性功能丰富度适用场景
数据库锁★★☆☆☆★★☆☆☆★☆☆☆☆小型项目快速实现
Redis分布式锁★★★☆☆★★★☆☆★★☆☆☆轻量级任务调度
Zookeeper选举★★★★☆★★★★☆★★☆☆☆强一致性场景
Quartz集群★★★★☆★★★★☆★★★★★企业级复杂调度
Elastic-Job★★★☆☆★★★★★★★★★★互联网高并发场景

结论:推荐Elastic-Job(功能强大)或Spring Scheduler + Redis分布式锁(轻量快速)


三、方案一:Elastic-Job + SpringBoot实战

3.1 引入Maven依赖
<!-- ElasticJob-Lite -->
<dependency><groupId>org.apache.shardingsphere.elasticjob</groupId><artifactId>elasticjob-lite-spring-boot-starter</artifactId><version>3.0.3</version>
</dependency>
3.2 配置Zookeeper注册中心
elasticjob:reg-center:server-lists: localhost:2181namespace: elasticjob-demo
3.3 实现定时任务类
public class OrderTimeoutJob implements SimpleJob {@Overridepublic void execute(ShardingContext context) {// 获取当前分片参数int shardIndex = context.getShardingItem();// 分片策略示例:按订单ID取模分片List<Long> orderIds = fetchTimeoutOrders(shardIndex);orderIds.forEach(this::cancelOrder);}private List<Long> fetchTimeoutOrders(int shard) {// 实现分片查询逻辑return orderRepository.findTimeoutOrders(shard);}
}

关键配置参数

jobs:orderTimeoutJob:elasticJobClass: com.example.OrderTimeoutJobcron: 0 0/5 * * * ?shardingTotalCount: 3overwrite: true

四、方案二:Spring Scheduler + Redis分布式锁

4.1 实现Redis锁工具类
public class RedisDistributedLock {private static final String LOCK_PREFIX = "schedule:lock:";private static final int LOCK_EXPIRE = 30;@Autowiredprivate StringRedisTemplate redisTemplate;public boolean tryLock(String lockKey) {String key = LOCK_PREFIX + lockKey;return redisTemplate.opsForValue().setIfAbsent(key, "locked", LOCK_EXPIRE, TimeUnit.SECONDS);}public void unlock(String lockKey) {redisTemplate.delete(LOCK_PREFIX + lockKey);}
}
4.2 定时任务增强实现
@Component
public class CouponExpireJob {@Autowiredprivate RedisDistributedLock redisLock;@Scheduled(cron = "0 0 3 * * ?")public void processExpiredCoupons() {if (!redisLock.tryLock("couponJob")) {return;}try {// 真正的业务逻辑couponService.processExpired();} finally {redisLock.unlock("couponJob");}}
}

五、生产环境避坑指南

  1. 时钟同步问题:所有节点必须使用NTP同步时间
  2. 锁过期时间:预估任务最大执行时间,建议设置超时时间的1.5倍
  3. 故障转移:使用Elastic-Job时开启故障转移配置
    jobs:myJob:failover: true
    
  4. 动态扩容:Elastic-Job支持运行时修改分片数量
  5. 监控告警:集成Prometheus监控任务执行情况

六、性能优化建议

  1. 分片策略优化:根据数据特征选择哈希分片或区间分片
  2. 批量处理:每次处理100-500条数据,避免大事务
  3. 异步执行:耗时操作放入线程池异步处理
  4. 索引优化:任务查询的SQL必须走索引
  5. 日志精简:关闭不必要的调试日志,保留关键操作日志

技术选型建议

  • 中小型项目:Spring Scheduler + Redis锁
  • 大型分布式系统:Elastic-Job
  • 遗留系统改造:Quartz集群

最终解决方案没有银弹,根据团队技术储备和业务场景灵活选择。建议从简单方案入手,随着业务发展逐步演进架构。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/73135.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL 设置允许远程连接完整指南:安全与效率并重

一、为什么需要远程连接MySQL&#xff1f; 在分布式系统架构中&#xff0c;应用程序与数据库往往部署在不同服务器。例如&#xff1a; Web服务器&#xff08;如NginxPHP&#xff09;需要连接独立的MySQL数据库数据分析师通过BI工具直连生产库多服务器集群间的数据同步 但直接…

系统架构书单推荐(一)领域驱动设计与面向对象

本文主要是个人在学习过程中所涉猎的一些经典书籍&#xff0c;有些已经阅读完&#xff0c;有些还在阅读中。于我而言&#xff0c;希望追求软件系统设计相关的原则、方法、思想、本质的东西&#xff0c;并希望通过不断的学习、实践和积累&#xff0c;提升自身的知识和认知。希望…

动态规划-01背包

兜兜转转了半天&#xff0c;发现还是Carl写的好。 看过动态规划-基础的读者&#xff0c;大概都清楚。 动态规划是将大问题&#xff0c;分解成子问题。并将子问题的解储存下来&#xff0c;避免重复计算。 而背包问题&#xff0c;就是动态规划延申出来的一个大类。 而01背包&…

使用VS2022编译CEF

前提 选择编译的版本 CEF自动编译&#xff0c;在这里可以看到最新的稳定版和Beta版。 从这里得出&#xff0c;最新的稳定版是134.0.6998.118&#xff0c;对应的cef branch是6998。通过这个信息可以在Build requirements查到相关的软件配置信息。 这里主要看Windows下的编译要…

C++20:玩转 string 的 starts_with 和 ends_with

文章目录 一、背景与动机二、string::starts_with 和 string::ends_with&#xff08;一&#xff09;语法与功能&#xff08;二&#xff09;使用示例1\. 判断字符串开头2\. 判断字符串结尾 &#xff08;三&#xff09;优势 三、string_view::starts_with 和 string_view::ends_w…

智能飞鸟监测 守护高压线安全

飞鸟检测新纪元&#xff1a;视觉分析技术的革新应用 在现代化社会中&#xff0c;飞鸟检测成为了多个领域不可忽视的重要环节。无论是高压线下的安全监测、工厂内的生产秩序维护&#xff0c;还是农业区的作物保护&#xff0c;飞鸟检测都扮演着至关重要的角色。传统的人工检测方…

ADC噪声全面分析 -04- 有效噪声带宽简介

为什么要了解ENBW&#xff1f; 了解模数转换器 (ADC) 噪声可能具有挑战性&#xff0c;即使对于最有经验的模拟设计人员也是如此。 Delta-sigma ADC 具有量化和热噪声的组合&#xff0c;这取决于 ADC 的分辨率、参考电压和输出数据速率 (ODR)。 在系统级别&#xff0c;额外的信…

STM32单片机uCOS-Ⅲ系统10 内存管理

目录 一、内存管理的基本概念 二、内存管理的运作机制 三、内存管理的应用场景 四、内存管理函数接口讲解 1、内存池创建函数 OSMemCreate() 2、内存申请函数 OSMemGet() 3、内存释放函数 OSMemPut() 五、实现 一、内存管理的基本概念 在计算系统中&#xff0c;变量、中…

考研课程安排(自用)

文章目录 408数据结构&#xff08;王道&#xff09;计算机组成原理&#xff08;王道&#xff09;操作系统&#xff08;王道&#xff09;计算机网络&#xff08;湖科大版&#xff09; 数学一高等数学&#xff08;微积分&#xff09;线性代数和概率论 408 数据结构&#xff08;王…

ultraiso制作u盘启动

UltraISO制作U盘启动盘的方法 UltraISO是一款功能强大的工具&#xff0c;可以帮助用户将ISO镜像文件写入U盘&#xff0c;从而制作成可启动的系统安装盘。以下是详细的步骤和注意事项&#xff1a; 1. ‌准备工作‌ ‌硬件准备‌&#xff1a;一个容量至少为8GB的U盘&#xff0…

C语言-发布订阅模式详解与实践

文章目录 C语言发布订阅模式详解与实践1. 什么是发布订阅模式&#xff1f;2. 为什么需要发布订阅模式&#xff1f;3. 实际应用场景4. 代码实现4.1 UML 关系图4.2 头文件 (pubsub.h)4.3 实现文件 (pubsub.c)4.4 使用示例 (main.c) 5. 代码分析5.1 关键设计点5.2 实现特点 6. 编译…

蓝桥杯2023年第十四届省赛真题-异或和之差

题目来自DOTCPP&#xff1a; 思路&#xff1a; 什么是异或和&#xff1f; ①题目要求我们选择两个不相交的子段&#xff0c;我们可以枚举一个分界线i&#xff0c;子段1在 i 的左边&#xff0c; 子段2在 i 的右边&#xff0c;分别找到子段1和子段2的最大值、最小值。 ②怎么确…

Linux作业2——有关文件系统权限的练习

1、创建/www目录&#xff0c;在/www目录下新建name和https目录&#xff0c;在name和https目录下分别创建一个index.html文件&#xff0c;name下面的index.html文件中包含当前主机的主机名&#xff0c;https目录下的index.html文件中包含当前主机的ip地址。 #创建/www目录&…

leeCode 70. 爬楼梯

假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢&#xff1f; 示例 1&#xff1a; 输入&#xff1a;n 2 输出&#xff1a;2 解释&#xff1a;有两种方法可以爬到楼顶。 1. 1 阶 1 阶 2. 2 阶 示例 2&#x…

算法题(105):小猫爬山

审题&#xff1a; 本题需要我们找出将n个小猫放在有限重的缆车上运下山所需的最小缆车数 时间复杂度分析&#xff1a;本题的数据量小于等于18&#xff0c;所以我们在做好剪枝的前提下可以使用深度优先搜索解题 思路&#xff1a; 方法一&#xff1a;dfs 搜索策略&#xff1a;将小…

第十六章:Specialization and Overloading_《C++ Templates》notes

Specialization and Overloading 一、模板特化与重载的核心概念二、代码实战与测试用例三、关键知识点总结四、进阶技巧五、实践建议多选题设计题代码测试说明 一、模板特化与重载的核心概念 函数模板重载 (Function Template Overloading) // 基础模板 template<typename…

多协议兼容+高并发处理:EasyCVR如何破解AI安防规模化落地难题?

随着AI技术在安防领域的深入应用&#xff0c;规模化部署面临两大核心挑战&#xff1a;设备协议碎片化导致的接入壁垒与海量视频流并发带来的性能瓶颈。TSINGSEE青犀视频的EasyCVR平台通过“多协议兼容高并发处理”双引擎驱动&#xff0c;结合云边端协同架构与智能算法优化&…

IntelliJ IDEA 中 Git 高频问题与操作详解|新手避坑指南

标签&#xff1a;IntelliJ IDEA Git操作, Git教程, 版本控制, 冲突解决, 分支管理 引言 你是否遇到过这些问题&#xff1f; 代码提交后想撤销怎么办&#xff1f;合并分支时冲突不会解决&#xff1f;不小心把错误代码推送到远程仓库&#xff1f; 本文针对 IntelliJ IDEA 中 Git …

【聊聊层次式架构设计:像搭乐高一样构建软件大厦】

文章目录 聊聊层次式架构设计&#xff1a;像搭乐高一样构建软件大厦理论篇&#xff1a;层次式架构的“千层套路”最底层&#xff1a;基础设施层——默默付出的“基石侠”数据访问层&#xff1a;“数据快递员”业务逻辑层&#xff1a;智慧的“大脑中枢”表示层&#xff1a;软件的…

N列股票收盘价为起点的马科维茨(Markowitz)均值—方差理论

1. 数据准备与收益率计算 输入数据&#xff1a; 假设你有一个矩阵&#xff0c;每一列代表一只股票的历史收盘价序列。每一行对应一个时间点的收盘价。 计算收益率&#xff1a; 马科维茨理论要求使用资产的收益率而非价格。常用的收益率计算方法有对数收益率或简单收益率。 2.…