JAVA定时任务技术总结

在日常的项目开发中,多多少少都会涉及到一些定时任务的需求。例如每分钟扫描超时支付的订单,每小时清理一次数据库历史数据,每天统计前一天的数据并生成报表,定时去扫描某个表的异常信息(最终一致性的方案也可能涉及),定时启用某个业务开关等等。下面对一些Java中常用的定时任务做一些简单的介绍。

1.Java自带解决方式

Java 中自带的解决方案Timer。

1.Timer 

使用 Timer创建 java.util.TimerTask 任务,在 run 方法中实现业务逻辑。通过 java.util.Timer 进行调度,支持按照固定频率执行。所有的 TimerTask 是在同一个线程中串行执行,相互影响。也就是说,对于同一个 Timer 里的多个 TimerTask 任务,如果一个 TimerTask 任务在执行中,其它 TimerTask 即使到达执行的时间,也只能排队等待。如果有异常产生,线程将退出,整个定时任务就失败。在编码的时候,因为是单线程阻塞式的行为,编写代码的时候,阿里巴巴插件会提示采用ScheduledExecutorService来代替Timer。

注:在分布式锁的redission的实现中用到watchdog就是基于这种方式

import java.util.Timer;
import java.util.TimerTask;
public class TestTimerTask {   public static void main(String[] args) {TimerTask timerTask = new TimerTask() {@Overridepublic void run() {System.out.println("hell world");}};Timer timer = new Timer();timer.schedule(timerTask, 10, 3000);}  
}

2.ScheduledExecutorService

基于线程池设计的定时任务解决方案,每个调度任务都会分配到线程池中的一个线程去执行,解决 Timer 定时器无法并发执行的问题,支持 fixedRate 和 fixedDelay。 

import java.util.concurrent.Executors;
import java.util.concurrent.ScheduledExecutorService;
import java.util.concurrent.TimeUnit;
public class TestTimerTask {public static void main(String[] args) {ScheduledExecutorService ses = Executors.newScheduledThreadPool(5);//按照固定频率执行,每隔5秒跑一次ses.scheduleAtFixedRate(new Runnable() {@Overridepublic void run() {System.out.println("hello fixedRate");}}, 0, 5, TimeUnit.SECONDS);//按照固定延时执行,上次执行完后隔3秒再跑ses.scheduleWithFixedDelay(new Runnable() {@Overridepublic void run() {System.out.println("hello fixedDelay");}}, 0, 3, TimeUnit.SECONDS);}
}

 2.Spring 中自带的解决方案

这个应该就是大多数项目会采用的方式了,也是比较主流的方式。Springboot 中提供了一套轻量级的定时任务工具 Spring Task,通过注解可以很方便的配置,支持 cron 表达式、fixedRate、fixedDelay。

import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
@Component
@EnableScheduling
public class MyTask {/*** 每分钟的第30秒跑一次*/@Scheduled(cron = "30 * * * * ?")public void task1() throws InterruptedException {System.out.println("hello cron");}/*** 每隔5秒跑一次*/@Scheduled(fixedRate = 5000)public void task2() throws InterruptedException {System.out.println("hello fixedRate");}/*** 上次跑完隔3秒再跑*/@Scheduled(fixedDelay = 3000)public void task3() throws InterruptedException {System.out.println("hello fixedDelay");}
}

Spring Task 相对于上面提到的两种解决方案,最大的优势就是支持 cron 表达式,可以处理按照标准时间固定周期执行的业务,比如每天几点几分执行。这个cron表达式也不用刻意的去记住,只需要大概理解,然后找一个cron生成的网站就行。

同样这个Scheduled的方式默认也是单线程的,如果想采用多线程,可以自定义线程池来结合使用,也可以用@Async的方式指定线程池来使用。这里就不多做介绍了

3.业务幂等解决方案

现在的应用基本都是分布式部署,所有机器的代码都是一样的,前面介绍的 Java 和 Spring 自带的解决方案,都是进程级别的,每台机器在同一时间点都会执行定时任务。这样会导致需要业务幂等的定时任务业务有问题,比如每月定时给用户推送消息,就会推送多次。

于是,很多应用很自然的就想到了使用分布式锁的解决方案。即每次定时任务执行之前,先去抢锁,抢到锁的执行任务,抢不到锁的不执行。怎么抢锁,又是五花八门,比如使用 DB、zookeeper、redis。

1.使用 DB 或者 Zookeeper 抢锁

使用 DB 或者 Zookeeper 抢锁的架构差不多,原理如下:

  1. 定时时间到了,在回调方法里,先去抢锁。
  2. 抢到锁,则继续执行方法,没抢到锁直接返回。
  3. 执行完方法后,释放锁

示例代码如下: 

import org.springframework.scheduling.annotation.EnableScheduling;
import org.springframework.scheduling.annotation.Scheduled;
import org.springframework.stereotype.Component;
@Component
@EnableScheduling
public class MyTask {/*** 每分钟的第30秒跑一次*/@Scheduled(cron = "30 * * * * ?")public void task1() throws Exception {String lockName = "task1";if (tryLock(lockName)) {System.out.println("hello cron");releaseLock(lockName);} else {return;}}private boolean tryLock(String lockName) {//TODOreturn true;}private void releaseLock(String lockName) {//TODO}
}

当前的这个设计,仔细一点的同学可以发现,其实还是有可能导致任务重复执行的。比如任务执行的非常快,A 这台机器抢到锁,执行完任务后很快就释放锁了。B 这台机器后抢锁,还是会抢到锁,再执行一遍任务。因为数据库的io也是需要时间,在极限或者并发高的情况下,就会出现等等情况。所以由此衍生出来Redis

2.使用 redis 抢锁

使用 redis 抢锁,其实架构上和 DB/zookeeper 差不多,不过 redis 抢锁支持过期时间,不用主动去释放锁,并且可以充分利用这个过期时间,解决任务执行过快释放锁导致任务重复执行的问题,架构如下:

示例代码如下: 

@Component
@EnableScheduling
public class MyTask {/*** 每分钟的第30秒跑一次*/@Scheduled(cron = "30 * * * * ?")public void task1() throws InterruptedException {String lockName = "task1";if (tryLock(lockName, 30)) {System.out.println("hello cron");releaseLock(lockName);} else {return;}}private boolean tryLock(String lockName, long expiredTime) {//TODOreturn true;}private void releaseLock(String lockName) {//TODO}
}

 同样如果基于这个的话,可以直接用开源的redission。提供了包括分布式锁,限流,自动续约时间,自动删除锁避免死锁等。

 4.使用 Quartz

Quartz  是一套轻量级的任务调度框架,只需要定义了 Job(任务),Trigger(触发器)和 Scheduler(调度器),即可实现一个定时调度能力。支持基于数据库的集群模式,可以做到任务幂等执行。(其实关联的东西很多,而且对数据库要新建很多业务要求的表,如果业务不是很复杂用spring的就足够了)

Quartz 支持任务幂等执行,其实理论上还是抢 DB 锁,我们看下 quartz 的表结构:

其中,QRTZ_LOCKS 就是 Quartz 集群实现同步机制的行锁表,其表结构如下 

--QRTZ_LOCKS表结构CREATE TABLE `QRTZ_LOCKS` (`LOCK_NAME` varchar(40) NOT NULL,PRIMARY KEY (`LOCK_NAME`)) ENGINE=InnoDB DEFAULT CHARSET=utf8;--QRTZ_LOCKS记录+-----------------+ | LOCK_NAME       |+-----------------+ | CALENDAR_ACCESS || JOB_ACCESS      || MISFIRE_ACCESS  || STATE_ACCESS    || TRIGGER_ACCESS  |+-----------------+

可以看出 QRTZ_LOCKS 中有 5 条记录,代表 5 把锁,分别用于实现多个 Quartz Node 对 Job、Trigger、Calendar 访问的同步控制。 

5.开源任务调度中间件

上面提到的解决方案,在架构上都有一个问题,那就是每次调度都需要抢锁,特别是使用 DB 和 Zookeeper 抢锁,性能会比较差,一旦任务量增加到一定的量,就会有比较明显的调度延时。还有一个痛点,就是业务想要修改调度配置,或者增加一个任务,得修改代码重新发布应用。

于是开源社区涌现了一堆任务调度中间件,通过任务调度系统进行任务的创建、修改和调度,这其中国内最火的就是 XXL-JOB 和 ElasticJob。

1.ElasticJob

ElasticJob 是一款基于 Quartz 开发,依赖 Zookeeper 作为注册中心、轻量级、无中心化的分布式任务调度框架,目前已经通过 Apache 开源。

ElasticJob 相对于 Quartz 来说,从功能上最大的区别就是支持分片,可以将一个任务分片参数分发给不同的机器执行。架构上最大的区别就是使用 Zookeeper 作为注册中心,不同的任务分配给不同的节点调度,不需要抢锁触发,性能上比 Quartz 上强大很多,架构图如下:

开发上也比较简单,和 springboot 结合比较好,可以在配置文件定义任务如下: 

elasticjob:regCenter:serverLists: localhost:2181namespace: elasticjob-lite-springbootjobs:simpleJob:elasticJobClass: org.apache.shardingsphere.elasticjob.lite.example.job.SpringBootSimpleJobcron: 0/5 * * * * ?timeZone: GMT+08:00shardingTotalCount: 3shardingItemParameters: 0=Beijing,1=Shanghai,2=GuangzhouscriptJob:elasticJobType: SCRIPTcron: 0/10 * * * * ?shardingTotalCount: 3props:script.command.line: "echo SCRIPT Job: "manualScriptJob:elasticJobType: SCRIPTjobBootstrapBeanName: manualScriptJobBeanshardingTotalCount: 9props:script.command.line: "echo Manual SCRIPT Job: "

实现任务接口如下: 

@Component
public class SpringBootShardingJob implements SimpleJob {@Overridepublic void execute(ShardingContext context) {System.out.println("分片总数="+context.getShardingTotalCount() + ", 分片号="+context.getShardingItem()+ ", 分片参数="+context.getShardingParameter());}
}

 同时,ElasticJob 还提供了一个简单的 UI,可以查看任务的列表,同时支持修改、触发、停止、生效、失效操作。

ElasticJob 暂不支持动态创建任务。 

2.XXL-JOB

XXL-JOB 是一个开箱即用的轻量级分布式任务调度系统,其核心设计目标是开发迅速、学习简单、轻量级、易扩展,在开源社区广泛流行

XXL-JOB 是 Master-Slave 架构,Master 负责任务的调度,Slave 负责任务的执行,架构图如下:

XXL-JOB 接入也很方便,不同于 ElasticJob 定义任务实现类,是通过@XxlJob 注解定义 JobHandler。(安装和集成springboot可自行百度,需要SQL数据库来存储一些相关的表,通杀也提供了动态的数据UI展示) 

实例代码:

@Component
public class SampleXxlJob {private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);/*** 1、简单任务示例(Bean模式)*/@XxlJob("demoJobHandler")public ReturnT<String> demoJobHandler(String param) throws Exception {XxlJobLogger.log("XXL-JOB, Hello World.");for (int i = 0; i < 5; i++) {XxlJobLogger.log("beat at:" + i);TimeUnit.SECONDS.sleep(2);}return ReturnT.SUCCESS;}/*** 2、分片广播任务*/@XxlJob("shardingJobHandler")public ReturnT<String> shardingJobHandler(String param) throws Exception {// 分片参数ShardingUtil.ShardingVO shardingVO = ShardingUtil.getShardingVo();XxlJobLogger.log("分片参数:当前分片序号 = {}, 总分片数 = {}", shardingVO.getIndex(), shardingVO.getTotal());// 业务逻辑for (int i = 0; i < shardingVO.getTotal(); i++) {if (i == shardingVO.getIndex()) {XxlJobLogger.log("第 {} 片, 命中分片开始处理", i);} else {XxlJobLogger.log("第 {} 片, 忽略", i);}}return ReturnT.SUCCESS;}
}

XXL-JOB 相较于 ElasticJob,最大的特点就是功能比较丰富,可运维能力比较强,不但支持控制台动态创建任务,还有调度日志、运行报表等功能。(强力推荐) 

还有一些企业级别的组件,例如阿里云任务调度 SchedulerX。这个如果有需要就请自行了解了。

感谢!!! 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/214591.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

java面试题-描述下Object中常用的方法

远离八股文&#xff0c;面试大白话&#xff0c;通俗且易懂 看完后试着用自己的话复述出来。有问题请指出&#xff0c;有需要帮助理解的或者遇到的真实面试题不知道怎么总结的也请评论中写出来&#xff0c;大家一起解决。 java面试题汇总-目录-持续更新中 这个没办法&#xff0c…

31、卷积 - 参数 dilation 以及空洞卷积

在卷积算法中,还有一个不常见的参数叫做dilation(中文:膨胀)。 很多同学可能没听说过这个参数,下面看看这个参数有什么作用,用来控制什么的。 我们还是放这个经典的卷积运算图,图中是看不出 dilation 这个参数的存在的。 如果再换一张图呢,发现两图的区别了吗? 没错…

怎么去评估数据资产?一个典型的政务数据资产评估案例

据中国资产评估协会《数据资产评估指导意见》&#xff0c;数据资产评估主要是三个方法&#xff1a;市场法、成本法和收益法。之前小亿和大家分享了数据资产评估方法以及价值发挥的路径&#xff0c;今天结合一个案例来具体讲解一下怎么去评估数据资产。 这个案例是一个典型的一个…

tmux常见会话管理命令

tmux常见会话管理命令 新建会话 tmux new -s <session-name> 查看会话 会话内外都可以用tmux ls或者tmux list-session 分离会话 如果命令行可以输入命令&#xff0c;则可以选择输入命令tmux detach 如果命令行没法输入命令&#xff0c;可以按下commandb以后按d …

SAM+使用SAM应用数据集完成分割

什么是SAM&#xff1f; SAM(Segment Anything Model&#xff09;是由 Meta 的研究人员团队创建和训练的深度学习模型。在 Segment everything 研究论文中&#xff0c;SAM 被称为“基础模型”。 基础模型是在大量数据上训练的机器学习模型&#xff08;通常通过自监督或半监督学习…

CV计算机视觉每日开源代码Paper with code速览-2023.12.6

点击计算机视觉&#xff0c;关注更多CV干货 论文已打包&#xff0c;点击进入—>下载界面 点击加入—>CV计算机视觉交流群 1.【基础网络架构&#xff1a;Transformer】Rejuvenating image-GPT as Strong Visual Representation Learners 论文地址&#xff1a;https://a…

云原生Kubernetes系列 | Docker/Kubernetes的卷管理

云原生Kubernetes系列 | Docker/Kubernetes的卷管理 1. Docker卷管理2. Kubernetes卷管理2.1. 本地存储2.1.1. emptyDir2.1.2. hostPath2.2. 网络存储2.2.1. 使用NFS2.2.2. 使用ISCSI2.3. 持久化存储2.3.1. PV和PVC2.3.2. 访问模式2.3.3. 回收策略1. Docker卷管理

从零开始搭建企业管理系统(六):RBAC 权限管理设计

RBAC 权限管理设计 前言权限分类功能权限设计什么是 RBACRBAC 组成RBAC 模型分类基本模型RBAC0角色分层模型RBAC1角色限制模型RBAC2统一模型RBAC3 RBAC0 权限设计用户管理角色管理权限管理关联表 总结 前言 作为一个后台管理系统&#xff0c;权限管理是一个绕不开的话题&#…

视频剪辑:视频创意制作,背景图片融合视频制作画中画效果

随着社交媒体的兴起&#xff0c;视频制作不再仅仅是专业人士的专利。每个人都可以通过一些技巧&#xff0c;创作出独特而富有吸引力的视频内容。视频剪辑是一种非常重要的技术&#xff0c;它能让视频从平淡无奇变为生动有趣。背景图片融合视频制作画中画效果&#xff0c;也能增…

vm的centos本地配置yum

vm的centos本地配置yum 关于上篇文章vmware安装centos7总结 出现关于配置yum源wget找不到命令&#xff0c;但是没安装yum就没法下载wget&#xff0c;也就没法使用wget 所以我们本地配置yum源&#xff0c;不用wget那个命令了 &#x1f4d5;步骤&#xff1a; cd /etc/yum.repo…

springboot利用easyexcel在浏览器中下载excel

前言 项目中操作excel是一种很常用的功能&#xff0c;比如下载一份excel的报价单。这篇文章会介绍一款excel的处理工具以及导出遇到的三个常见异常(重要)。 之前遇到一个这样的需求&#xff1a;后台管理页面&#xff0c;点击下载按钮&#xff0c;下载一份excel格式的报价清单…

《人工智能导论》知识思维导图梳理【1~5章节】

文章目录 说明第一章 绪论人工只能概述 第二章 知识表示和知识图谱一阶谓词逻辑和知识表示法产生式表示和框架表示法 第三章 确定性推理方法推理的基本概念自然演绎推理归结演绎推理谓词公式化子句集鲁宾孙归结原理归结反演归结反演求解问题 第四章 不确定性推理方法似然推理可…

npm run build时提示vue/types/jsx.d.ts中的错误

解决方法一&#xff1a; 可能是因为vue版本过高引起的 我直接将package.json中vue以及vue-template-compiler的版本的前面^去掉&#xff0c;安装指定的版本 注意&#xff1a;vue和vue-template-compiler需要版本一致 参考链接&#xff1a;链接 解决方法二&#xff1a; 如果如…

线上问题得解决

问题&#xff1a; 最近碰到一个比较棘手但是比较低级的问题&#xff0c;一直没有找到原因&#xff0c;苦找了两天才发现问题。场景就是订单做了某一个操作之后&#xff08;比如拣货完成&#xff09;然后到下一步&#xff08;下道口&#xff09;。 但是线上几万笔订单 &#xf…

QT使用SQLite 超详细(增删改查、包括对大量数据快速存储和更新)

QTSQLite 在QT中使用sqlite数据库&#xff0c;有多种使用方法&#xff0c;在这里我只提供几种简单&#xff0c;代码简短的方法&#xff0c;包括一些特殊字符处理。在这里也给大家说明一下&#xff0c;如果你每次要存储的数据量很大&#xff0c;建议使用事务&#xff08;代码中…

canvas 有趣的弹簧效果

先上效果 两个小球之间有一根弹簧&#xff0c;这里有一条线表示&#xff0c;其中左球固定&#xff0c;在点击开始后&#xff0c;右球开始做自由落体 思路 先做受力分析 经过受力分析可以发现&#xff0c;整个系统一共有三个力在起作用&#xff0c;我们分别把他们求出来并合成…

控制台打印如来佛图像

代码 System.out.println(" _ooOoo_ \n"" o8888888o \n"" 88 \".\" 88 …

python——第十七天

方法重写(overwrite) 、方法覆盖(override )&#xff1a;在继承的基础上&#xff0c;子类继承了父类的方法&#xff0c;如果不能满足自己使用&#xff0c;我们就可以重写或覆盖该方法 函数重载(overload)&#xff1a; 在强数据类型的编程语言中(如Java、C、C等等): 函数名称…

转换 pytorch 格式模型为 caffe格式模型 pth2caffemodel

基于 GitHub xxradon/PytorchToCaffe 源码&#xff0c;修改 example\resnet_pytorch_2_caffe.py 如下 import os import sys sys.path.insert(0, .)import torch from torch.autograd import Variable from torchvision.models import resnet import pytorch_to_caffe"&q…

PDI/Kettle-9.4.0.0-343源码下载及编译

目录 &#x1f351;一、概要&#x1f34a;最新版本10.x&#xff08;2023-11-30&#xff09; &#x1f351;二、下载&#x1f351;三、编译&#x1f34a;3.1、导入开发工具&#x1f34a;3.2、开始编译&#x1f34a;3.3、编译报错&#x1f34a;3.4、报错原因&#xff1a;jdk版本低…