XXL-JOB 分布式任务调度平台

目录

背景

项目架构

核心流程1——执行器自动注册

核心流程2——调度任务

特性——分片广播


背景

为什么需要任务调度平台?

单机定时任务

        Java中传统的定时任务实现方案,比如JDK 1.3 提供的 Timer、JDK 1.5 提供的 ScheduledExecutorService、Spring 3.0 提供的Spring Task

分布式定时任务

        但如果一个系统为分布式部署,由多台主机组成,在某一时间只需要由一台主机运行定时任务,就需要一个分布式的调度框架来实现。

        开源任务调度框架 Quartz 实现了这个功能。

        但 Quartz 也存在一些问题:不支持集群、不支持统计、没有管理平台、没有失败报警、没有监控等等。

        因此,xxl-job 应运而生:xxl-job 是一个开源的轻量级分布式任务调度平台,其核心设计目标是开发迅速、学习简单、轻量级、易扩展、开箱即用,其中“XXL”是主要作者,大众点评许雪里名字的缩写。

        整体来说,xxl-job 就是 quartz 的一个增强版,其弥补了quartz不支持并行调度,不支持失败处理策略和动态分片的策略等诸多不足,同时其有管理界面,开箱即用,操作简易,上手快,与SpringBoot 有非常好的集成.

项目架构

          

 调度中心(服务端)

  • 管理调度信息,按照调度配置发出调度请求,自身不承担业务代码
  • 支持可视化界面,可以在调度中心对任务进行新增,更新,删除,会实时生效
  • 支持监控调度结果,查看执行日志,查看调度任务统计报表,任务失败告警等等。

执行器(客户端)

  • 执行器启动后需要注册到调度中心,接收调度中心的发出的执行请求,终止请求,日志请求等等。

核心流程1——执行器自动注册

        注册,即让调度中心保存 实现了某个执行器的所有主机ip,以便之后发送调度请求时使用。   

  1. 服务端(调度中心)先启动

  2. 客户端启动,配置如下信息

        

        客户端运行后,启动内置 netty 程序 ( xxl.job.executor.ip + xxl.job.executor.port),通过 http 请求服务端的 register 接口。

        请求地址:xxl.job.admin.address

        请求参数:xxl.job.executor.ip + xxl.job.executor.port、xxl.job.executor.appname 执行器名

调度中心接受到 http 请求后,存储客户端的 ip 列表到 db,xxl_job_group.   

         

此时再刷新页面,将看到执行器以自动注册。

同样,客户端退出时,通过 http 请求服务端的 registerRemove 接口:删除 db 中客户端的 ip。

核心流程2——调度任务

找到需要执行的主机 

后台管理页面中提供了配置主机调度的策略:

         ​​​​

 如随机策略的实现方式:

                

找到需要执行的

当调度中心也是集群分布时,为了避免同一批 job 被不同的主机同时筛选执行,需要加分布式锁控制。

🔐数据库锁

mysql 悲观锁:使用 select ... for update 语句 + 事务 实现

在进行事务操作时,通过“for update”语句,MySQL 会对查询结果集中每行数据都添加排他锁,其他线程对该记录的更新与删除操作都会阻塞

set autocommit = 0;   -- 关闭数据库的自动提交
begin;
select * from goods where id = 1 for update;     -- 加锁,其他线程的 select 请求将在此处被阻塞
update goods set stock = stock - 1 where id = 1; 
commit;    -- 释放锁

任务调度

特性——分片广播

📍 作业分片适用哪些场景?

  • 分片任务场景:10个执行器的集群来处理10w条数据,每台机器只需要处理1w条数据,耗时降低10倍;

  • 广播任务场景:广播执行器同时运行shell脚本、广播集群节点进行缓存更新等。

分片广播策略:将集群中的执行器标上序号:0,1,2,3…,每次调度会向集群中所有执行器发送调度请求,请求中携带分片参数。

两个参数:

  1. index ,当前主机在调度中心的注册序号

  2. total,此任务组一共注册的主机数

每个执行器收到调度请求根据分片参数自行决定是否执行任务。每个执行器从数据表取任务时可以让任务id 模上 分片总数,如果等于分片序号则执行此任务。

如执行器实例那么分片总数为2,序号为0、1,从任务1开始,如下:

  • 1 % 2 = 1 执行器2执行

  • 2 % 2 = 0 执行器1执行

  • 3 % 2 = 1 执行器2执行

  • 以此类推

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/66698.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

聊聊jasypt的IVGenerator

序 本文主要研究一下jasypt的IVGenerator IVGenerator org/jasypt/salt/IVGenerator.java /*** <p>* Common interface for all IV generators which can be applied in digest* or encryption operations.* </p>* <p>* <b>Every implementation o…

huggingface下载模型文件(基础入门版)

huggingface是一个网站&#xff0c;类似于github&#xff0c;上面拥有众多开源的模型、数据集等资料&#xff0c;人工智能爱好者可以很方便的上面获取需要的数据&#xff0c;也可以上传训练好的模型&#xff0c;制作的数据集等。本文只介绍下载模型的方法&#xff0c;适合新手入…

nodejs设置镜像

1、npm镜像地址配置 -- 查看 npm 安装目录 npm root -g-- 查看 npm 配置信息 npm config list-- 查询当前镜像配置 npm get registry-- 或者仅修改 npm 命令镜像 -- 设置为淘宝镜像 npm config set registry https://registry.npmmirror.com -- 修改为官方镜像 npm config set…

win | wireshark | 在win上跑lua脚本 解析数据包

前提说明&#xff1a;之前是在linux 系统上配置的&#xff0c;然后现在 在配置lua 脚本 &#xff0c;然后 分析指定协议 的 数据包 其实流程也比较简单&#xff0c;但 逻辑需要缕清来 首先要把你 预先准备的 xxx.lua 文件放到wireshark 的安装文件中&#xff0c;&#xff08;我…

deque容器

1 deque容器基本概念 功能&#xff1a; 双端数组&#xff0c;可以对头端进行插入删除操作 deque与vector区别&#xff1a; vector对于头部的插入删除效率低&#xff0c;数据量越大&#xff0c;效率越低deque相对而言&#xff0c;对头部的插入删除速度回比vector快vector访问…

js中如何使用可选函数参数

js是网络的核心技术之一。大多数网站都使用它&#xff0c;并且所有现代网络浏览器都支持它&#xff0c;而不需要插件。在本文中&#xff0c;我们将讨论不同的提示和技巧&#xff0c;它们将帮助您进行日常 JavaScript 开发。 在 JavaScript 编码中&#xff0c;您经常需要将函数…

python实现MQTT协议(发布者,订阅者,topic)

python实现MQTT协议 一、简介 1.1 概述 本文章针对物联网MQTT协议完成python实现 1.2 环境 Apache-apollo创建brokerPython实现发布者和订阅者 1.3 内容 MQTT协议架构说明 &#xff1a; 利用仿真服务体会 MQTT协议 针对MQTT协议进行测试 任务1&#xff1a;MQTT协议应…

理解React页面渲染原理,如何优化React性能?

React JSX转换成真实DOM过程 当使用React编写应用程序时&#xff0c;可以使用JSX语法来描述用户界面的结构。JSX是一种类似于HTML的语法&#xff0c;但实际上它是一种JavaScript的扩展&#xff0c;用于定义React元素。React元素描述了我们想要在界面上看到的内容和结构。 在运…

maven搭建spring项目

前提 安装jdk 安装maven 安装eclipse 创建maven项目 搭建spring项目 pom.xml <dependency><groupId>org.springframework</groupId><artifactId>spring-context</artifactId><version>5.0.4.RELEASE</version> </dependency&…

【java 入侵 C# 之路】1-入门

感谢 https://www.cnblogs.com/mww-NOTCOPY/p/12213373.html 百度百科 jvm对应clr java se runtime对应 .net framework&#xff0c; jdk对应 .net framework sdk&#xff0c; java对应C# .NET 是开发者平台&#xff0c;它包含开发环境、技术框架、社区论坛、服务支持等&…

学习pytorch8 土堆说卷积操作

土堆说卷积操作 官网debug torch版本只有nn 没有nn.functional代码执行结果 B站小土堆视频学习笔记 官网 https://pytorch.org/docs/stable/nn.html#convolution-layers 常用torch.nn, nn是对nn.functional的封装&#xff0c;使函数更易用。 卷积核从输入图像左上角&#xf…

Lambda表达式第二版

1、Lambda概述 Lambda表达式是JDK8开始后的一种新语法形式作用&#xff1a;简化匿名内部类的代码写法注意&#xff1a;Lambda表达式只能简化函数式 接口 的匿名内部类的写法形式 1.1、什么是函数式接口&#xff1f; 首先必须是接口、其次接口中有且仅有一个抽象方法的形式通常我…

Bito使用手册

第一步&#xff1a;输入网站 https://alpha.bito.co/bitoai/ 第二步&#xff1a;填写邮箱 第三步&#xff1a;登录邮箱&#xff0c;获取验证码 第四步&#xff1a;填写验证码 第五步&#xff1a;完成

【LeetCode-中等题】994. 腐烂的橘子

文章目录 题目方法一&#xff1a;bfs层序遍历 题目 该题值推荐用bfs&#xff0c;因为是一层一层的感染&#xff0c;而不是一条线走到底的那种&#xff0c;所以深度优先搜索不适合 方法一&#xff1a;bfs层序遍历 广度优先搜索&#xff0c;就是从起点出发&#xff0c;每次都尝…

我的Vim学习笔记(不定期更新)

2023年9月3日&#xff0c;周日上午 学到了啥就写啥&#xff0c;不定期更新 目录 字体 文件 标签页 分屏 调用系统命令 字体 设置字体大小 :set guifont字体:h字体大小 例如&#xff0c;:set guifontMonospace:h20 查询当前使用的字体和字体大小 :set guifont? 查看…

UG\NX CAM二次开发 查询工序所在的几何组TAG UF_OPER_ask_geom_group

文章作者:代工 来源网站:NX CAM二次开发专栏 简介: UG\NX CAM二次开发 查询工序所在的几何组TAG UF_OPER_ask_geom_group 效果: 代码: void MyClass::do_it() { int count=0;tag_t * objects;UF_UI_ONT_ask_selected_nodes(&count, &objects);for (in…

linux 下安装配置nexus

一、安装包获取方式 方式一 1、直接把下载好的安装包上传到服务器中 方式二 2、通过wget安装Nexus压缩包 ①、可以使用以下命令进行安装Nexus的最新版本 wget https://download.sonatype.com/nexus/3/latest-unix.tar.gz②、也可以点击官网复制想要下载的Nexus压缩包进行安装…

【Linux系列】离线安装openjdk17的rpm包

首发博客地址 首发博客地址[1] 系列文章地址[2] 视频地址[3] 准备 RPM 包 请从官网下载&#xff1a;https://www.oracle.com/java/technologies/downloads/#java17[4] 如需不限速下载&#xff0c;请关注【程序员朱永胜】并回复 1020 获取。 安装 yum localinstall jdk-17_linux…

C++智能指针之weak_ptr(保姆级教学)

目录 C智能指针之weak_ptr 概述 作用 本文涉及的所有程序 使用说明 weak_ptr的常规操作 lock(); use_count(); expired(); reset(); shared_ptr & weak_ptr 尺寸 智能指针结构框架 常见使用问题 shared_ptr多次引用同一数据&#xff0c;会导致两次释放同一内…

没有使用sniffer dongle在windows抓包蓝牙方法分享

网上很多文章都是介绍买一个sniffer dongle来抓蓝牙数据,嫌麻烦又费钱,目前找到一个好方法,不需要sniffer就可以抓蓝牙数据过程,现分享如下: (1)在我资源附件找到相关安装包或者查看如下链接 https://learn.microsoft.com/zh-cn/windows-hardware/drivers/bluetooth/testing-bt…