[Java 探索者之路] 一个大厂都在用的分布式任务调度平台

分布式任务调度平台是一种能够在分布式计算环境中调度和管理任务的系统,在此环境下,各个任务可以在独立的节点上运行。它有助于提升资源利用率,增强系统扩展性以及提高系统对错误的容忍度。


文章目录

    • 1. 分布式任务调度平台
      • 1. 基本概念
        • 1.1 任务调度
        • 1.2 分布式计算
      • 2. 分布式任务调度平台的功能
      • 3. 分布式任务调度平台的应用场景
      • 4. 简而言之
    • 2. 什么是 xxl-job
      • 2.1 XXL-JOB的架构
    • 3. xxl-job 的简单使用
      • 1. 源码拉取
      • 2. 启动 db
      • 3. 初始化调度中心数据库
      • 4. 修改调度中心的数据库配置以及 logback 的日志地址
      • 5. 成功启动调度中心
      • 6. 打开调度中心的 web 页面
      • 7. 启动示例执行器代码
      • 8. 随便找一个任务注册
      • 9. 查看日志信息,发现执行结果失败了
      • 10. 回去看一眼源码,发现是


1. 分布式任务调度平台

1. 基本概念

1.1 任务调度

任务调度,是指在多任务的环境下,合理地分配系统资源,调度各个任务在什么时候,由哪一个处理器处理,以达到满足用户需求、提高系统资源利用率、提高系统吞吐量的目的。

1.2 分布式计算

分布式计算是指多个计算机系统之间通过网络连接,共享系统资源来实现高性能计算的技术。这种计算技术可以应对大数据量、高并发量、高I/O的场景。

2. 分布式任务调度平台的功能

分布式任务调度平台主要用于管理和调度任务,其主要功能包括:

  • 任务调度:按照预设的规则(如:时间点、时间间隔等)触发任务的执行。
  • 负载均衡:根据系统的负载情况,自动调整任务在各节点间的分配,均衡各节点的负载。
  • 容错处理:当某个节点出现故障时,能自动将该节点上的任务转移到其他节点上执行。
  • 任务监控:能够实时监控任务的运行状况,如运行时间、运行结果等。

3. 分布式任务调度平台的应用场景

以下是一些常见的应用场景:

  • 定时任务:在特定时间执行某项任务,例如每天晚上12点备份数据库。
  • 周期性任务:周期性地执行某项任务,例如每隔一小时统计网站的访问量。
  • 流量控制:在系统流量大量增长时,分布式任务调度平台可以按照预定的规则,调度更多的资源来处理任务,以应对流量峰值。

总的来说,分布式任务调度平台是大型分布式系统不可或缺的一部分,是分布式环境中任务管理的关键组件。

4. 简而言之

分布式调度平台,就是有个老大决定一个定时任务在多台机器中的哪一台机器执行

2. 什么是 xxl-job

XXL-JOB是一个全功能、高扩展性的开源分布式任务调度框架,也是一个优秀的定时任务调度平台,给开发者带来便捷的定时任务管理和控制能力。它的核心目标是开发迅速、学习简单、轻量级、易扩展。

2.1 XXL-JOB的架构

XXL-JOB的系统架构设计清晰明了,可以粗略的分为三层:

  • 调度中心:调度中心是XXL-JOB的核心,负责触发调度操作,同时提供操作界面。
  • 执行器:执行器是任务运行的载体,负责接收调度中心的触发信号并执行相应的任务。
  • 调度数据库:用于记录调度信息,如任务信息、调度日志等。

值得一提的是,XXL-JOB支持自定义任务处理逻辑,得益于这一点,它能用于各种场景,例如常见的数据同步、数据清洗等。
image.png

3. xxl-job 的简单使用

进入(xxl-job 的官网) ,如果想了解下的可以了解下,不想了解的就直接开始吧。

因为是开源项目,所以我接下来也是直接拉取的源码进行实验。如果是线上环境建议使用容器进行集群部署。

1. 源码拉取

  1. 打开 github 官网,选择 realease 版本,因为 master 可能存在不稳定代码,但是实验嘛,其实也无所谓。https://github.com/xuxueli/xxl-job/
  2. 获取到下载链接进行下载

image.png

  1. 拉取到的项目结构大概是以下这样,其中 docker目录是我 docker-compose的数据库相关文件,方便测试。

image.png
以下是我的 docker-compose相关文件信息
image.png

2. 启动 db

进入到指定目录 docker 目录, 一键启动目录
image.png

3. 初始化调度中心数据库

复制源码文件中的 db 文件到数据库中执行初始化。
image.png
我这里就直接到 http://127.0.0.1:3307phpmyadmin 进行数据库操作了。
执行前后
image.png

4. 修改调度中心的数据库配置以及 logback 的日志地址

image.png
image.png

5. 成功启动调度中心

image.png

6. 打开调度中心的 web 页面

浏览器打开 http://127.0.0.1:8080/xxl-job-admin/, 输入初始账号 admin 密码 123456
image.png
登录成功
image.png

7. 启动示例执行器代码

image.png
可以看到启动了两个服务分别在 9998的无框架服务以及 9999spring 项目。回到调度中心的 web 页面,你会发现两个执行器已经自动注册到了调度中心。
image.png
在数据库中的表现为
image.png
此时,假如我们去修改其中一个调度器的名称,重新启动会怎样呢?
image.png
可以看到只剩 9999 的服务
image.png
这时候我们需要手动把新的执行器添加上。
image.png
刷新可以看到新的执行器自动注册
image.png

8. 随便找一个任务注册

image.png
image.png
启动任务
image.png

9. 查看日志信息,发现执行结果失败了

image.png

10. 回去看一眼源码,发现是

image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/715535.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Java基于SpringBoot的旅游网站的设计与实现论文

目 录 摘 要 2 Abstract 3 1.1 课题开发的背景 4 1.2 课题研究的意义 4 1.3 研究内容 5 第二章 系统开发关键技术 6 2.1 JSP技术介绍 6 2.2 JAVA简介 6 2.3 MyEclipse开发环境 7 2.4 Tomcat服务器 7 2.5 Spring Boot框架 7 2.6 MySQL数据库 8 第三章 系统分析 9 3.1 系统可行性…

实践航拍小目标检测,基于YOLOv8全系列【n/s/m/l/x】参数模型开发构建无人机航拍场景下的小目标检测识别分析系统

关于无人机相关的场景在我们之前的博文也有一些比较早期的实践,感兴趣的话可以自行移步阅读即可: 《deepLabV3Plus实现无人机航拍目标分割识别系统》 《基于目标检测的无人机航拍场景下小目标检测实践》 《助力环保河道水质监测,基于yolov…

使用 llama.cpp 在本地部署 AI 大模型的一次尝试

对于刚刚落下帷幕的2023年,人们曾经给予其高度评价——AIGC元年。随着 ChatGPT 的火爆出圈,大语言模型、AI 生成内容、多模态、提示词、量化…等等名词开始相继频频出现在人们的视野当中,而在这场足以引发第四次工业革命的技术浪潮里,人们对于人工智能的态度,正从一开始的…

JVM(5)

垃圾回收相关 垃圾收集器 警告:纯八股文! 如果说上面我们讲的收集算法是内存回收的方法论,那么垃圾收集器就是内存回收的具体体现. 垃圾收集器的作用:垃圾收集器是为了保证程序能够正常,持久运行的一种技术,它是将程序中不用的死亡对象也就是垃圾对象进行清除,从而保证新的…

第四十五天| 322. 零钱兑换、279.完全平方数

Leetcode 322. 零钱兑换 题目链接:322 零钱兑换 题干:给你一个整数数组 coins ,表示不同面额的硬币;以及一个整数 amount ,表示总金额。计算并返回可以凑成总金额所需的 最少的硬币个数 。如果没有任何一种硬币组合能…

AI大语言模型【成像光谱遥感技术】ChatGPT应用指南

遥感技术主要通过卫星和飞机从远处观察和测量我们的环境,是理解和监测地球物理、化学和生物系统的基石。ChatGPT是由OpenAI开发的最先进的语言模型,在理解和生成人类语言方面表现出了非凡的能力。本文重点介绍ChatGPT在遥感中的应用,人工智能…

vscode + git

写在前面: origin分支: 当我们在使用git clone的时候,git会自动地将这个远程的repo命名为origin,拉取它所有的数据之后,创建一个指向它master的指针,命名为origin/master,之后会在本地创建一个…

#WEB前端(HTML属性)

1.实验:a,img 2.IDE:VSCODE 3.记录: a: href插入超链接 默认情况下在本窗口打开链接, target可以设置打开的窗口,parent在父窗口打开,blank新开串口打开,top在顶层串口打开,self为默认在本窗口打开 img: 插入图片 可以插…

解析/区分MOS管的三个引脚G、S、D(NMOS管和PMOS管)

MOS管的三个引脚分别是Gate(栅极)、Source(源极)和Drain(漏极)。以下是详细介绍: Gate(栅极)。这是控制MOS管开关的关键引脚,用于控制电流的流通。Source&…

智能分析网关V4安全帽检测/反光衣检测/通用工服检测算法及应用

TSINGSEE青犀视频智能分析网关V4内置了近40种AI算法模型,支持对接入的视频图像进行人、车、物、行为等实时检测分析,上报识别结果,并能进行语音告警播放。硬件管理平台支持RTSP、GB28181协议、以及厂家私有协议接入,可兼容市面上常…

【DDD】学习笔记-实体和值对象:从领域模型的基础单元看系统设计

今天我们来学习 DDD 战术设计中的两个重要概念:实体和值对象。 这两个概念都是领域模型中的领域对象。它们在领域模型中起什么作用,战术设计时如何将它们映射到代码和数据模型中去?就是我们这一讲重点要关注的问题。 另外,在战略…

springboot238光影视频

光影视频平台 摘 要 使用旧方法对光影视频平台的信息进行系统化管理已经不再让人们信赖了,把现在的网络信息技术运用在光影视频平台的管理上面可以解决许多信息管理上面的难题,比如处理数据时间很长,数据存在错误不能及时纠正等问题。这次开…

wy的leetcode刷题记录_Day80

wy的leetcode刷题记录_Day80 声明 本文章的所有题目信息都来源于leetcode 如有侵权请联系我删掉! 时间:2024-3-2 前言 目录 wy的leetcode刷题记录_Day80声明前言2368. 受限条件下可到达节点的数目题目介绍思路代码收获 92. 反转链表 II题目介绍思路代码收获 2368…

Redis持久化+Redis内存管理和优化+Redis三大缓存问题

Redis持久化Redis内存管理和优化Redis三大缓存问题一、Redis高可用二、Redis持久化1、RDB持久化1.1 触发条件(1) 手动触发(2) 自动触发(3) 其他自动触发机制 1.2 执行流程1.3 启动时加载 2、AOF持久化2.1 开启AOF2.2 执行流程(1) 命令追加(append)(2) 文件写入(write)和文件同步…

langchain学习笔记(十)

Bind runtime args | 🦜️🔗 Langchain 1、有时,我们希望使用常量参数调用Runnable序列中的Runnable,这些参数不是序列中前一个Runnable的输出的一部分,也不是用户的输入,这时可以用Runnable.bind() from …

关于synchronized介绍

synchronized的特性 1. 乐观锁/悲观锁自适应,开始时是乐观锁,如果锁冲突频繁,就转换为悲观锁 2.轻量级/重量级锁自适应 开始是轻量级锁实现,如果锁被持有的时间较长,就转换成重量级锁 3.自旋/挂起等待锁自适应 4.不是读写锁 5.非公平锁 6,可重入锁 synchronized的使用 1&#…

2024家用洗地机品牌推荐!洗地机选什么牌子好?建议选择这几款

如今生活节奏加快,工作繁忙的上班族很少有时间做家务。即使抽出时间打扫,也难以保持家庭长久干净整洁。许多人听说了智能化家居神器——洗地机,想要入手一台。但在市场上各种洗地机层出不穷,很多人不知如何选择。下面是我给大家整…

降低85%的gc发生率:ES的GC调优实践!

#大数据/ES #经验 #性能 ES的服务日志出现一些gc overhead现象,经过调优对比,gc发生率显著下降了85%,分享参数如下: ES的G1GC参数(多实例) -XX:UseG1GC -XX:MaxGCPauseMillis200 -XX:InitiatingHeapOccu…

Redis缓存双写一致性之更新策略

文章目录 1. 经典面试题2. 双写一致性3. 更新策略4. canal简介5. Redis与Mysql数据双写一致性工程落地案例 1. 经典面试题 上面的业务逻辑你用java代码如何实现?你只要用缓存,就可能会涉及到redis缓存与数据库双存储双写,你只要是双写&#x…

嵌入式学习day29 指针复习

1.指针: 1.提供一种间接访问数据的方法 2.空间没有名字,只有一个地址编号 2.指针: 1.地址:区分不同内存空间的编号 2.指针:指针就是地址,地址就是指针 3.指针变量:存放指针的变量称为指针变量,简称为指针 3.指针的定义: int *p NULL; …