背景:
Pentaho Data Integration(kettle)作为用户规模最多的开源ETL工具,强大简洁的功能深受广大ETL从业者的欢迎。但kettle本身的调度监控功能却非常弱。Pentaho官方都建议采用crontab(Unix,linux平台)和计划任务(Windows平台)来完成调度功能。所以大家在实施kettle作业调度功能的时候,通常采用以下几种方式:使用spoon程序来启动Job,使用crontab或计划任务,自主开发java程序来调用kettle的类库
xxl-job介绍
xxl-job是一个分布式的任务调度平台,其核心设计目标是:学习简单、开发迅速、轻量级、易扩展,现在已经开放源代码并接入多家公司的线上产品线,开箱即用。xxl是xxl-job的开发者大众点评的许雪里名称的拼音开头
Linux部署xxl-job
- 准备 xxl-job 离线tar包
- xxl-job-2.3.0.tar.gz
- apache-maven-3.8.5-bin.tar.gz
- jdk-8u211-linux-x64.tar.gz
- 上传资源到linux服务器
- cd /usr/local
- mkdir xxl-job
- cd xxl-job
- rz
[root@Online local]# cd /usr/local/
[root@Online local]# mkdir xxl-job
[root@Online local]# cd xxl-job/
[root@Online xxl-job]# rz
3. 部署maven环境
- 解压apache-maven-3.8.5-bin.tar.gz
tar -xvzf apache-maven-3.8.5-bin.tar.gz
- 重命名apache-maven-3.8.5为maven
mv apache-maven-3.8.5 maven
- 部署jdk
- 解压jdk-8u211-linux-x64.tar.gz
tar -xvzf jdk-8u211-linux-x64.tar.gz -C /usr/local/xxl-job
- 重命名jdk1.8.0_211为java
- 移动maven到java目录下
mv maven java/
- 配置环境变量
- 配置jdk,maven
vim /etc/profile
JAVA_HOME=/usr/local/xxl-job/java
MAVEN_HOME=/usr/local/xxl-job/java/maven
PATH= P A T H : PATH: PATH:JAVA_HOME/bin:$MAVEN_HOME/bin
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTCONTROL JAVA_HOME MAVEN_HOME
- 刷新配置
source /etc/profile
- 验证是否部署成功
java -version
mvn -v
- 创建xxl-job数据库
- 解压xxl-job-2.3.0.tar.gz
tar -xzf xxl-job-2.3.0.tar.gz
8. 更改配置文件
- 修改数据库信息,其他的端口用户密码等这里用默认的
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/src/main/resources
vim application.properties
- 更改日志路径
vim logback.xml
/data/applogs/xxl-job/xxl-job-admin.log -->/usr/local/xxl-job/xxl-job-admin.log
- 更改执行器文件
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/src/main/resources
vim application.properties
- 更改logback.xml文件
/data/applogs/xxl-job/xxl-job-executor-sample-springboot.log -->/usr/local/xxl-job/xxl-job-executor-sample-springboot.log
- mvn编译
cd /usr/local/xxl-job/xxl-job-2.3.0
mvn package
10. 启动xxl-job-admin-2.3.0.jar
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-admin/target
nohup java -jar xxl-job-admin-2.3.0.jar > xxl-job-admin.log 2>&1 &
- 启动xxl-job-executor-sample-springboot-2.3.0.jar
cd /usr/local/xxl-job/xxl-job-2.3.0/xxl-job-executor-samples/xxl-job-executor-sample-springboot/target
nohup java -jar xxl-job-executor-sample-springboot-2.3.0.jar > xxl-job-excutor.log 2>&1 &
- 确认服务已启动
- 访问http://47.100.172.180:8080/xxl-job-admin/ 这里用公网IP
- 编辑执行器
- 新增调度任务
运行shell脚本命令
手动调度执行一次
查看调度是否成功
查看整体运行报表
如果你正在寻找一个易于使用的任务调度工具,xxl-job值得一试。立即使用xxl-job开始你的数据自动化之旅吧!
资源包地址
如内容有错欢迎大家指正!!!
读后有疑问请加QQ群!作者个人qq:420773639