kettle从入门到精通 第六十一课 ETL之kettle 任务调度器,轻松使用xxl-job调用kettle中的job和trans

想真正学习或者提升自己的ETL领域知识的朋友欢迎进群,一起学习,共同进步。若二维码失效,公众号后台加我微信入群,备注kettle。

图片

1、大家都知道kettle设计的job流程文件有个缺点:只能设置简单的定时任务,无法设置复杂的如支持cron表达式的job。 

今天给大家分享一个使用xxl-job调度carte的流程文件的示例。整个调度流程图如下:

 1)xxl-job-admin,页面可视化配置任务。

2)xxl-job-executor,job执行器,通过调用carte服务器api进行触发kettle job或者转换。

3)job执行器访问的carte服务可以是单体,也可以是carte集群中的master服务。

2、通过xxl-job-admin 进行配置job或者转换,主要涉及执行器和一个任务参数,今天重点讲解下任务参数,如下图所示:

{"carteIp": "127.0.0.1",//carte服务器地址"cartePort": "9088",//carte服务器端口"carteUsername": "admin",//carte服务器用户名"cartePassword": "admin",//carte服务器密码"rep": "local",//kettle文件仓库"name": "转换文件名称",//job或者转换的文件名称"level": "Basic",//日志执行级别"sync":false//调用carte api接口 是否等待返回值,true为同步调用,fasle为异步调用
}

 3、xxl-job-executor 配置好,服务启动之后在xxl-job-admin里面执行器管理页面可以看到执行器信息,如下图所示:

 4、根据上面参数介绍可以配置多个转换或者job的任务,如下图所示:

注:xxl-job 调度源码关注公众号后台回复xxl-job调度kettle 或者沟通交流讨论群内获取。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/13168.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

DPDK:用rte_wmb()来保序,对ARM和IA而言,RTE_WMB()的实现有何不同

rte_wmb()函数在DPDK中用于实现写入屏障(Write Memory Barrier),它的作用是确保在CPU执行写操作之前,所有先前的写操作已经被完全刷新到内存中。这个函数在IA和ARM处理器上的实现有一些不同。 对于Intel Architecture (IA)处理器而…

PHP黑魔法之既是0又是1/switch/$a==0可用.绕过(非数字都可绕过)/PHP://伪协议绕过

1、既是0又是1的情况 $a==1 & $test[$a]=t 时 知识点1)php在处理数字时,如果数字的位数超过 16 位是可以弱等于1的,也就是 var_dump( 9999999999999999999 == 1 );//true 因为当数字位数超过 16 位时,是将该数字转换成了数值为 1 的字符串进行处理 知识点2)在科学…

LabVIEW和usrp连接实现ofdm通信系统 如何实现

1. 硬件准备 USRP设备:选择合适的USRP硬件(如USRP B210或N210),并确保其与计算机连接(通常通过USB或以太网)。天线:根据频段需求选择合适的天线。 2. 软件安装 LabVIEW:安装LabVI…

【Golang】 Golang 的 GORM 库中的 Rows 函数

文章目录 前言一、Rows 函数解释二、代码实现三、总结 前言 在使用 Go 语言进行数据库操作时,GORM(Go Object-Relational Mapping)库是一个常用的工具。它提供了一种简洁和强大的方式来处理数据库操作。本文将介绍 GORM 库中的 Rows 函数&am…

数据库-索引(高级篇)

文章目录 索引概念?索引演示?索引的优劣?为什么使用索引就快?本篇小结 更多相关内容可查看 索引概念? 索引(index)是帮助MySQL高效获取数据的数据结构(有序)。在数据之外,数据库系统…

生成完美口型同步的 AI 数字人视频

目录 摘要 关键词 1 前言 1.1 研究背景 1.2 研究意义 2 技术框架 2.1 深度学习框架 2.2 语音识别 2.3 面部动作捕捉和口型同步 2.4 综合项目 3 实现过程 3.1 环境搭建 3.2 代码开发 3.3 整合代码 3.4 部署 3.5 更多细节 4 测试过程 4.1 数据准备 4.2 面部检测…

语法分析-文法

如果对于一部文法中,存在至少一个句子有两个或者两个以上的语法树则该文法是二义性的。 我们可以以上面的例子进行解释,对于第棵个语法树,我们可以看到是先进行了加法运算再进行的乘法运算,因为需要先把EE作为整体运算完后再成为E…

上海亚商投顾:沪指低开低走 两市成交额跌破8000亿

上海亚商投顾前言:无惧大盘涨跌,解密龙虎榜资金,跟踪一线游资和机构资金动向,识别短期热点和强势个股。 一.市场情绪 市场全天震荡走低,三大股指尾盘均跌近1%。地产股逆势走强,光大嘉宝、天地源、云南城投…

幻兽帕鲁Palworld服务器手动+docker部署方法+备份迁移

目录 帕鲁部署官方文档帕鲁手动安装法手动安装steamcmd通过steamcmd安装帕鲁后端 docker容器一键部署幻兽帕鲁绿联云NAS机器部署幻兽帕鲁客户端连接附录1:PalServer.sh的启动项附录2:配置文件游戏存档保存和迁移 关于阿里云计算巢 帕鲁部署官方文档 htt…

学习MySQL(五):窗口函数

窗口函数介绍 窗口函数的引入是为了解决想要既显示聚集前的数据,又要显示聚集后的数据;窗口数对一组值进行操作,不需要使用GROUP BY子句对数据进行分组,能够在同一行中同时返回基础行的列和聚合列。 强调:使用MySQL …

​学者观察 | 从区块链应用创新看长安链发展——CCF区块链专委会荣誉主任斯雪明

导语 2024年1月27日,斯雪明教授在长安链发布三周年庆暨生态年会上发表演讲,认为在区块链发展过程中,不仅需要技术创新,同时需要有价值、有特色、有示范意义的应用创新。斯雪明教授介绍了国内区块链技术与应用发展的现状、趋势与挑…

【数据结构】排序(直接插入排序,希尔排序)

目录 一、排序的概念 二、常见的排序算法 三、插入排序 1.直接插入排序 1.直接插入排序实现 2.直接插入排序特性及复杂度 2.希尔排序 1.排序思路 2.希尔排序实现 3.希尔排序的特性及复杂度 一、排序的概念 排序:所谓排序,就是使一串记录&#x…

python手写数字识别(PaddlePaddle框架、MNIST数据集)

python手写数字识别(PaddlePaddle框架、MNIST数据集) import paddle import paddle.nn.functional as F from paddle.vision.transforms import Compose, Normalizetransform Compose([Normalize(mean[127.5],std[127.5],data_formatCHW)]) # 使用tran…

[Java基础揉碎]多线程基础

多线程基础 什么是程序, 进程 什么是线程 什么是单线程,多线程 并发, 并行的概念 单核cpu来回切换, 造成貌似同时执行多个任务, 就是并发; 在我们的电脑中可能同时存在并发和并行; 怎么查看自己电脑的cpu有几核 1.资源监视器查看 2.此电脑图标右键管理- 设备管理器- 处理器…

k8s 二进制安装 详细安装步骤

目录 一 实验环境 二 操作系统初始化配置(所有机器) 1,关闭防火墙 2,关闭selinux 3,关闭swap 4, 根据规划设置主机名 5, 做域名映射 6,调整内核参数 7, 时间同步 三 部署 dock…

uniapp vu3 scroll-view 滚动到指定位置

设置 scroll-view <scroll-view :scroll-y"true" :scroll-with-animation"true" :scroll-top"scrollTop" :style"height:${height}px"><view v-for"item in 10" :id"box${item}">box {{item}}</v…

原生IP介绍

原生IP&#xff0c;顾名思义&#xff0c;即初始真实IP地址&#xff0c;是指从互联网服务提供商获得的IP地址&#xff0c;IP地址在互联网与用户之间直接建立联系&#xff0c;不需要经过代理服务器代理转发。 原生IP具备以下特点。 1.直接性 原生IP可以直接连接互联网&#xff…

337_C++_内存对齐操作,内存分配、或其他需要数据对齐的场合中是很常见的操作

size_t ImagesCache::_alignSize(size_t srcSz, size_t alnSz) {if (0 == alnSz) {printf("[ImagesCache] Incorrect input parameters\n");return srcSz;

代码随想录算法训练营第五十四天

第二题我看了很久还是没太明白&#xff0c;我发现理解动规有一点点吃力了啊&#xff0c;努努力。 392.判断子序列 总感觉在不等于的时候&#xff0c;应该是dp[i][j] dp[i-1][j-2]; 这里其实按他那个图会更好理解一点。 class Solution { public:bool isSubsequence(string s, …

Gone框架介绍19 -如何进行单元测试?

gone是可以高效开发Web服务的Golang依赖注入框架 github地址&#xff1a;https://github.com/gone-io/gone 文档地址&#xff1a;https://goner.fun/zh/ 请帮忙在github上点个 ⭐️吧&#xff0c;这对我很重要 &#xff1b;万分感谢&#xff01;&#xff01; 文章目录 单元测试…