海豚调度系列之:任务类型——Apache SeaTunnel

海豚调度系列之:任务类型——Apache SeaTunnel

  • 一、Apache SeaTunnel
  • 二、创建任务
  • 三、任务参数
  • 四、任务样例
    • 1.在 DolphinScheduler 中配置 SeaTunnel 环境
    • 2.配置 SeaTunnel 任务节点

一、Apache SeaTunnel

SeaTunnel 任务类型,用于创建并执行 SeaTunnel 类型任务。worker 执行该任务的时候,会通过 start-seatunnel-spark.sh 、 start-seatunnel-flink.sh 和 seatunnel.sh 命令解析 config 文件。

二、创建任务

  • 点击项目管理 -> 项目名称 -> 工作流定义,点击“创建工作流”按钮,进入 DAG 编辑页面;
  • 拖动工具栏的 任务节点到画板中。

三、任务参数

  • 启动脚本:选择你想要运行任务的启动脚本,包括 seatunnel.sh, start-seatunnel-flink-13-connector-v2.sh, start-seatunnel-flink-15-connector-v2.sh, start-seatunnel-flink-connector-v2.sh, start-seatunnel-flink.sh, start-seatunnel-spark-2-connector-v2.sh, start-seatunnel-spark-3-connector-v2.sh, start-seatunnel-spark-connector-v2.sh, start-seatunnel-spark.sh
  • FLINK
  • 运行模型:支持 run 和 run-application 两种模式
  • 选项参数:用于添加 Flink 引擎本身参数,例如 -m yarn-cluster -ynm seatunnel
  • SPARK
  • 部署方式:指定部署模式,cluster client
  • Master:指定 Master 模型,yarn local spark mesos,其中 spark 和 mesos 需要指定 Master 服务地址,例如:127.0.0.1:7077
  • SEATUNNEL_ENGINE
  • 部署方式:指定部署模式,cluster local
  • 自定义配置:支持自定义配置或从资源中心选择配置文件
  • 脚本:在任务节点那自定义配置信息,包括四部分:env source transform sink

四、任务样例

该样例演示为使用 Flink 引擎从 Fake 源读取数据打印到控制台。

1.在 DolphinScheduler 中配置 SeaTunnel 环境

若生产环境中要是使用到 SeaTunnel 任务类型,则需要先配置好所需的环境,配置文件如下:/dolphinscheduler/conf/env/dolphinscheduler_env.sh。

在这里插入图片描述

2.配置 SeaTunnel 任务节点

根据上述参数说明,配置所需的内容即可。

在这里插入图片描述

Config 样例

env {execution.parallelism = 1
}source {FakeSource {result_table_name = "fake"field_name = "name,age"}
}transform {sql {sql = "select name,age from fake"}
}sink {ConsoleSink {}
}

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/743060.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

查看docker所有映射到宿主机的端口

要查看 Docker 中所有映射到宿主机的端口,您可以使用以下命令: docker ps -a --format "table {{.Names}}\t{{.Ports}}"该命令将显示所有正在运行的容器的名称和它们所映射的端口信息。 如果您只想查看正在运行的容器的端口映射信息&#xf…

【LeetCode热题100】240. 搜索二维矩阵 II

一.题目要求 编写一个高效的算法来搜索 m x n 矩阵 matrix 中的一个目标值 target 。该矩阵具有以下特性: 每行的元素从左到右升序排列。 ‘每列的元素从上到下升序排列。 二.题目难度 中等 三.输入样例 示例 1: 输入:matrix [[1,4,7…

Web-based DBMS Technology 线上数据库

Example Online Databases • https://www.planespotters.net/ • https://www.comics.org/ • https://www.quandl.com/ • https://www.enigma.com/ • https://www.sportradar.com/ Basics of WWW • The Web is a very large client-server system — Connected through r…

「jQuery系列」jQuery noConflict() 方法、运用JSONP

文章目录 一、noConflict() 方法使用方法:注意事项: 二、JSONP简介1. 跨域数据请求2. API 数据调用3. 简单的数据共享使用注意事项:示例: 三、jQuery 使用 JSONP四、热门文章 一、noConflict() 方法 jQuery.noConflict() 方法是 …

AI日报:一个新的“科技超级周期”正在出现

文章目录 技术周期预测可连接设备 技术周期 未来学家艾米韦伯表示,人工智能和其他两种通用技术将迎来一个新的“技术超级周期”,预计将在经济中创造“实质性和持续性”的变化。 她在SXSW 2024上表示,过去的科技超级周期是由通用技术引发的&…

python 猜数字 random

#猜数字 如果数字太大 则输出 Too large! 如果数字太小 则输出 Too small! 如果猜中则输出 Just right! import random numberrandom.randint(1,100)while True:numint(input(输入1-100之间的数))if num>number:print(你猜的数字太大了 请重新输入)elif num<number:prin…

HTTP压测工具wrk安装与使用

一、前言 wrk是一个基于C语言开发的用于HTTP性能测试的开源工具&#xff0c;它可以模拟多个并发连接&#xff0c;测量服务器的响应时间和吞吐量&#xff0c;并且会给出较为全面的测试结果 1、本文主要内容 在Windows、macOS、Linux&#xff08;CentOS & Ubuntu等&#xff…

任务弹窗更新为任务对话框

1.设计初心 在玩家接取任务/交付任务时&#xff0c;界面弹出的UI &#xff0c;需要与玩家互动&#xff0c;点击“接取”“完成”。等等字样【改动前】频繁的手动点击会中断玩家跑图的流畅性&#xff0c;也降低了任务寻路系统的实际体验。于是现在变成类似FakeObj 对话框的模式…

数字逻辑-时序逻辑电路一

一、实验目的 &#xff08;1&#xff09;熟悉触发器的逻辑功能及特性。 &#xff08;2&#xff09;掌握集成D和JK触发器的应用。 &#xff08;3&#xff09;掌握时序逻辑电路的分析和设计方法。 二、实验仪器及材料 三、实验内容及步骤 1、用D触发器&#xff08;74LS74&am…

idea Springboot 组卷管理系统LayUI框架开发mysql数据库web结构java编程计算机网页

一、源码特点 springboot 组卷管理系统是一套完善的完整信息系统&#xff0c;结合mvc框架和LayUI框架完成本系统springboot spring mybatis &#xff0c;对理解JSP java编程开发语言有帮助系统采用springboot框架&#xff08;MVC模式开发&#xff09;&#xff0c;系统具有完整…

小程序开发——获取设备信息 API(一)

ty.device.getDeviceInfo 获取设备的设备信息 需引入DeviceKit&#xff0c;且在>1.2.6版本才可使用 请求参数 Object object 属性类型默认值必填说明deviceIdstring是deviceId 设备 id 支持跨面板获取其他的设备信息&#xff0c;当前面板可以传当前设备的 id 来进行获取d…

Grad_CAM图

我们要将网络学习到的特征进行可视化。 import os import cv2 import numpy as np import torch from PIL import Image import matplotlib.pyplot as plt from torchvision import models from torchvision import transforms from utils import GradCAM, show_cam_on_image,…

ES6(三):Iterator、Generator、类的用法、类的继承

一、迭代器Iterator 迭代器是访问数据的一个接口&#xff0c;是用于遍历数据结构的一个指针&#xff0c;迭代器就是遍历器 const items[one,two,three];//创建新的迭代器const ititems[Symbol.iterator]();console.log(it.next()); done&#xff1a;返回false表示遍历继续&a…

Python 查找PDF中的指定文本并高亮显示

在处理大量PDF文档时&#xff0c;有时我们需要快速找到特定的文本信息。本文将提供以下三个Python示例来帮助你在PDF文件中快速查找并高亮指定的文本。 查找并高亮PDF中所有的指定文本查找并高亮PDF某个区域内的指定文本使用正则表达式搜索指定文本并高亮 本文将用到国产第三方…

linux安全--CentOS7安装Tomcat,远程管理ManagerApp

目录 1.Tomcat安装 2.Tomcat远程管理 1.Tomcat安装 下载安装包并解压 tar xf apache-tomcat-7.0.54.tar.gz -C /usr/local/apache-tomcat_7.0.54/tomcat启停 启动 ./startup.sh 停止 ./shutdown.sh 2.Tomcat远程管理 找到tomcat文件夹中webapps/manager/META-INF/contex…

人工智能(AI)-机器学习-深度学习-大语言模型LLM(chatgtp)

【一文读懂“大语言模型” - CSDN App】 国产大语言模型是指由中国公司或机构开发的大规模预训练语言模型。目前&#xff0c;国产大语言模型主要有以下几种&#xff1a; 中文GPT&#xff08;GPT-3&#xff09;&#xff1a;由华为公司开发&#xff0c;是一个基于Transformer架…

Linux系统---Haproxy高性能负载均衡软件

目录 一、Haproxy介绍 1.Haproxy定义 2.Haproxy主要特性 3.Haproxy调度算法原理 3.1RR&#xff08;Round Robin&#xff09; 3.2LC&#xff08;Least Connections&#xff09; 3.3SH&#xff08;Source Hashing&#xff09; 二、安装Haproxy 1.yum安装 2.第三方rpm包安…

Android中compile,implementation和api的区别,以及gradle-wrapper的详解

前些天发现了一个蛮有意思的人工智能学习网站,8个字形容一下"通俗易懂&#xff0c;风趣幽默"&#xff0c;感觉非常有意思,忍不住分享一下给大家。 &#x1f449;点击跳转到教程 前言&#xff1a; compile,implementation和api的区别和其作用 compile和api会进行传递…

【深度学习目标检测】二十三、基于深度学习的行人检测计数系统-含数据集、GUI和源码(python,yolov8)

行人检测计数系统是一种重要的智能交通监控系统&#xff0c;它能够通过图像处理技术对行人进行实时检测、跟踪和计数&#xff0c;为城市交通规划、人流控制和安全管理提供重要数据支持。本系统基于先进的YOLOv8目标检测算法和PyQt5图形界面框架开发&#xff0c;具有高效、准确、…

叶子分享站PHP源码

叶子网盘分享站PHP网站源码&#xff0c;创建无限级文件夹&#xff0c;上传文件&#xff0c;可进行删除&#xff0c;下载等能很好的兼容服务器。方便管理者操作&#xff0c;查看更多的下载资源以及文章&#xff0c;新增分享功能&#xff0c;异步上传文件/资源等 PHP网盘源码优势…