5分钟教你使用idea调试SeaTunnel自定义插件

        在用Apache SeaTunnel研发SM2加密组件过程中,发现社区关于本地调试SeaTunnel文章过于简单,很多情况没有说明,于是根据自己遇到问题总结这篇文档。SeaTunnel本地调试官方文档,希望对大家有所帮助!

使用的引擎为Flink(不需要下载,SeaTunnel中有加载依赖),输入输出方式为:mysql to mysql

一、工具说明

1.idea2023.3.2

2.MySQL8.0.36

3.jdk1.8

4.seatunnel 2.3.4-release

二、开发前准备

1.从github拉下来代码

github地址:https://github.com/apache/seatunnel/

2.在控制台运行编译

编译指令为:

./mvnw clean install

file

      Apache  SeaTunnel2.3.3版本的编译可以参考大飞哥的博客4.2.1

3.创建数据库创建表

(注意,数据库不要使用mysql系统库(如:information_schema,mysql,performance_schema,sys),需要自己创建新的数据库,seatunnel会排除这些系统库,2.3.4新增,2.3.3没有这个判断)。

file

4.添加配置文件

在seatunnel-flink-connector-v2-example项目的resource/examples下添加需要运行的配置文件,并修改SeaTunnelApiExample.java指向的文件路径

file

test.json(seatunnel支持运行json和config格式的配置文件)

{ "env" : { "job.name" : "test" }, "source" : [ { "query" : "select t.id,t.name,t.depId,t.salary from seatunnel.t_employee t", "fetch_size" : 0, "url" : "jdbc:mysql://localhost:3306/seatunnel", "driver" : "com.mysql.cj.jdbc.Driver", "user" : "root", "password" : "123456", "plugin_name" : "Jdbc", "result_table_name" : "_seatunnel_table_jdbc_8" } ], "transform" : [ { "original_text" : "name", "plugin_name" : "Sm2Encrypt", "result_table_name" : "_seatunnel_table_sm2_9", "source_table_name" : "_seatunnel_table_jdbc_8" } ], "sink" : [ { "database" : "seatunnel", "table" : "t_employee", "support_upsert_by_query_primary_key_exist" : true, "generate_sink_sql" : true, "primary_keys" : [ "name" ], "max_retries" : 3, "batch_size" : 300, "is_exactly_once" : false, "url" : "jdbc:mysql://localhost:3306/seatunnel", "driver" : "com.mysql.cj.jdbc.Driver", "user" : "root", "password" : "123456", "plugin_name" : "Jdbc", "source_table_name" : "_seatunnel_table_sm2_9" } ] }

 Sm2Encrypt是我自己研发的国密加密组件,自定义插件的代码可以参考SeaTunnel扩展Transform插件,自定义转换插件

5.添加maven

seatunnel-flink-connector-v2-example项目添加下列pom依赖并刷新maven,没有这些依赖会报错,连接方式用到什么就要添加什么,我这里使用的是connector-jdbc。如果source或sink用到http连接就需要添加connect-http依赖,具体有哪些可以看seatunnel-connectors-v2项目下的包

org.apache.seatunnel connector-jdbc ${project.version}

因为使用的是mysql数据库,所以还需要引入mysql驱动

mysql mysql-connector-java 8.0.27

 三、本地调试

1.debug运行

debug运行SeaTunnelApiExample.java下的主类,

就可以在需要调试的地方断点调试了

file

2.执行结果

file

本文由 白鲸开源科技 提供发布支持!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/758151.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

极路由4获取不到local_token和uuid的解决方案

今天淘了个二手极路由4(HC5962),想刷个Openwrt系统来着,就按着网上的教程来进行。 打开极路由ROOT local-ssh利用工具 (hiwifi.wtf)这个网站,然后第一步获取local_token就出问题了,显示的字是"找不到文件..."&#xff…

C/C++炸弹人游戏

参考书籍《啊哈,算法》,很有意思的一本算法书,小白也可以看懂,详细见书,这里只提供代码和运行结果。 这里用到的是枚举思想,还有更好地搜索做法。 如果大家有看不懂的地方或提出建议,欢迎评论区…

前端基础篇-深入了解 Ajax 、Axios

🔥博客主页: 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录 1.0 Ajax 概述 2.0 Axios 概述 3.0 综合案例 1.0 Ajax 概述 通过 Ajax 可以给服务器发送请求,并获取服务器响应的数据。异步交互是指,可以在不…

统计a字符右边是否有足够多的b字符与之匹配

for (char c : s) {if (c a) {cnt;} else {cnt max(cnt - 1, 0ll);} } 23ccpc桂林GProblem - G - Codeforces void solve() {std::string s;std::cin >> s;int cnt 0;for (char c : s) {if (c () {cnt;}else {cnt std::max(cnt - 1, 0);}}std::cout << (cnt…

WPF新境界:MVVM设计模式解析与实战,构建清晰可维护的用户界面

概述&#xff1a;MVVM是一种在WPF开发中广泛应用的设计模式&#xff0c;通过将应用程序分为模型、视图、和视图模型&#xff0c;实现了解耦、提高可维护性的目标。典型应用示例展示了如何通过XAML、ViewModel和数据绑定创建清晰、可测试的用户界面。 什么是MVVM&#xff1f; …

APP广告变现,推荐对接哪些移动广告聚合平台,有哪些有优势?

对于中小APP&#xff0c;受困于团队资源有限&#xff0c;在不影响用户体验的情况下&#xff0c;把变现收益做到最大化&#xff0c;优先对接聚合广告变现平台能帮助媒体拓展填充渠道&#xff0c;提升广告曝光&#xff0c;收益做到最大化。媒体只需要把所有资源集中到核心业务——…

大模型第一讲笔记

目录 1、人工智能基础概念全景介绍... 2 1.1 人工智能全景图... 2 1.2 人工智能历史... 2 1.3 人工智能——机器学习... 3 监督学习、非监督学习、强化学习、机器学习之间的关系... 3 监督学习... 4 无监督学习... 5 强化学习... 5 深度学习... 6 2、语言模型的发展及…

演讲恐惧症?别怕!这3招帮你克服舞台紧张

演讲恐惧症&#xff1f;别怕&#xff01;这3招帮你克服舞台紧张 在人生的舞台上&#xff0c;演讲往往被视为展现个人才华、传递思想观点的重要平台。然而&#xff0c;对于许多人来说&#xff0c;站在舞台上却成为了一种难以克服的恐惧。演讲恐惧症&#xff0c;这个看似微不足道…

PMP备考心得 | 策略与技巧大揭秘

1.理解考试大纲&#xff1a;首先&#xff0c;你需要熟悉PMP考试的内容和结构。PMI官网提供了详细的考试大纲&#xff0c;包括项目管理的五个过程组&#xff08;启动、规划、执行、监控、收尾&#xff09;和十个知识领域&#xff1b; 2.制定学习计划&#xff1a;根据个人的时间…

发布镜像到阿里云仓库

发布上一篇Dockerfile实战-自定义的centos镜像。 1、登录阿里云 2、找到容器镜像服务 3、创建命令空间 4、创建镜像仓库 5、点击进入这个镜像仓库&#xff0c;可以看到所有的信息 6、根据操作指南测试推送发布 6.1登录阿里云 [rootzhoujunru home]# docker login --usernam…

如何添加 Android Native 系统服务

如何添加 Android Native 系统服务 工作学习过程中&#xff0c;我们可能需要去阅读不同类型的 Native 系统服务&#xff0c;也有可能会自己去完成一个 Native 系统服务。无论哪种情况都需要我们了解基本的 Native 如何去添加。就像我们写 Android App 得先了解一下四大组件才行…

【MySQL】锁信息

title: MySQL 锁信息 tags: MySQL abbrlink: 364637211 date: 2021-07-26 18:34:34 1 MySQL 锁定义 MySQL 锁&#xff08;Lock&#xff09;是数据库管理系统用于管理并发访问的一种机制。 在多用户同时访问数据库的环境下&#xff0c;可能会出现多个事务同时对相同的数据进行…

Python logging模块使用

Python logging模块使用 文章目录 Python logging模块使用 Python中的日志记录模块是 logging。它提供了一种灵活的方式来记录应用程序的状态、错误和调试信息。下面是使用Python中 logging模块的基本方法&#xff1a; 导入logging模块&#xff1a; import logging配置日志记…

【工具】Docker 入门及常用指令

SueWakeup 个人主页&#xff1a;SueWakeup 系列专栏&#xff1a;为祖国的科技进步添砖Java 个性签名&#xff1a;保留赤子之心也许是种幸运吧 目录 1. 什么是 Docker &#xff1f; 2. Docker 安装 3. Docker 镜像 4. Docker 容器 4.1 运行容器 4.2 查看正在运行的容器 4…

c语言:最小公倍数

最小公倍数 任务描述 两个自然数的公共倍数中最小的那个数被称为它们的最小公倍数。 编程输入两个自然数&#xff0c;输出它们的最小公倍数。 输入示例 36 24输出示例 72代码 方法1 #include <stdio.h> int main() {int num1, num2;scanf("%d %d", &am…

milvus安装

milvus安装 sudo curl -L “https://github.com/docker/compose/releases/download/1.29.2/docker-compose- $ (uname -s)- $ (uname -m)” -o /usr/local/bin/docker-compose sudo chmod x /usr/local/bin/docker-compose sudo ln -s /usr/local/bin/docker-compose /usr/bin/…

代码随想录算法训练营第二十九天 | 491. 非递减子序列、46. 全排列、47.全排列 II

代码随想录算法训练营第二十九天 | 491. 非递减子序列、46. 全排列、47.全排列 II 491. 非递减子序列题目解法 46. 全排列题目注意解法 47.全排列 II题目解法 感悟 491. 非递减子序列 题目 解法 使用unordered_set去重 class Solution { private: vector<vector<int&g…

Day62:WEB攻防-PHP反序列化CLI框架类PHPGGC生成器TPYiiLaravel等利用

目录 反序列化链项目-PHPGGC&NotSoSecure NotSoSecure(综合类) PHPGGC(单项类) 反序列化框架利用-ThinkPHP&Yii&Laravel [安洵杯 2019]iamthinking Thinkphp V6.0.X 反序列化 CTFSHOW 反序列化 267 Yii2反序列化 CTFSHOW 反序列化 271 Laravel反序列化 知识…

Linux入门-常见指令及权限理解

目录 1、Linux背景 1.1、发展历史 1.2、开源 1.3Linux企业应用现状 2、Linux下的基本命令 2.1、ls 指令 2.2、pwd 命令 2.3、cd 命令 2.4、touch命令 2.5、mkdir 命令 2.6、rmdir 指令和 rm指令 2.7 man 指令 2.8、cp指令 2.9、mv 指令 2.10 cat 2.11 more 2…

掌握 Istio:部署完成后如何运用?

一、环境情况 环境&#xff1a;Ubuntu20.04 机器数量&#xff1a;单机1台 IP&#xff1a;10.9.2.83 二、准备知识 为什么使用 Istio&#xff1f; Istio提供了一种更高级别的服务网格解决方案&#xff0c;它可以简化和加强 Kubernetes 集群中的服务间通信、流量管理、安全…