PiflowX-MysqlCdc组件

MysqlCdc组件

组件说明

MySQL CDC连接器允许从MySQL数据库读取快照数据和增量数据。

计算引擎

flink

组件分组

cdc

端口

Inport:默认端口

outport:默认端口

组件属性

名称展示名称默认值允许值是否必填描述例子
hostnameHostname“”MySQL 数据库服务器的IP地址或主机名。127.0.0.1
usernameUsername“”连接到MySQL数据库服务器时要使用的MySQL用户的名称。root
passwordPassword“”连接MySQL数据库服务器时使用的密码。JDBC用户名。如果指定了username和password中的任一参数,则两者必须都被指定。123456
databaseNameDatabaseName“”要监视的MySQL服务器的数据库名称。数据库名称还支持正则表达式,以监视多个与正则表达式匹配的表。test
tableNameSCHEMA“”连接到JDBC表的名称。test
tableNameTableName“”需要监视的 MySQL 数据库的表名。表名支持正则表达式,以监视满足正则表达式的多个表。注意:MySQL CDC 连接器在正则匹配表名时,会把用户填写的 database-name, table-name 通过字符串 \\. 连接成一个全路径的正则表达式,然后使用该正则表达式和 MySQL 数据库中表的全限定名进行正则匹配。test
portPort3306MySQL数据库服务器的整数端口号。。3306
serverIdServerId“”读取数据使用的 server id,server id 可以是个整数或者一个整数范围,比如 ‘5400’ 或 ‘5400-5408’, 建议在 ‘scan.incremental.snapshot.enabled’ 参数为启用时,配置成整数范围。因为在当前 MySQL 集群中运行的所有 slave 节点,标记每个 salve 节点的 id 都必须是唯一的。 所以当连接器加入 MySQL 集群作为另一个 slave 节点(并且具有唯一 id 的情况下),它就可以读取 binlog。 默认情况下,连接器会在 5400 和 6400 之间生成一个随机数,但是我们建议用户明确指定 Server id。
tableDefinitionTableDefinition“”Flink table定义。
propertiesPROPERTIES“”连接器其他配置。

MysqlCdc示例配置

{"flow": {"name": "MysqlCdcTest","uuid": "1234","stops": [{"uuid": "0000","name": "MysqlCdc1","bundle": "cn.piflow.bundle.flink.cdc.mysql.MysqlCdc","properties": {"hostname": "127.0.0.1","port": "3306","username": "root","password": "123456","databaseName": "test","tableName": "test","tableDefinition": "{\"catalogName\":null,\"dbname\":null,\"tableName\":\"\",\"ifNotExists\":true,\"physicalColumnDefinition\":[{\"columnName\":\"id\",\"columnType\":\"INT\",\"comment\":\"id\",\"primaryKey\":true},{\"columnName\":\"name\",\"columnType\":\"STRING\",\"comment\":\"name\"},{\"columnName\":\"age\",\"columnType\":\"INT\"}],\"metadataColumnDefinition\":null,\"computedColumnDefinition\":null,\"watermarkDefinition\":null}","properties": "{\"server-time-zone\":\"Asia/Shanghai\"}"}},{"uuid": "2222","name": "ShowData1","bundle": "cn.piflow.bundle.flink.common.ShowChangeLogData","properties": {"showNumber": "100"}}],"paths": [{"from": "MysqlCdc1","outport": "","inport": "","to": "ShowData1"}]}
}
示例说明

本示例演示了通过MysqlCdc从数据库test中读取test表数据,并使用ShowChangeLogData组件将数据打印在控制台。

演示DEMO

在这里插入图片描述

PiflowX-MysqlCdc组件

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/611686.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

重点问题提问

mysql主从复制原理 slave每隔一段时间监听master,当master数据发生改变,master将数据写进二进制日志,slave开启一个io线程请求二进制日志,master在每个io线程上开启dump线程,将二进制日志传给slave,slave接…

JS 监听网络状态

我们在开发过程中会遇到监听用户网络状态的需求,通过JS可以获取当前的网络状态,包括下载速度、网络延迟、网络在线状态、网络类型等信息 具体获取如下: let info navigator.connection console.log(info)可以看到,包含几个信息…

《系统架构设计师教程(第2版)》第4章-信息安全技术基础知识-03-访问控制及数字签名技术

文章目录 1. 访问控制技术1.1 基本模型1)访问控制模型访问控制的内容1.2 实现技术1)访问控制矩阵2)访问控制表3)能力表4)授权关系表2. 数字签名2.1 作用2.2 数字签名的条件2.2 对称密钥签名2.3 公开密钥签名1. 访问控制技术 1.1 基本模

Deployment 控制器

一、概述 Deployment是ReplicaSet的高级别抽象,ReplicaSet控制器有的功能Deployment全部具备,ReplicaSet没有的Deployment也具备比如,它提供了滚动升级和回滚的功能。Deployment是控制多个ReplicaSet,从而可以实现无缝升级和回滚。…

element plus el-form双列布局及拓展任意布局

1 场景 一般表单我们直接默认布局&#xff0c;也就是单列布局&#xff0c;突然有个人员信息表单&#xff0c;需要双列布局的需求&#xff0c;简单实现并拓展下 2 思路 直接无脑divflex布局实现 3 代码 <template><el-form ref"formRef" :model"fo…

Blazor 错误笔记

1. 运行时问题 Microsoft.NETCore.App.Runtime.Mono.browser-wasm Microsoft.NETCore.App.Runtime.Mono.browser-wasm 是一个 .NET Core 运行时的包&#xff0c;用于在浏览器中运行 .NET Core 应用程序。它是针对 WebAssembly 架构的 .NET Core 运行时&#xff0c;可以在浏览…

Java中CompletableFuture 异步编排的基本使用

一、前言 在复杂业务场景中&#xff0c;有些数据需要远程调用&#xff0c;导致查询时间缓慢&#xff0c;影响以下代码逻辑运行&#xff0c;并且这些浪费时间的逻辑与以后的请求并没有关系&#xff0c;这样会大大增加服务的时间。 假如商品详情页的每个查询&#xff0c;需要如下…

C //练习 5-2 模仿函数getint的实现方法,编写一个读取浮点数的函数getfloat。getfloat函数的返回值应该是什么类型?

C程序设计语言 &#xff08;第二版&#xff09; 练习 5-2 练习 5-2 模仿函数getint的实现方法&#xff0c;编写一个读取浮点数的函数getfloat。getfloat函数的返回值应该是什么类型&#xff1f; 注意&#xff1a;代码在win32控制台运行&#xff0c;在不同的IDE环境下&#xf…

书生·浦语第三次作业

我最近在参加书生浦语大模型实战营&#xff0c;这是第三次作业打卡&#xff01; 如果你也想两周玩转大模型微调&#xff0c;部署与测评全链路。报名链接&#xff1a;invite 书生浦语大模型实战营报名 邀请码可以填026014 一、基础作业&#xff1a;复现课程知识库助手搭建过程…

LC474. 一和零

代码随想录 class Solution {public int findMaxForm(String[] strs, int m, int n) {int [][] dp new int [m1][n1];int oneNum,zeroNum;for(String str : strs){oneNum 0 ;zeroNum 0;for(char ch : str.toCharArray()){if(ch 0){zeroNum ;}else{oneNum ;}}for(int i m …

WEB之HTML练习

第一题&#xff1a;用户注册界面 HTML代码&#xff1a; <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><titl…

Java解决删除子串后的字符串最小长度

Java解决删除子串后的字符串最小长度 01 题目 给你一个仅由 大写 英文字符组成的字符串 s 。 你可以对此字符串执行一些操作&#xff0c;在每一步操作中&#xff0c;你可以从 s 中删除 任一个 "AB" 或 "CD" 子字符串。 通过执行操作&#xff0c;删除所…

【Python】使用tkinter设计开发Windows桌面程序记事本(2)

上一篇&#xff1a;【Python】使用tkinter设计开发Windows桌面程序记事本&#xff08;1&#xff09;-CSDN博客 下一篇&#xff1a; 作者发炎 此代码模块是继承上一篇文章的代码模块的基础上开始设计开发的。 如果不知道怎么新建"记事本项目"文件夹&#xff0c;请参…

第二百五十八回

文章目录 1. 概念介绍2. 思路与方法2.1 实现思路2.2 实现方法 3. 示例代码4. 内容总结 我们在上一章回中介绍了"模拟对话窗口的页面"相关的内容&#xff0c;本章回中将介绍如何创建一个可以输入内容的对话框.闲话休提&#xff0c;让我们一起Talk Flutter吧。 1. 概念…

Rust 工作空间

Rust 第23节 工作空间 工作空间 当一个项目需要多个crate时&#xff0c;就会用到工作空间 先在空白目录下创建一个 Cargo.toml 这个Cargo.toml 就是对工作空间进行管理 写上属性 [workspace]members ["adders" ]比如一个二进制crate 写完之后在命令行创建它 同…

C++ 多态以及多态的原理

文章目录 多态的概念多态的构成条件虚函数的重写虚函数重写的两个例外 重载、重写(覆盖)、重定义(隐藏)对比C11 final 和 override关键字抽象类接口继承和普通继承多态的原理虚函数表多态的原理 单继承和多继承关系的虚函数表单继承中的虚函数表多继承中的虚函数表 多态的概念 …

Linux安装nginx并设置为开机自启动

1.更新gcc安装包 yum install -y gcc pcre-devel zlib-devel2.下载文件并解压 命令如下 wget https://nginx.org/download/nginx-1.18.0.tar.gz //解压nginx tar -zxvf nginx-1.18.0.tar.gz //进入后进行指定安装位置 ./configure --prefix/usr/local/nginx //安装 make &…

面试宝典之spring框架常见面试题

F1、类的反射机制有啥用&#xff1f; &#xff08;1&#xff09;增加程序的灵活性&#xff0c;可扩展性&#xff0c;动态创建对象。 &#xff08;2&#xff09;框架必备&#xff0c;任何框架的封装都要用反射。&#xff08;框架的灵魂&#xff09; F2、获取Class对象的三种方…

boost graph计算最短路径程序异常退出问题解决

之前使用的boost 1.55版本&#xff0c;升级使用1.73版本后&#xff0c;在调用dijkstra_shortest_paths时会出现弹窗 abort()has been called 点击调试&#xff0c;看调用栈信息&#xff0c;发现计算的距离值为负数。 刚开始时&#xff0c;距离初始值为numeric_limits<long&g…

小程序分销商城,打造高效线上购物体验

小程序商城系统&#xff0c;为您带来前所未有的在线购物体验。它不仅提供线上商城购物、在线下单、支付及配送等功能&#xff0c;还凭借其便捷性成为众多商家的首选。 想象一下&#xff0c;商家可以展示琳琅满目的商品&#xff0c;包括图片、文字描述、价格及库存等详尽信息。而…