大数据Flink（一百二十二）：阿里云Flink MySQL连接器介绍

文章目录

阿里云Flink MySQL连接器介绍

一、特色功能

二、​​​​​​​语法结构

三、​​​​​​​​​​​​​​WITH参数

阿里云Flink MySQL连接器介绍

阿里云提供了MySQL连接器，其作为源表时，扮演的就是flink cdc的角色。

一、特色功能

MySQL的CDC源表，即MySQL的流式源表，会先读取数据库的历史全量数据，并平滑切换到Binlog读取上，保证不多读一条也不少读一条数据。即使发生故障，也能保证通过Exactly Once语义处理数据。MySQL CDC源表支持并发地读取全量数据，通过增量快照算法实现了全程无锁和断点续传。

作为源表，支持以下功能特性。

  • 流批一体，支持读取全量和增量数据，无需维护两套流程。
  • 支持并发读取全量数据，性能水平扩展。
  • 全量读取无缝切换增量读取，自动缩容，节省计算资源。
  • 全量阶段读取支持断点续传，更稳定。
  • 无锁读取全量数据，不影响在线业务。

二、​​​​​​​​​​​​​​语法结构

CREATE TABLE mysqlcdc_source (order_id INT,order_date TIMESTAMP(0),customer_name STRING,price DECIMAL(10, 5),product_id INT,order_status BOOLEAN,PRIMARY KEY(order_id) NOT ENFORCED
) WITH ('connector' = 'mysql','hostname' = '<yourHostname>','port' = '3306','username' = '<yourUsername>','password' = '<yourPassword>','database-name' = '<yourDatabaseName>','table-name' = '<yourTableName>'
);

 

三、​​​​​​​​​​​​​​WITH参数

  • 通用

参数

说明

是否必填

数据类型

默认值

备注

connector

表类型。

是

STRING

无

作为源表时，可以填写为mysql-cdc或者mysql，二者等价。作为维表或结果表时，固定值为mysql。

hostname

MySQL数据库的IP地址或者Hostname。

是

STRING

无

建议填写专有网络VPC地址。

username

MySQL数据库服务的用户名。

是

STRING

无

无。

password

MySQL数据库服务的密码。

是

STRING

无

无。

database-name

MySQL数据库名称。

是

STRING

无
  1. 作为源表时，数据库名称支持正则表达式以读取多个数据库的数据。
  2. 使用正则表达式时，尽量不要使用^和$符号匹配开头和结尾。具体原因详见table-name备注的说明。

table-name

MySQL表名。

是

STRING

无
  1. 作为源表时，表名支持正则表达式以读取多个表的数据。
  2. 使用正则表达式时，尽量不要使用^和$符号匹配开头和结尾。具体原因详见以下说明。

说明：MySQL CDC源表在正则匹配表名时，会将您填写的 database-name，table-name 通过字符串 \\.（VVR 8.0.1前使用字符.）连接成为一个全路径的正则表达式，然后使用该正则表达式和MySQL数据库中表的全限定名进行正则匹配。例如：当配置'database-name'='db_.*'且'table-name'='tb_.+'时，连接器将会使用正则表达式db_.*\\.tb_.+（8.0.1版本前为db_.*.tb_.+）去匹配表的全限定名来确定需要读取的表。

port

MySQL数据库服务的端口号。

否

INTEGER

3306

无。

  • 源表独有

参数

说明

是否必填

数据类型

默认值

备注

server-id

数据库客户端的一个数字ID。

否

STRING

默认会随机生成一个5400~6400的值。

该ID必须是MySQL集群中全局唯一的。建议针对同一个数据库的每个作业都设置一个不同的ID。

该参数也支持ID范围的格式，例如5400-5408。在开启增量读取模式时支持多并发读取，此时推荐设定为ID范围，使得每个并发使用不同的ID。

scan.incremental.snapshot.enabled

是否开启增量快照。

否

BOOLEAN

true

默认开启增量快照。增量快照是一种读取全量数据快照的新机制。与旧的快照读取相比，增量快照有很多优点，包括：

  1. 读取全量数据时，Source可以是并行读取。
  2. 读取全量数据时，Source支持chunk粒度的检查点。
  3. 读取全量数据时，Source不需要获取全局读锁（FLUSH TABLES WITH read lock）。

如果您希望Source支持并发读取，每个并发的Reader需要有一个唯一的服务器ID，因此server-id必须是5400-6400这样的范围，并且范围必须大于等于并发数。

scan.incremental.snapshot.chunk.size

表的chunk的大小（行数）。

否

INTEGER

8096

当开启增量快照读取时，表会被切分成多个chunk读取。在读完chunk的数据之前，chunk的数据会先缓存在内存中，因此chunk 太大，可能导致内存OOM。chunk越小，故障恢复的粒度也越小，但也会降低吞吐。

scan.snapshot.fetch.size

当读取表的全量数据时，每次最多拉取的记录数。

否

INTEGER

1024

无。

scan.startup.mode

消费数据时的启动模式。

否

STRING

initial

参数取值如下：

  1. initial（默认）：在第一次启动时，会先扫描历史全量数据，然后读取最新的Binlog数据。
  2. latest-offset：在第一次启动时，不会扫描历史全量数据，直接从Binlog的末尾（最新的Binlog处）开始读取，即只读取该连接器启动以后的最新变更。
  3. earliest-offset：不扫描历史全量数据，直接从可读取的最早Binlog开始读取。
  4. specific-offset：不扫描历史全量数据，从您指定的Binlog位点启动，位点可通过配置scan.startup.specific-offset.file和scan.startup.specific-offset.pos的方式来指定从特定Binlog文件名和偏移量启动，也可以通过配置scan.startup.specific-offset.gtid-set指定从某个GTID集合启动。
  5. timestamp：不扫描历史全量数据，从指定的时间戳开始读取Binlog。时间戳通过scan.startup.timestamp-millis指定，单位为毫秒。

scan.startup.specific-offset.file

使用指定位点模式启动时，启动位点的Binlog文件名。

否

STRING

无

使用该配置时，scan.startup.mode必须配置为specific-offset。文件名格式例如mysql-bin.000003。

scan.startup.specific-offset.pos

使用指定位点模式启动时，启动位点在指定Binlog文件中的偏移量。

否

INTEGER

无

使用该配置时，scan.startup.mode必须配置为specific-offset。

scan.startup.specific-offset.gtid-set

使用指定位点模式启动时，启动位点的GTID集合。

否

STRING

无

使用该配置时，scan.startup.mode必须配置为specific-offset。GTID集合格式例如24DA167-0C0C-11E8-8442-00059A3C7B00:1-19。

scan.startup.timestamp-millis

使用指定时间模式启动时，启动位点的毫秒时间戳。

否

LONG

无

使用该配置时，scan.startup.mode必须配置为timestamp。时间戳单位为毫秒。

重要：在使用指定时间时，MySQL CDC会从最早Binlog开始读取，直至Binlog事件的时间戳大于等于指定的时间戳后开始向下游发送数据。因此请保证指定的时间戳对应的Binlog文件在数据库上没有被清理且可以被读取到。

server-time-zone

数据库在使用的会话时区。

VVR-6.0.2以下版本必填，其他版本选填

STRING

如果您没有指定该参数，则系统默认使用Flink作业运行时的环境时区作为数据库服务器时区，即您选择的可用区所在的时区。

例如Asia/Shanghai，该参数控制了MySQL中的TIMESTAMP类型如何转成STRING类型。更多信息请参见Debezium时间类型。

debezium.min.row.count.to.stream.results

当表的条数大于该值时，会使用分批读取模式。

否

INTEGER

1000

Flink采用以下方式读取MySQL源表数据：

  1. 全量读取：直接将整个表的数据读取到内存里。优点是速度快，缺点是会消耗对应大小的内存，如果源表数据量非常大，可能会有OOM风险。
  2. 分批读取：分多次读取，每次读取一定数量的行数，直到读取完所有数据。优点是读取数据量比较大的表没有OOM风险，缺点是读取速度相对较慢。

connect.timeout

连接MySQL数据库服务器超时时，重试连接之前等待超时的最长时间。

否

DURATION

30s

无。

connect.max-retries

连接MySQL数据库服务时，连接失败后重试的最大次数。

否

INTEGER

3

无。

connection.pool.size

数据库连接池大小。

否

INTEGER

20

数据库连接池用于复用连接，可以降低数据库连接数量。

jdbc.properties.*

JDBC URL中的自定义连接参数。

否

STRING

无

您可以传递自定义的连接参数，例如不使用SSL协议，则可配置为'jdbc.properties.useSSL' = 'false'。

支持的连接参数请参见Mysql Configuration Properties。

heartbeat.interval

Source通过心跳事件推动Binlog位点前进的时间间隔。

否

DURATION

30s

心跳事件用于推动Source中的Binlog位点前进，这对MySQL中更新缓慢的表非常有用。对于更新缓慢的表，Binlog位点无法自动前进，通过够心跳事件可以推到Binlog位点前进，可以避免Binlog位点不前进引起Binlog位点过期问题，Binlog位点过期会导致作业失败无法恢复，只能无状态重启。

scan.incremental.snapshot.chunk.key-column

可以指定某一列作为快照阶段切分分片的切分列。

见备注列。

STRING

无
  1. 无主键表必填，选择的列必须是非空类型（NOT NULL）。
  2. 有主键的表为选填，仅支持从主键中选择一列。

说明：仅Flink计算引擎VVR 6.0.7及以上版本支持。

rds.region-id

RDS实例所在的地域 ID。

使用读取OSS归档日志功能时必填。

STRING

无

仅Flink计算引擎VVR 6.0.7及以上版本支持。

地域ID请参见地域和可用区。

rds.access-key-id

阿里云账号Access Key ID。

使用读取OSS归档日志功能时必填。

STRING

无

仅Flink计算引擎VVR 6.0.7及以上版本支持。

rds.access-key-secret

阿里云账号Access Key Secret。

使用读取OSS归档日志功能时必填。

STRING

无

仅Flink计算引擎VVR 6.0.7及以上版本支持。

rds.db-instance-id

RDS实例ID。

使用读取OSS归档日志功能时必填。

STRING

无

仅Flink计算引擎VVR 6.0.7及以上版本支持。

scan.incremental.close-idle-reader.enabled

是否在快照结束后关闭空闲的 Reader。

否

BOOLEAN

false
  1. 仅Flink计算引擎VVR 8.0.1及以上版本支持。
  2. 该配置生效需要设置execution.checkpointing.checkpoints-after-tasks-finish.enabled为true。
  • 📢博客主页：https://lansonli.blog.csdn.net
  • 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！
  • 📢本文由 Lansonli 原创，首发于 CSDN博客🙉
  • 📢停下休息的时候不要忘了别人还在奔跑，希望大家抓紧时间学习，全力奔赴更美好的生活✨

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/diannao/54341.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

neo4j导入csv数据

neo4j导入csv数据

neo4j数据可视化实践 手动输入数据 - 官方democsv数据导入准备数据数据处理导入步骤① 导入疾病表格② 导入药物表格③导入疾病-药物关系表格 爬虫的csv文件 手动输入数据 - 官方demo 点击之后&#xff0c;按照左边10张图中的代码&#xff0c;复制粘贴熟悉语法 效果如下 csv数据…
阅读更多...
基于JAVA+SpringBoot+Vue的学生干部管理系统

基于JAVA+SpringBoot+Vue的学生干部管理系统

基于JAVASpringBootVue的学生干部管理系统 前言 ✌全网粉丝20W,csdn特邀作者、博客专家、CSDN[新星计划]导师、java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ &#x1f345;文末附源码下载链接&#x1f345; 哈…
阅读更多...
【AI视频】Runway：Gen-2 运镜详解

【AI视频】Runway：Gen-2 运镜详解

博客主页&#xff1a; [小ᶻZ࿆] 本文专栏: AI视频 | Runway 文章目录 &#x1f4af;前言&#x1f4af;Camera Control&#xff08;运镜&#xff09;&#x1f4af;Camera Control功能测试Horizonta&#xff08;左右平移&#xff09;Vertical&#xff08;上下平移&#xff0…
阅读更多...
UNION嵌套STRUCT的两种类型

UNION嵌套STRUCT的两种类型

1. STRUCT里面的总长度大于UNION中的最大长度 在UNION类型中&#xff0c;嵌套如STRUCT类型&#xff0c;其中STRUCT的类型还比UNION类型中最大的类型的长度还长的时候&#xff0c;会如何处理呢&#xff0c;看下面示例 程序源码 #include "stdafx.h"typedef unsigned…
阅读更多...
103.WEB渗透测试-信息收集-FOFA语法（3）

103.WEB渗透测试-信息收集-FOFA语法（3）

免责声明&#xff1a;内容仅供学习参考&#xff0c;请合法利用知识&#xff0c;禁止进行违法犯罪活动&#xff01; 内容参考于&#xff1a; 易锦网校会员专享课 上一个内容&#xff1a;102.WEB渗透测试-信息收集-FOFA语法&#xff08;2&#xff09; FOFA使用实例 组件框架 …
阅读更多...
DAY20信息打点-红蓝队自动化项目资产侦察武器库部署企查产权网络空间

DAY20信息打点-红蓝队自动化项目资产侦察武器库部署企查产权网络空间

2.自动化-网络空间-AsamF 1.去GitHub上下载项目之后使用CMD打开 2.输入命令AsamF_windows_amd64.exe -v生成配置文件 3.AsamF会在~/.config/asamf/目录下生成config.json文件 C:\Users\Acer\.config\asamf 5.根据文档输入命令去查询所需信息&#xff08;已经没有用了&#x…
阅读更多...
LabVIEW多语言支持优化

LabVIEW多语言支持优化

遇到的LabVIEW多语言支持问题&#xff0c;特别是德文显示乱码以及系统区域设置导致的异常&#xff0c;可能是由编码问题或区域设置不匹配引起的。以下是一些可能的原因及解决方案&#xff1a; 问题原因&#xff1a; 编码问题&#xff1a;LabVIEW内部使用UTF-8编码&#xff0c;但…
阅读更多...
react的事件绑定

react的事件绑定

文章目录 基本示例使用箭头函数事件对象阻止默认行为绑定事件处理函数的上下文 在 React 中&#xff0c;事件绑定主要通过 JSX 属性来实现。事件处理函数被传递给相应的事件属性&#xff0c;例如 onClick、onChange 等。这些属性会被绑定到 HTML 元素上&#xff0c;并在事件发生…
阅读更多...
大白话解读末日期权是什么意思？末日期权与黑天鹅！

大白话解读末日期权是什么意思？末日期权与黑天鹅！

今天带你了解大白话解读末日期权是什么意思&#xff1f;末日期权与黑天鹅&#xff01;末日期权与黑天鹅事件的关系主要体现在风险和波动性管理上&#xff0c;交易者需要谨慎对待这两者的互动。 末日期权和期权黑天鹅事件之间的关系主要体现在风险管理和市场波动性上。 末日期…
阅读更多...
【SA8155P】AIS Camera相关内容的简单介绍

【SA8155P】AIS Camera相关内容的简单介绍

高通车载相机模块（AIS，Automotive lmage System）是专门针对车载系统特性而设计的一套车载视觉架构，可用于AVM、RVC、DMS等常见车载视频应用开发。车载Camera系统的图像大部分是给自动驾驶等使用，更多考虑的是远距离传输、多摄像头图像处理等场景。 本文仅对AIS Camera相关…
阅读更多...
2024考研数学真题解析-数二：

2024考研数学真题解析-数二：

第一类间断点&#xff1a;可去间断点&#xff0c;跳跃间断点。 幂指函数x的取值范围是x>0。 接着分母不能为0推出x1&#xff0c;x2是间断点&#xff0c;由幂指函数x>0可知&#xff0c;x0也是间断点。 先求x0处的极限&#xff0c;这里没有必要求0左右两边的极限&#xff0…
阅读更多...
百元头戴式耳机都有哪些？五大精品独家推荐！

百元头戴式耳机都有哪些？五大精品独家推荐！

在当今市场中&#xff0c;耳机已经成为我们生活中不可或缺的电子设备之一。而对于追求性价比的朋友来说&#xff0c;如何在百元价位内挑选到一款音质出色、舒适耐用的头戴式耳机&#xff0c;无疑是一大难题。百元头戴式耳机都有哪些&#xff1f;为了帮助大家在琳琅满目的产品中…
阅读更多...
Linux之CentOS 7.9-Minimal部署Oracle 11g r2 安装实测验证（桌面模式）

Linux之CentOS 7.9-Minimal部署Oracle 11g r2 安装实测验证（桌面模式）

前言： 发个之前的库存… Linux之CentOS 7.9-Minimal部署Oracle 11g r2 安装实测验证（桌面模式） 本次验证的是CentOS_7_Minimal-2009桌面模式来部署Oracle 11g r2，大家可根据自身环境及学习来了解。 环境：下载地址都给你们超链好了 1、Linux系统镜像包： 1.1 CentOS-7-x86_…
阅读更多...
嵌入式AI---如何用C++实现YOLO的NMS（非极大值抑制）算法

嵌入式AI---如何用C++实现YOLO的NMS（非极大值抑制）算法

文章目录 前言一、为什么需要NMS算法&#xff1f;二、什么是NMS算法&#xff1f;三、如何使用C编写一个NMS算法1、预测框定义2、滤除无效框 总结 前言 YOLO系列的目标检测算法在边缘部署方面展现出了强大的性能和广泛的应用潜力。大部分业务场景是利用PyTorch在服务器端完成检…
阅读更多...
【网络安全】-ssrf服务器请求伪造攻击-burp

【网络安全】-ssrf服务器请求伪造攻击-burp

SSRF攻击服务器请求伪造攻击 CSRF攻击跨站请求伪造攻击也称客户端请求伪造攻击 两种攻击最主要的区别是一个在服务器&#xff0c;一个在客户端。 文章目录 前言 什么是SSRF攻击? 1.分类&#xff1a; 针对服务器的 SSRF 攻击&#xff1a; 针对后端系统的SSRF攻击&#xff1a; …
阅读更多...
【Echarts】vue3打开echarts的正确方式

【Echarts】vue3打开echarts的正确方式

ECharts 是一个功能强大、灵活易用的数据可视化工具&#xff0c;适用于商业报表、数据分析、科研教育等多种场景。那么该如何优雅的使用Echarts呢? 这里以vue3为例。 安装echarts pnpm i echarts封装公用方法 // ts-nocheck import * as echarts from echarts; // 我们这里借…
阅读更多...
Linux系统应用之知识补充——OpenEuler（欧拉）的安装和基础配置

Linux系统应用之知识补充——OpenEuler（欧拉）的安装和基础配置

前言 这篇文章将会对OpenEuler的安装进行详解&#xff0c;一步一步跟着走下去就可以成功 注意 &#xff1a;以下的指令操作最好在root权限下进行&#xff08;即su - root&#xff09; ☀️工贵其久&#xff0c;业贵其专&#xff01; 1、OpenEuler的安装 这里我不过多介绍&a…
阅读更多...
相亲交友系统 现代爱情的导航仪

相亲交友系统 现代爱情的导航仪

在这个数字化的时代&#xff0c;人们的生活方式发生了翻天覆地的变化&#xff0c;其中最显著的变化之一便是交友方式的转变。编辑h17711347205随着社会节奏的加快&#xff0c;越来越多的人选择通过相亲交友系统来寻找人生伴侣。相亲交友系统不仅简化了传统的交友流程&#xff0…
阅读更多...
Java设计模式——工厂方法模式（完整详解，附有代码+案例）

Java设计模式——工厂方法模式（完整详解，附有代码+案例）

文章目录 5.3 工厂方法模式5.3.1概述5.3.2 结构5.3.3 实现 5.3 工厂方法模式 针对5.2.3中的缺点&#xff0c;使用工厂方法模式就可以完美的解决&#xff0c;完全遵循开闭原则。 5.3.1概述 工厂方法模式&#xff1a;定义一个创建对象的接口&#xff08;这里的接口指的是工厂&…
阅读更多...
第一次安装Pytorch

第一次安装Pytorch

1、新版本的Anaconda内置的python版本是3.12&#xff0c; 目前 Windows 上的 PyTorch 仅支持 Python 3.8-3.11;不支持 Python 2.x。 1、创建运行环境 在不创建虚拟环境的情况下&#xff0c;不建议使用最新的Python和Anaconda。 在几次失败后&#xff0c;我使用的是Anaconda3-2…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023