Debezium系列之:Flink SQL消费Debezium数据格式,同步数据到下游存储系统
- 一、Debezium
- 二、依赖
- 三、使用Debezium Format
- 四、可用元数据
- 五、Format参数
- 六、重复的变更事件
- 七、消费 Debezium Postgres Connector 产生的数据
- 八、数据类型映射
一、Debezium
Debezium 是一个 CDC(Changelog Data Capture,变更数据捕获)的工具,可以把来自 MySQL、PostgreSQL、Oracle、Microsoft SQL Server 和许多其他数据库的更改实时流式传输到 Kafka 中。 Debezium 为变更日志提供了统一的格式结构,并支持使用 JSON 和 Apache Avro 序列化消息。
Flink 支持将 Debezium JSON 和 Avro 消息解析为 INSERT / UPDATE / DELETE 消息到 Flink SQL 系统中。在很