Debezium如何部署
debezium 有下面三种部署方式,其中最常用的就是 kafka connect。
kafka connect
一般情况下,我们通过 kafka connect 来部署 debezium,kafka connect 是一个框架和运行时:
- source connectors:像 debezium 这样将记录发送到 kafka 的source connector
- sink connectors:将记录从 kafka topic传播到其他系统的 sink connector
下图展示了一个基于 debezium 的 CDC pipeline 的架构,这里 debezium 作为一个 kafka connect 的一种 source connector。
如图所示,debezium mysql 连接器用来捕获对 mysql 数据库的更改,debezium postgreSQL 连接器用来捕获对于 postgres 数据库的更改。
每个 debezium 连接器都会建立一个到源数据库的连接:
- mysql连接器使用一个客户端库来访问 binlog;
- postgres 连接器从逻辑复制流中读取数据。
默认情况下,一个数据库表的更改被写入一个 Kafka topic,当然也可以通过topic 重路由将更改写入到指定的 topic,或者将多个数据库表的更改写入到同一个 topic。
而Kafka Connect作为K