前言
当我们用debezium进行数据同步 目标端数据库为关系型数据库的时候,源端数据库产生的数据量比较多,当Kakfa抽取过来的数据 大批量同步到目标库数据库的时候,会造成写入条数的拥挤。此事我们需要 在目标端json文件配置限制写入条数。
json配置如下:
"batch.size": 5,
"consumer.override.max.poll.records": 5,
"consumer.override.max.poll.interval.ms":"900000",
"consumer.override.session.timeout.ms":"900000",
"consumer.override.request.timeout.ms":"900000"
重启完成之后,停止sinkconnect,并启动sinkconnect,查看同步状态。