基于seatunnel实现mysql同步clickhouse验证

场景:

需求想要实现mysql同步到clickhouse,seatunnel部署见前面文档linux环境seatunnel安装运行-CSDN博客。

官方说明文档

Clickhouse | Apache SeaTunnel

mysql同步配置

server-id=1
log_bin=/var/lib/mysql/bin.log
binlog_format=ROW
#binlog-do-db 具体要同步的数据库
binlog-do-db=gisqbpm
gtid-mode=on
enforce-gtid-consistency=on

验证MYSQL同步clckhouse

mysql数据库测试表

CREATE TABLE `test` (
  `id_` varchar(255) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`id_`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

clikhouse库测试表

-- gisqbpm.test definition

CREATE TABLE gisqbpm.test
(

    `id_` String,

    `name` Nullable(String),

    `_sign` Int8 MATERIALIZED 1,

    `_version` UInt64 MATERIALIZED 1,

    INDEX _version _version TYPE minmax GRANULARITY 1
)
ENGINE = ReplacingMergeTree(_version)
ORDER BY tuple(id_)
SETTINGS index_granularity = 8192;

在config中创建mysqltoclickhouse.conf

touch  mysqltoclickhouse.conf配置如下

env {
        execution.parallelism = 1
        job.mode = "STREAMING"
        checkpoint.interval = 2000
}
source {
        MySQL-CDC {
                base-url = "jdbc:mysql://192.168.85.128:3307/gisqbpm"
                username = "root"
                password = "wxy123456"
                table-names = ["gisqbpm.test"]
   }
}

sink {
    Clickhouse {
                host = "192.168.85.128:8123"
                database = "gisqbpm"
                table = "test"
                username = "default"
                password = "wxy123456“
    }
}

验证一:INSERT

mysql添加一条数据

INSERT INTO `gisqbpm`.`test`(`id_`, `name`) VALUES ('1', '李淳风');

select * from gisqbpm.test;
 

在clickhouse中也同步添加一条数据

验证二:UPDATE

mysql修改一条数据

update  test set name='李淳风1' where id_='1';
select * from gisqbpm.test;

clickhouse显示如下,而是新增一个数据

验证三:DELETE

mysql删除一条数据

clickhouse发现是添加了一个数据

结论一:

这个是网上常见的案列,但都是往往写了一个添加操作就没了,奶奶个腿啊,这么多的坑竟然不说,妈的这放到生产环境不要气死人?同步时修改和删除变成添加和实际逻辑不一样。咨询了社区大佬,给我提供了一些意见,好吧那我就再验证一下

经过大佬点播,又看了一下官方文档确实有写,要通过主键去删除和更新!!!!

二:修改配置再次验证

env {
        execution.parallelism = 1
        job.mode = "STREAMING"
        checkpoint.interval = 2000
}
source {
        MySQL-CDC {
                base-url = "jdbc:mysql://192.168.85.128:3307/gisqbpm"
                username = "root"
                password = "wxy123456"
                table-names = ["gisqbpm.test"]
   }
}

sink {
    Clickhouse {
                host = "192.168.85.128:8123"
                database = "gisqbpm"
                table = "test"
                username = "default"
                password = "wxy123456"
                primary_key="id_"
                support_upsert=true
      }
}

验证一:INSERT

mysql插入一条数据

clickhouse也同步显示添加一条数据

验证二:DELETE

mysql删除一条数据

clickhouse也同步删除一条数据

验证三:UPDATE

mysql修改一条数据

clickhouse没有变化,服务此时也挂了

错误一:

错误如下 Caused by: org.apache.seatunnel.connectors.seatunnel.clickhouse.exception.ClickhouseConnectorException: ErrorCode:[COMMON-10], ErrorDescription:[Flush data operation that in sink connector failed] - Clickhouse execute batch statement error

重启后再次执行修改操作

mysql修改一条数据

clickhouse显示是新增一条数据

结论二:

这种方式同样也是不能完美解决同步问题,修改变成了添加,而且中途服务还挂了,稳定性也有风险。

三:修改配置再次验证

env {
        execution.parallelism = 1
        job.mode = "STREAMING"
        checkpoint.interval = 2000
}
source {
        MySQL-CDC {
                base-url = "jdbc:mysql://192.168.85.128:3307/gisqbpm"
                username = "root"
                password = "wxy123456"
                table-names = ["gisqbpm.test"]
   }
}

sink {
    Clickhouse {
                host = "192.168.85.128:8123"
                database = "gisqbpm"
                table = "test"
                username = "default"
                password = "wxy123456"
                primary_key="id_"
                support_upsert=true
                allow_experimental_lightweight_delete = true
    }
}
 

 这个是官方文档提供的配置测试一下

错误二:

Caused by: java.sql.BatchUpdateException: Code: 62. DB::Exception: Syntax error: failed at position 1 ('DELETE'): DELETE FROM "test" WHERE "id_" = '1' settings allow_experimental_lightweight_delete = true. Expected one of: Query, Query

结论三

经测试在mysql中添加一条数据,clickhouse也同步添加一条数据,但是mysql中通过主键修改一条数据,clickhouse变成添加一条数据,mysql删除一条数据,clickhosue直接报错且服务挂掉

总结: 

1.seatunel同步mysql到clickhouse中存在很大的问题,生产环境如果有修改和删除操作同步到clickhouse时趁早换方案!!!

2.从操作来看seatunel对全库同步的场景也不是很友好,我100张表那就要创建100个sink对应的表非常麻烦!!

3.MaterializeMySQL的方式都比这个靠谱,至少服务不会挂!!!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/598845.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

为什么说上了金蝶、用友系统后,下一步是部署BI?

经常有些不熟悉BI工具的用户问我:金蝶、用友系统和BI工具与什么区别,为什么说上了金蝶、用友系统后,下一步就是部署BI?这两个系统工具的功能不重叠吗? 首先,要了解金蝶、用友系统和BI工具的各自作用。 金…

理解 Node.js 中的事件循环

你已经使用 Node.js 一段时间了,构建了一些应用程序,尝试了不同的模块,甚至对异步编程感到很舒适。但是有些事情一直在困扰着你——事件循环(Event Loop)。 如果你像我一样,花费了无数个小时阅读文档和观看…

虚幻UE 增强输入-触发器

上一篇增强输入基础:虚幻UE 增强输入-第三人称模板增强输入分析与扩展 主要对第三人称模板的增强输入进行分析、复刻和扩展 本篇将会对增强输入中的触发器中的各参数进行讲解 文章目录 前言触发器参数1、下移TriggerDown2、已按下TriggerPressed3、已松开TriggerRel…

开启远程工作之旅

远程工作绝对是未来的趋势。 不管是全职还是兼职,远程办公更加提供了更加自由的工作环境,再好的办公环境有家里舒服吗🐶? 而现在所有远程办公的平台,目前对新手最友好的,我个人觉得是云队友平台。 不仅提供…

cesium粒子爆炸效果

效果: //添加爆炸模型window.swpecesium.addEntity.addModel({id: "model",position: {lon: 116.34516786934411,lat: 39.99753297677145,},config: {url: "./model/baozha/scene.gltf",minSize: 200,maxSize: 300,},});var scene viewer.scen…

接口测试测什么?一个简单问题把我难住了!

那么设计测试用例时我们主要考虑如下几个方面: 01、功能测试 接口的功能是否正确实现了 接口是否按照设计文档中来实现 (比如username参数写为了user,那么这就不符合,因为接口文档在整个开发中都需要使用,所以接口实…

60V降12V3A降压芯片WT6037

60V降12V3A降压芯片WT6037 WT6037是一款高压同步降压转换器,可在10V到90V的宽输入电压范围内工作适用于宽电压输入12V-72V电池组系统降压和60V-90V降压应用。WT6037可提供4A连续负载电流,转换效达92%。 WT6037采用具有内置补偿的固定频率峰值电流控…

Element ui 改变el-transfer 穿梭框的大小

修改el-transfer 左右两个穿梭框的高度和宽度,具体效果如下正常大小的穿梭框修改之后的,主要在style中加上如下样式即可 /deep/ .el-transfer-panel{ width: 470px; /* 左右两个穿梭框的高度和宽度 */ height: 450px; } /deep/ .el-transfer-panel__li…

element的Table表格组件树形数据与非懒加载

1.代码实现 <template><div><el-row :gutter"10" class"mb8"><el-col :span"1.5"><el-button type"info" plain icon"el-icon-sort" size"mini" click"toggleExpandAll"&g…

Java面试题之集合篇

前言 本篇主要总结JAVA面试中关于集合相关的高频面试题。本篇的面试题基于网络整理以及自己的总结编辑。在不断的完善补充哦。欢迎小伙伴们在评论区发表留言哦&#xff01; 1、基础 1.1、Java 集合框架有哪些&#xff1f; Java 集合框架&#xff0c;大家可以看看 《Java 集…

[运维|gitlab] docker Gitlab 命令行后台修改密码

参考文献 docker Gitlab 初始化账号以及密码是什么呢 修改密码 进入容器 docker exec -it gitlab bash进入bin目录 进入gitlab的bin目录 cd /opt/gitlab/bin执行命令 执行gitlab-rails console gitlab-rails console执行命令 找到root的用户&#xff0c;输入uUser.where…

【每日面试题】Docker常见面试题精选

什么是Docker容器&#xff1f; Docker容器是一种轻量级的虚拟化技术&#xff0c;可以将应用及其依赖项打包在一个可移植的容器中&#xff0c;以便在多个环境中运行。 Docker镜像和容器之间有什么区别&#xff1f; Docker镜像是一个包含了应用程序及其依赖项的只读模板&#xf…

C#上位机与欧姆龙PLC的通信10----开发专用的通讯工具软件(WPF版)

1、介绍 上节开发了一个winform版的通讯测试工具&#xff0c;这节再搞个wpf版的&#xff0c;wpf是什么&#xff1f;请自行百度&#xff0c;也可以看前面的博客&#xff0c;WPF真入门教程&#xff0c;wpf的界面效果是比winform漂亮&#xff0c;因为wpf使用了web项目中的css样式…

java发送邮件到qq邮箱

自己的授权码自己记好 引入依赖 <dependency><groupId>com.sun.mail</groupId><artifactId>javax.mail</artifactId><version>1.6.2</version> </dependency> <dependency><groupId>javax.mail</groupId>&…

Socket与TCP的关系

前言 相信大家对于TCP已经非常熟悉了&#xff0c;学习过计算机网络的同学对于它的连接和断开流程应该已经烂熟于心了吧。 那么Socket是什么&#xff1f; Socket是应用层与TCP/IP协议簇通信的中间软件抽象层&#xff0c;它是一组接口。在设计模式中&#xff0c;Socket其实就是…

车位关键点检测-车位识别-车辆识别检测(教程+代码)

车位关键点检测、车位识别和车辆识别检测是现代智能交通系统中的重要技术&#xff0c;它们在提高停车管理效率和交通流畅度方面起着重要作用。以下是对这三个技术的分点阐述&#xff1a; 1. 车位关键点检测&#xff1a; 车位关键点检测是指通过计算机视觉技术&#xff0c;自动…

Docker中镜像的相关操作

1.辅助操作 docker version&#xff1a;用查看docker客户端引擎和server端引擎版本信息。 docker info&#xff1a;用来查看docker引擎的详细信息。 docker --help&#xff1a;用来查看帮助信息。 2.镜像Image docker images&#xff1a;查看当前本地仓库中存在哪些镜像。 …

解决uniapp打包成apk后uni.getStorageSync获取不到值

uniapp写的项目&#xff0c;在hbuilderx中云打包成apk后我在登录存储的token死都获取不到&#xff0c;导致后续接口请求头没有token连接不到接口&#xff0c;只有运行到手机或者模拟器还有打包成apk后是获取不到&#xff0c;其他的小程序还有网页都可以获取到 试过了很多种方法…

【递归】C++算法:124 二叉树中的最大路径和

作者推荐 【动态规划】【字符串】扰乱字符串 本文涉及的基础知识点 递归 124. 二叉树中的最大路径和 二叉树中的 路径 被定义为一条节点序列&#xff0c;序列中每对相邻节点之间都存在一条边。同一个节点在一条路径序列中 至多出现一次 。该路径 至少包含一个 节点&#x…

Android linphone-android sdk设置语音编码问题

1.遇到的问题 今天遇到linphone-android sdk需要解决语音编码问题&#xff0c;需要指定编码。查了下配置&#xff0c;里面没有发现类似的配置。 ## Start of factory rc # This file shall not contain path referencing package name, in order to be portable when app is r…