解决FLINK CDC监控oracle报Failed to parse insert DML问题

  更多优秀文章,请扫码关注个人微信公众号或搜索“程序猿小杨”添加。

一、错误展现:

Caused by: io.debezium.connector.oracle.logminer.parser.DmlParserException: Failed to parse insert DML: 'insert into "HIS_DATA". at io.debezium.connector.oracle.logminer.parser.LogMinerDmlParser.parseInsert(LogMinerDmlParser.java:109)at io.debezium.connector.oracle.logminer.parser.LogMinerDmlParser.parse(LogMinerDmlParser.java:73)at io.debezium.connector.oracle.logminer.processor.AbstractLogMinerEventProcessor.parseDmlStatement(AbstractLogMinerEventProcessor.java:1078)... 16 common frames omitted
Caused by: java.lang.ArrayIndexOutOfBoundsException: 74at io.debezium.connector.oracle.logminer.parser.LogMinerDmlParser.parseColumnListClause(LogMinerDmlParser.java:239)at io.debezium.connector.oracle.logminer.parser.LogMinerDmlParser.parseInsert(LogMinerDmlParser.java:100)... 18 common frames omitted

二、问题原因:

通过分析源代码,发现debezium-connector-oracle-1.9.7.Final中的方法存在问题,造成数组越界,一般方式场景在:oracle某张表表结构发生新增字段,然后flink cdc的任务加载的还是旧的表字段信息,当被监控表业务场景写入数据的时候,由于sql里面已经带了新增字段,但是table里面的字段还是旧的,造成解析错误,源代码如下:

 private int parseColumnListClause(String sql, int start, String[] columnNames) {int index = start;boolean inQuote = false;for(int var6 = 0; index < sql.length(); ++index) {char c = sql.charAt(index);if (c == '(' && !inQuote) {start = index + 1;} else {if (c == ')' && !inQuote) {++index;break;}if (c == '"') {if (inQuote) {inQuote = false;columnNames[var6++] = sql.substring(start + 1, index);start = index + 2;} else {inQuote = true;}}}}return index;}

三、解决方案:

解决思路:重写io.debezium.connector.oracle.logminer.parser下的LogMinerDmlParser类中的方法即可,方案有两种:

方案1:如果新增字段的内容不需要,比如:只需获取主键信息及对应的值,那就忽略掉新增的字段,新增字段内容不包含在解析后的数据中。那只需要调整一下代码即可:

在代码中新建一个包路径为:io.debezium.connector.oracle.logminer.parser,

复制源码路径下的LogMinerDmlParser类中内容:

//
// Source code recreated from a .class file by IntelliJ IDEA
// (powered by Fernflower decompiler)
//package io.debezium.connector.oracle.logminer.parser;import io.debezium.DebeziumException;
import io.debezium.connector.oracle.logminer.LogMinerHelper;
import io.debezium.relational.Column;
import io.debezium.relational.Table;public class LogMinerDmlParser implements DmlParser {private static final String NULL_SENTINEL = "${DBZ_NULL}";private static final String NULL = "NULL";private static final String INSERT_INTO = "insert into ";private static final String UPDATE = "update ";private static final String DELETE_FROM = "delete from ";private static final String AND = "and ";private static final String OR = "or ";private static final String SET = " set ";private static final String WHERE = " where ";private static final String VALUES = " values ";private static final String IS_NULL = "IS NULL";private static final String UNSUPPORTED = "Unsupported";private static final String UNSUPPORTED_TYPE = "Unsupported Type";private static final int INSERT_INTO_LENGTH = "insert into ".length();private static final int UPDATE_LENGTH = "update ".length();private static final int DELETE_FROM_LENGTH = "delete from ".length();private static final int VALUES_LENGTH = " values ".length();private static final int SET_LENGTH = " set ".length();private static final int WHERE_LENGTH = " where ".length();public LogMinerDmlParser() {}public LogMinerDmlEntry parse(String sql, Table table) {if (table == null) {throw new DmlParserException("DML parser requires a non-null table");} else {if (sql != null && sql.length() > 0) {switch(sql.charAt(0)) {case 'd':return this.parseDelete(sql, table);case 'i':return this.pa

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/823058.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Nginx内存池相关源码剖析(三)小块内存分配逻辑

在Nginx中&#xff0c;小块内存通常指的是那些大小相对较小、分配和释放频率较高的内存块。这些内存块由于数量众多、管理复杂&#xff0c;因此需要使用一种高效的内存管理机制来减少内存管理的开销和内存碎片的产生。 Nginx内存池通过一种预分配和复用的方式来管理小块内存。当…

觉飞、希亦、Daily neaty内衣洗衣机好用吗?爆款产品性能全面测评!

近几年来小家电产品中&#xff0c;内衣洗衣机的讨论热度无疑是最大的&#xff0c;功能多、操作方便&#xff0c;用内衣洗衣机来清洗内衣裤会更加卫生和安全&#xff0c;能满足了消费者的多种需求。不过尽管市面上的内衣洗衣机品牌很多、挑选空间大&#xff0c;也不是所有产品都…

RT-thread-线程间通讯3-事件集

事件集 事件集也是线程间同步的机制之一,一个事件集可以包含多个事件,利用事件集可以完成一对多,多对多的线程间同步。 一个线程和多个事件的关系可设置为: 其中任意一个事件唤醒 线程,或几个事件都到达后唤醒线程,多个事件集合可以用一个32bit无符号整型变量来表示,…

4.8-4.12算法刷题笔记

刷题 堆1. 堆排序2. 模拟堆 哈希表3. 模拟散列表4. 字符串哈希 DFS5. 排列数字6. n-皇后问题 2. BFS&#xff08;队列&#xff09;7. 字母迷宫8. 滑动谜题 3. 树与图的dfs9. 树的重心 4. 树与图的bfs(最短路)10. 图中点的层次( 无权最短路 ) 5. 拓扑排序11. 课程表 6. 朴素dijk…

人工智能时代的图像识别:机遇与挑战并存

人工智能&#xff08;AI&#xff09;时代为图像识别领域带来了前所未有的机遇&#xff0c;同时也伴随着一系列挑战。这一领域的发展不仅深刻影响了科技、医疗、教育、娱乐等多个行业&#xff0c;还在一定程度上改变了人们的生活方式。 机遇&#xff1a; 技术突破与创新&#…

prometheus.yaml

目录 一、说明1、全局配置 global&#xff1a;2、告警配置 alerting&#xff1a;3、规则文件配置 rule_files&#xff1a;4、拉取配置 scrape_configs&#xff1a;5、远程读写配置 remote_read/remote_write&#xff1a; 二、简单配置示例&#xff1a; 一、说明 prometheus的配…

GoLang核心知识点

目录 1. 系统中断信号注册 2. 通道接收多个返回值 3. go context 4. reflect 5. json字符串对象转换 1. 系统中断信号注册 interrupt : make(chan os.Signal) // 可以控制强制终止的信号 // 如果系统有中断信号&#xff0c;发送给r.interrupt signal.Notify(interrupt, os…

docker (CentOS,ubuntu)安装及常用命令

Docker和虚拟机一样&#xff0c;都拥有环境隔离的能力&#xff0c;但它比虚拟机更加轻量级&#xff0c;可以使资源更大化地得到应用 Client&#xff08;Docker客户端&#xff09;&#xff1a;是Docker的用户界面&#xff0c;可以接受用户命令&#xff08;docker build&#xff…

纯前端umi项目部署页面自动刷新

背景 在用户正在访问单页面网站的情况下&#xff0c;突然发布了新的版本。而由于单页面中路由特性&#xff0c;或浏览器缓存的原因&#xff0c;并不会随着路由变化而重新加载前端资源&#xff0c;此时用户浏览器所运行的脚本&#xff0c;并非是最新的代码&#xff0c;从而可能…

img标签图片未加载完成占位图

通过Css控制&#xff0c;实现加载接口下发或者网络图片时&#xff0c;未加载完成前&#xff0c;先加载本地一张占位图&#xff0c;记载完成显示接口下发的图或者网络图。 实现方式&#xff1a;通过在img标签的after伪元素上添加一张占位图&#xff0c;并且img标签都设置为posi…

记录Python的pandas库详解

如何生成一个pd import pandas as pd df pd.DataFrame([[1,2,3],[4,5,6]],index[A,B],columns[C1,C2,C3])df ---------------------------------------------------------------------------C1 C2 C3 A 1 2 3 B 4 5 6df.T -------------------------------------------------…

爬虫 新闻网站 以湖南法治报为例(含详细注释) V4.0 升级 自定义可任意个关键词查询、时间段、粗略判断新闻是否和优化营商环境相关,避免自己再一个个判断

目标网站&#xff1a;湖南法治报 爬取目的&#xff1a;为了获取某一地区更全面的在湖南法治报的已发布的和优化营商环境相关的宣传新闻稿&#xff0c;同时也让自己的工作更便捷 环境&#xff1a;Pycharm2021&#xff0c;Python3.10&#xff0c; 安装的包&#xff1a;requests&a…

element-ui container 组件源码分享

今日简单分享 container 组件的源码实现&#xff0c;从以下两个方面来讲解&#xff1a; 1、container 组件的页面结构 2、container 组件的属性 一、container 组件的页面结构 二、container 组件的属性 1、container 部分的 direction 属性&#xff0c;子元素的排列方向&am…

Nacos2.3.0安装部署

一&#xff0c;准备安装包 github下载点 二&#xff0c;在/usr/local/目录下创建一个文件夹用于上传和解压Nacos cd /usr/local/ #上传Nacos文件 #解压之前cd进安装包根目录 cd /usr/local/ #这边选择的Nacos版本为2.3.0 tar -zxxvf nacos-server-2.3.0.tar.gz #把该文件移动…

Spring Boot安装与配置

一、引言 Spring Boot是一个开源的Java框架&#xff0c;用于简化Spring应用的创建、运行和部署过程。它遵循“约定优于配置”的原则&#xff0c;使得开发者能够更专注于业务逻辑的实现&#xff0c;而非繁琐的配置。本教程将指导您完成Spring Boot的安装和配置过程&#xff0c;…

基于SpringBoot的“商务安全邮箱”的设计与实现(源码+数据库+文档+PPT)

基于SpringBoot的“商务安全邮箱”的设计与实现&#xff08;源码数据库文档PPT) 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;SpringBoot 工具&#xff1a;IDEA/Ecilpse、Navicat、Maven 系统展示 系统功能结构 收件箱效果图 草稿箱效果图 已发送…

【数据结构】习题之消失的数字和轮转数组

&#x1f451;个人主页&#xff1a;啊Q闻 &#x1f387;收录专栏&#xff1a;《数据结构》 &#x1f389;前路漫漫亦灿灿 前言 消失的数字这道题目我会和大家分享三种思路。 还有一道题目是轮转数组&#xff0c;&#xff0c;也会分享三种思路&#xff0c;大…

常见的垃圾回收器(下)

文章目录 G1ShenandoahZGC 常见垃圾回收期&#xff08;上&#xff09; G1 参数1&#xff1a; -XX:UseG1GC 打开G1的开关&#xff0c;JDK9之后默认不需要打开 参数2&#xff1a;-XX:MaxGCPauseMillis毫秒值 最大暂停的时间 回收年代和算法 ● 年轻代老年代 ● 复制算法 优点…

Methoxy PEG Propionic acid具有良好的亲水性和分子量可控性

【试剂详情】 英文名称 mPEG-PA&#xff0c;mPEG-Propionic acid&#xff0c; Methoxy PEG PA&#xff0c; Methoxy PEG Propionic acid 中文名称 聚乙二醇单甲醚丙酸&#xff0c; 甲氧基-聚乙二醇-丙酸 外观性状 由分子量决定&#xff0c;固体或者液体 分子量 400&…

如何提高直线模组的技术水平?

在工业制造业中&#xff0c;不管我们使用任何机械产品&#xff0c;都有一个共同的出发点&#xff0c;就是能用先进的技术突破其产品的性能及使用性。那么直线模组究竟是用什么技术突破其产品的使用性的呢&#xff1f; 1、优化机械设计&#xff1a;设计过程中应充分考虑模组的结…