Debezium日常分享系列之:Debezium 2.7.0.Alpha1发布

Debezium日常分享系列之:Debezium 2.7.0.Alpha1发布

  • 一、重大改变
    • 1.Core
    • 2.SQL Server
  • 二、新功能和改进
    • 1.使用 Helm Chart 安装 Debezium Operator
    • 2.支持MongoDB增量快照的谓词条件
    • 3.新的 MariaDB 独立连接器
    • 4.ExtractNewDocumentState 包含 MongoDB 删除的文档 ID
    • 5.交易元数据编码排序
    • 6.阻止增量快照改进
    • 7.Cassandra 性能改进
    • 8.新的 Oracle“RawToString”自定义转换器
    • 9.改进了对 Oracle 的 NLS 字符集支持
    • 10.改进了 Vitess 中的时间支持

一、重大改变

1.Core

  • 据发现,在某些通信失败的情况下,某些 JDBC 查询可能会无限期地阻塞。为了解决此问题,可以使用新的可配置超时选项 query.timeout.ms 来设置 JDBC 查询在终止之前可以执行的最长时间 。

2.SQL Server

  • SQL Server 连接器先前处理了在单个数据库往返期间捕获的所有事务。此行为是可配置的,并且基于 max.iterations.transactions,默认处理所有事务(值为 0)。如果您的数据库有大量事务,这可能会导致意外的内存不足情况。
  • 为了解决这些用例的这个问题,max.iterations.transactions 的默认值已更改为 500,以便对这些开箱即用的部署用例更具弹性。如果您想返回到以前的行为,只需将此配置选项添加到您的连接器,并将值设置为 0。

二、新功能和改进

1.使用 Helm Chart 安装 Debezium Operator

  • 为了改进 Debezium Operator 的部署,可以通过 https://charts.debezium.io 上的 Helm Chart 来安装它。这避免了将操作器安装到单独的命名空间中的过于复杂的部署模型,从而最大限度地降低了在 Kubernetes 上管理多个 Debezium Server 部署的复杂性。

2.支持MongoDB增量快照的谓词条件

  • 增量快照过程是各种恢复情况下从源表或集合收集全部或部分数据集的重要部分。关系连接器长期以来一直支持在增量快照信号上提供附加条件值以限制数据集的想法,从而提供特定数据行的有针对性的重新同步。
  • 我们很高兴地宣布,现在 MongoDB可以实现这一点。与关系数据库不同,附加条件应以 JSON 格式提供。它将使用查找操作应用于指定的集合,以获取要增量快照的文档的子集列表。

3.新的 MariaDB 独立连接器

Debezium 2.5 引入了对 MariaDB 的官方支持,作为现有 MySQL 连接器的一部分。这一演变的下一步就在这里,为 MariaDB提供了新的独立连接器实现。

这里有几件事值得注意:

  • MariaDB 和 MySQL 都对一个名为 debezium-connector-binlog 的新抽象连接器有共同的依赖关系,它为这两种基于 binlog 的连接器提供了通用框架。
  • 现在,每个独立连接器都专门针对其目标数据库进行定制,因此 MySQL 用户应使用 MySQL,MariaDB 用户应使用 MariaDB。因此,connection.adapter 配置选项已被删除,jdbc.protocol 配置选项现在仅特定于某些 MySQL 用例,MariaDB 不使用。

该连接器的文档仍在开发中,并将在将来添加。目前,可以参考 MySQL 连接器文档来了解与 MariaDB 相关的大部分内容。

4.ExtractNewDocumentState 包含 MongoDB 删除的文档 ID

  • 在 MongoDB ExtractNewDocumentState 单一消息转换的先前版本中,删除事件未提供标识符作为有效负载的一部分。这降低了删除事件的意义,因为向消费者提供的数据不足以对这些事件采取行动。此行为已得到改进,删除事件现在在有效负载中包含 _id 属性。

5.交易元数据编码排序

  • 在某些管道中,排序对于消费应用程序至关重要。有些场景可能会影响数据管道的这方面,例如发生 Kafka 重新分区时。这会导致事后尝试重建排序时容易出错的问题。
  • 现在,当启用事务元数据时,这些元数据事件还将对其事务顺序进行编码,因此,如果发生 Kafka 重新分区或其他改变排序语义的场景,消费者可以简单地使用新的编码排序字段来获得确定性交易排序 。

6.阻止增量快照改进

  • 在某些用例中,增量快照信号需要转义完全限定表名称中的某些字符。这导致了阻塞快照的一些问题,因为解析哪些表要创建快照的过程使用了稍微不同的机制。在 Debezium 2.7 中,我们统一了这种方法,您现在可以在适用的情况下使用带有阻塞快照的转义表名称。

7.Cassandra 性能改进

  • Cassandra 连接器在 Debezium 2.7 中也发生了一些变化,特别是性能优化。 KafkaRecordEmitter 的实现依赖于线程同步块,这会降低吞吐量。此外,该实现还执行了一些不必要的刷新,这也影响了性能。此代码已被重写,以提高吞吐量并减少不必要的刷新调用。

8.新的 Oracle“RawToString”自定义转换器

  • 虽然 Oracle 建议用户避免使用基于 RAW 的列,但出于向后兼容性的原因,这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中,继续使用 RAW 列而不是其他数据类型是有意义的。
  • Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器,称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。这对于使用 RAW 列存储不需要 VARCHAR2 排序规则开销的字符数据的情况很有用,但您仍然需要将此字段作为基于字符串的数据发送给使用者。

9.改进了对 Oracle 的 NLS 字符集支持

  • 安装 Debezium 2.7 Oracle 连接器时,您可能会注意到一个新的依赖项 orai18n.jar。此依赖项会自动分发,以便为某些方言提供扩展字符集支持。

10.改进了 Vitess 中的时间支持

  • Debezium 关系连接器依赖配置选项 time. precision.mode 来控制如何添加时间值来更改事件。在某些情况下,您可能希望使用与 Kafka 类型一致的模式,即连接模式。在其他情况下,您可能更愿意使用默认的自适应毫秒模式来避免精度损失。
  • Debezium for Vitess 连接器传统上不遵循此模型,而是将时间值作为基于字符串的类型发出。虽然这有助于避免使用连接模式时出现精度损失问题,但这会增加消费者解析和操作这些值的不必要的开销。
  • 在 Debezium 2.7 中,Vitess 将此行为与其他关系连接器保持一致,使用 time. precision.mode 来控制时间值的发送方式。默认情况下,它将使用自适应毫秒模式,但如果您愿意,您可以自定义它以使用连接模式。基于字符串的时间值的发射已被删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/830098.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

WPF之textbox输入框

在wpf中textbox标签代表输入盒子。 常用属性 SelectionBrush选定文本的颜色BorderBrush边框颜色fontsize文本大小Foreground字体颜色 事件 TextChanged输入框发生变化时触发的事件 实例: 功能: 设置输入框发生变化获取文本内容 <Grid><!--SelectionBrush 选定的文…

user_account, user_info, user_work_flow表设计使用外键还是主键保持一致?

有几张与用户相关的表&#xff08;user_account, user_info, user_admin, user_client, user_work_flow&#xff09;&#xff0c;这些表之间的关系是一对一的。对于这种情况&#xff0c;可以选择使用外键或者主键一致性的方式来设计表。下面我将分析这两种设计方案的优缺点。 …

RK3588 - RKNN(Rockchip 神经处理单元)的逆向工程

本文翻译自https://jas-hacks.blogspot.com/2024/02/rk3588-reverse-engineering-rknn.html RK3588 NPU 的内部操作和功能主要隐藏在名为RKNPU2的闭源 SDK 中。由于对大型语言模型 (LLM) 的兴趣以及对transform模型最佳矩阵乘法的追求&#xff0c;想了解 RKNPU SDK 新引入的矩阵…

自动开箱机:提升包装物流效率的关键设备

随着电子商务的飞速发展&#xff0c;物流行业面临着重要的挑战和机遇。如何在保证服务质量的同时&#xff0c;提高物流效率&#xff0c;降低成本&#xff0c;成为摆在物流企业面前的重要课题。在这个背景下&#xff0c;自动开箱机以其高效、精准、省力的特点&#xff0c;正逐渐…

OpenMM——教程学习(1)

如何从零开始做一个蛋白小分子动力学模拟 AmberTools将被用来生成输入文件&#xff0c;OpenMM 将被用来运行模拟&#xff0c;模拟平台为在线百度AI Stuio, 并使用GPU加速。 First thing’s first, 到PDB 蛋白数据库下载一需要模拟的靶点晶体&#xff0c;备用。 1. H web server…

一文讲清:什么是供应商管理?供应商管理怎么做?

供应商管理指的是对供应商的了解、选择、开发、使用和控制等综合性管理工作的总称。其目的在于建立起一个稳定可靠的供应商队伍&#xff0c;为企业生产提供可靠的物资供应。但是企业在进行供应商管理往往面临以下问题&#xff1a; 1、招投标&#xff0c;信息不透明 这主要表…

R语言的基本图形

一&#xff0c;条形图 安装包 install.packages("vcd") 绘制简单的条形图 barplot(c(1,2,4,5,6,3)) 水平条形图 barplot(c(1,2,4,5,6,3),horiz TRUE) 堆砌条形图 > d1<-c("Placebo","Treated") > d2<-c("None",&qu…

你不需要总是在 React 中使用 useState

在我审查的一个拉取请求中&#xff0c;我注意到在许多拉取请求中看到的一种模式。React 组件具有多个 UI 状态&#xff0c;例如 loading、error 和 success。 作者使用了多个 useState 钩子来管理这些状态&#xff0c;这导致代码难以阅读且容易出错&#xff0c;例如&#xff1a…

hadoop命令

hadoop命令 目录 hadoop命令 1.查看文件下面有哪些文件和目录 2.获取文件信息 查看文件内容 3.创建一个文件夹 4.剪切 1&#xff09;从本地hadoop剪切到hdfs并上传到hdfs 2&#xff09;剪切 从hdfs剪切到本地hadoop目录上 5.删除 1&#xff09;递归删除 2&#xff0…

springboot权限验证学习-下

上篇讲了rbac对于菜单的权限&#xff0c;下面准备完成按钮权限以及行数据和列数据权限 权限控制(按钮权限) 权限控制 操作权限就是将操作视为资源&#xff0c;比如删除操作&#xff0c;有些人可以有些人不行。于后端来说&#xff0c;操作就是一个接口。于前端来说&#xff0…

windows ubuntu:sed,awk,grep篇:3,sed正则表达式

目录 20.正则表达式基础 21.其他正则表达式 22.在 sed 替换中使用正则表达式 20.正则表达式基础 很多 *nix 的命令中&#xff0c;都用到了正则表达式&#xff0c;包括 sed 。 行的开头 ( ^ ) ^ 匹配每一行的开头 显示以 103 开头的行 : $ sed -n /^103/ p employe…

秋招后端开发面试题 - JVM底层原理

目录 JVM底层原理前言面试题Java 对象的创建过程&#xff1f;什么是指针碰撞&#xff1f;什么是空闲列表&#xff1f;/ 内存分配的两种方式&#xff1f;JVM 里 new 对象时&#xff0c;堆会发生抢占吗&#xff1f;JVM 是怎么设计来保证线程安全的&#xff1f;/ 内存分配并发问题…

Golang实现一个批量自动化执行树莓派指令的软件(5)模块整合

简介 基于上篇 Golang实现一个批量自动化执行树莓派指令的软件(4)上传 已经实现了ssh的基本操作模块了&#xff0c;这里我们将这些模块进行整合。 环境描述 运行环境: Windows&#xff0c; 基于Golang&#xff0c; 暂时没有使用什么不可跨平台接口&#xff0c; 理论上支持Linux…

k8s pod使用sriov

之前的文章中讲了k8s multus的使用&#xff0c;本章节来讲述下如何使用multus来实现sriov的使用。 一、sriov 简介 SR-IOV在2010年左右由Intel提出&#xff0c;但是随着容器技术的推广&#xff0c;intel官方也给出了SR-IOV技术在容器中使用的开源组件&#xff0c;例如&#…

机器人抓取综述

抓取物体的能力是大多数机器人操作任务所需的基 本能力之一。抓取涉及到物体的三维几何和物理特性的 推理&#xff0c;如质量和摩擦&#xff0c;以及复杂接触物理的推理。研究 方向主要有两个:已知物体三维模型或类别的基于模型抓取和不知道物体先验知识的无模型抓取。 基于三…

JavaScript函数(声明函数、调用函数、匿名函数、箭头函数、构造函数)

目录 1. 函数1.1 声明函数1.2 调用函数1.3 匿名函数1.3.1 函数表达式1.3.2 立即执行函数 1.4 箭头函数1.5 构造函数 1. 函数 1.1 声明函数 函数的调用不传递值给形参&#xff0c;且形参没有默认值&#xff0c;则其值为undefined如果没有return返回值&#xff0c;则返回undefi…

MySQL商城数据库表(61-65)

61——订单结算表&#xff08;guo_settlements&#xff09; CREATE TABLE guo_settlements (settlementId int(11) NOT NULL AUTO_INCREMENT COMMENT 自增ID,settlementNo varchar(20) NOT NULL COMMENT 结算单号,settlementType tinyint(4) NOT NULL DEFAULT 0 COMMENT 结算类…

axios下载接口后端返回了json但前端得到的是blob

背景&#xff1a; 通过axios下载文件&#xff0c;正常情况下后端返回内容blob&#xff0c;前端接收并导出文件。但有时候&#xff0c;后端业务逻辑需要提示错误&#xff0c;于是返回json&#xff0c;但前端预期接收的是blob&#xff0c;所以导出去的文件内容是json字符串。 原…

3MF体积设计扩展

3MF 联盟最近宣布了他们最新的体积设计扩展&#xff08;volumetric design extension&#xff09;&#xff0c;用于通过基于体积的描述来编码几何形状和空间多样性属性。 该组织致力于推进 3D 打印的通用规范&#xff0c;目前正在新扩展达到 1.0 之前征求公众反馈。 NSDT工具推…

Linux内核驱动开发-001字符设备开发-内核中断驱动独立按键+等待队列优化

1驱动程序 /*************************************************************************> File Name: key_wait.c> Author: yas> Mail: rage_yashotmail.com> Created Time: 2024年04月23日 星期二 13时20分42秒**********************************************…