Debezium发布历史94

原文地址: https://debezium.io/blog/2020/09/16/debezium-1-3-beta2-released/

欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯.

Debezium 1.3.0.Beta2 发布
2020 年 9 月 16 日 作者: Gunnar Morling
发布 mysql postgres sqlserver cassandra oracle 发件箱
我很高兴地宣布 Debezium 1.3.0.Beta2发布!

在此版本中,我们改进了对 MySQL 和 SQL Server 连接器的列过滤的支持,并且使用 LogMiner 包从 Oracle 获取更改事件的全新实现。当我们正处于 Debezium 1.3 Final 的最后冲刺阶段时,还有一系列较小的改进、错误修复和文档澄清;总体而言,此版本已解决不少于44 个问题。

列过滤改进
为了满足长期存在的功能请求 ( DBZ-1068 ),SQL Server 的 Debezium 连接器现在支持服务器端列过滤:数据库本身中的捕获实例可以配置为仅包含捕获表列的子集。这样,CDC 进程可以立即排除特定列,而不是仅在 Debezium 连接器中删除它们,这对于大型 BLOB 等来说效率更高。

MySQL 连接器添加了对 Debezium Postgres 连接器 ( DBZ-2508column.include.list )中已知选项的支持。

与过滤问题相关,跟进1.3 Beta1 版本中开始的工作,用更具包容性的替代方案替换术语“主/从”、“黑名单”和“白名单”,以及所有孵化连接器(Oracle、Db2、 Cassandra)现在使用“database.include.list”、“主/副本”等新术语(DBZ-2462)。

基于 LogMiner 的 Oracle 摄取引擎
Debezium Oracle 连接器现在可以使用 LogMiner 包来提取更改事件。由于该软件包随 Oracle 数据库本身一起提供,因此它是现有基于 XStream 的实现的一个非常有吸引力的替代方案。Debezium 社区对 LogMiner 支持的讨论和工作已经进行了很长时间(正如您可能已经从非常低的问题编号DBZ-137中猜到的那样),因此我们对这项工作最终被合并并成为一部分感到特别兴奋此版本的。

请注意,有几个与基于 LogMiner 的摄取实现相关的后续任务需要解决;虽然目前不建议将其用于生产用途,但我们很乐意通过测试和评估获得您的反馈!

非常感谢所有参与此事的人:Andrey Ignatenko 和他的团队所做的主要工作,Andrey Pustovetov 提出的关于事务缓冲的想法,Chris Cranford 提出 PR 并准备合并,Milo vd Zee 进行广泛的审查,以及其他人对 PR 和 Jira 问题发表评论并提供反馈。

杂项。功能和错误修复
除了这些关键功能之外,社区还完成了其他一些功能和修复的工作:

MySQL 连接器在与 Percona Server for MySQL ( DBZ-2466LOCK TABLES FOR BACKUP )一起使用时支持锁定模式,这可以减少快照期间的争用

Postgres 连接器快照 SPI 变得更加灵活,允许自定义实现,例如可以重新快照选定的表(DBZ-2094)

事件扁平化 SMT 生成的附加标头和字段的前缀现在可以自定义 ( DBZ-2504 )

支持 MySQL DDL 语句中的 JSON 函数 ( DBZ-2453 )

改进了 Cassandra 连接器的异常日志记录 ( DBZ-2498 )

与往常一样,请参阅发行说明,了解已解决问题的完整列表以及从早期 Debezium 版本升级的过程。

非常感谢所有为本版本做出贡献的社区成员:Aaron Brady、Andrey Ignatenko、Bingqin Zhou、Eric Weaver、Grant Cooksey、Grzegorz Kołakowski、Guy Pascarella、James Gormley、Jos Huiting、Mickaël Isaert和Nathan Mills。

外表
随着第一批 LogMiner 支持的合并和发布,我们现在计划将重点放在稳定性和错误修复上,Debezium 1.3 Final 预计将于本月底左右发布。

与此同时,社区为 Vitess 贡献的新连接器正在开发中(根据审核进度,该连接器将作为 Debezium 1.3 或 1.4 中的孵化连接器发布),我们将分享一些令人兴奋的内容我们很快就会与您一起围绕未来潜在的 Debezium UI 进行概念验证!

原文地址: https://debezium.io/blog/2020/09/24/debezium-1-3-cr1-released/

Debezium 1.3.0.CR1 发布
2020 年 9 月 24 日 作者: 克里斯·克兰福德
发布 mysql postgres sqlserver cassandra oracle 发件箱
我很高兴地宣布 Debezium 1.3.0.CR1发布!

当我们接近 Debezium 1.3 Final 的最后阶段时,我们借此机会添加了委托转换器支持ByteBufferConverter并引入了一个debezium-scripting模块。此外,还有一系列错误修复和大量文档完善;总体而言,此版本已解决不少于15 个问题。

ByteBufferConverter 的改进
它ByteBufferConverter是一个转换器,与发件箱事件路由器 SMT 一起使用,以序列化现有的 Avro 负载列。在最近的报告 ( DBZ-2396 ) 中,ByteBufferConverter无法序列化从配置为发出心跳、事务元数据或架构更改事件的连接器发出的事件。为了提高发出这些事件时转换器的兼容性,ByteBufferConverter现在可以配置为将事件序列化委托给其他转换器。此委托是必要的,以便可以序列化心跳、事务元数据和架构更改事件(如果适用)。

为了使用发件箱事件路由器 SMT 和ByteBufferConverter这些事件类型,必须更改连接器配置以反映委托转换器及其可配置选项。

作为使用 Apache Kafka 作为禁用架构的委托的示例JsonConverter,连接器中需要包含以下配置:

value.converter=io.debezium.converters.ByteBufferConverter
value.converter.delegate.converter.type=org.apache.kafka.connect.json.JsonConverter
value.converter.delegate.converter.type.schemas.enable=false
有关使用 的更多信息ByteBufferConverter,请参阅发件箱事件路由器文档中的使用 Avro 作为有效负载格式部分。

脚本模块
在此版本中,用于基于内容的路由和过滤(均使用 JSR 223 脚本引擎)的 SMT 已移出debezium-core或移入单独的工件debezium-scripting( DBZ-2549 )。以前使用这些 SMT 的任何连接器都需要将新工件添加到这些连接器的插件目录中。

当将 Debezium 容器映像用于 Kafka Connect 时,请将环境变量设置ENABLE_DEBEZIUM_SCRIPTING为true来启用此功能。进行此更改是为了允许脚本功能仅在具有适当安全的 Kafka Connect 配置界面的环境中可用。

杂项。功能和错误修复
此外,社区还完成了其他一些功能和修复的工作:

在快照之前赶上流可能会在恢复流时重复消息DBZ-2550

修复 Quarkus 1.9 DBZ-2558的 Quarkus 数据源配置

实现对 Oracle DBZ-2531的连接重试支持

与往常一样,请参阅发行说明,了解已解决问题的完整列表以及从早期 Debezium 版本升级的过程。

非常感谢Guillaume Smet和Grant Cooksey对此版本的贡献。

外表
除非有任何不可预见的回归和错误报告,Debezium 1.3 Final 应该会在下周发布。在那之前,我们将专注于更多的打磨。社区主导的Vitess Debezium 连接器工作也取得了良好进展,计划于 10 月底与 Debezium 1.4 Alpha1 一起首次发布该新连接器。

原文地址: https://debezium.io/blog/2020/10/01/debezium-1-3-final-released/

Debezium 1.3.0.Final 发布
十月 1, 2020 作者: Gunnar Morling
发布 mysql postgres sqlserver cassandra oracle db2 vitess 发件箱
我非常高兴地宣布 Debezium 1.3.0.Final发布!

根据 Debezium 的季度发布节奏,这总结了过去三个月的工作。总体而言,社区在此期间修复了138 个问题,包括以下主要功能和更改:

一个新的基于 LogMiner 的孵化实现,用于从 Oracle 获取变更事件

Debezium 服务器中对 Azure 事件中心的支持

升级到 Apache Kafka 2.6

修改过滤器选项名称

新的 SQL Server 连接器快照模式,initial_only

支持 SQL Server 的数据库筛选列

MongoDB 连接器的其他连接选项

使用 Avro 作为有效负载格式ByteBufferConverter实现发件箱模式的改进

更多详情请参阅预览版( Alpha1、Beta1、Beta2、CR1 )的公告。自上周发布 CR1 以来,我们一直致力于消除一些剩余的错误并改进文档。要了解有关从早期 Debezium 版本升级的过程的更多信息,请查看发行说明。

感谢每个测试预览版的人,这对于发现和修复新功能以及回归中的缺陷提供了宝贵的帮助。当然,我还要感谢所有为此版本做出贡献的社区成员:Aaron Brady、Abhishek Gupta、Andrey Ignatenko、Arik Cohen、Bingqin Zhou、Björn Häuser、Cory Harper、Denis Liseichykau、Eric Weaver、Grant Cooksey、Grzegorz科拉科夫斯基、纪尧姆·斯梅特、盖伊·帕斯卡雷拉、詹姆斯·葛姆雷、Jeremy Finzel、Jonas Lins、Jos Huiting、Justin Hiza、Lukasz Korzeniowski、Luis Garcés-Erice、Matt Beary、Mickaël Isaert、Moira Tagle、Nathan Mills、Peter Junos、Ruslan Gibaiev、Thomas Prelle和Victor Xian!

总体而言,目前已有超过 220 人为 Debezium 项目做出了贡献。

不仅如此,Debezium 用户的数量也在不断增长,例如我们的Debezium 用户参考列表中记录的那样(如果您想添加,请告诉我们)。我们的公开演讲和博客文章汇编中还有一些涉及 Debezium 的新条目,例如 Marta Paes 的一篇关于使用 Flink SQL 和 Debezium 进行变更数据捕获的值得高度推荐的演讲,Cemal Turkoglu 的一篇关于[理解变更数据捕获]的博客文章使用 Debezium Kafka Connector 的 Postgres 管道,以及 Iain Porter 撰写的关于在 Quarkus 中使用 Debezium 实现发件箱模式的精彩文章。阿卜杜勒拉蒂夫·布查马(Abdellatif Bouchama)创建了一份备忘单,做得非常出色用于在 OpenShift 上运行 Debezium。

外表
随着 1.3 最终版本的发布,1.4 版本(将于今年年底发布)的规划正在进行中。路线图仍在不断变化,因此请务必参与并让我们了解您的要求和功能请求。我们可能要做的一些事情包括:

Vitess社区主导的连接器;最初的贡献已经合并,我们计划在本月晚些时候作为 Debezium 1.4 Alpha1 的一部分发布第一个版本

将 MySQL 连接器移至大多数其他 Debezium 连接器共享的 CDC 连接器框架;这将大大减轻该连接器未来的维护负担

探索更强大的快照选项(例如,并行化和重新制作所选表的快照)

改进 Oracle 的基于 LogMiner 的新实施

最后,我特别高兴今天第一次在这里分享另一个活动领域:未来潜在的 Debezium 用户界面的概念验证。在该 PoC 中,我们正在探索图形 UI 如何帮助 Debezium 连接器的设置和操作。我们在该领域有很多想法,并将很快在博客文章中分享更多细节。如果您同时喜欢冒险,您可以获取当前的 PoC 代码并尝试一下!

在那之前,祝您数据流改变愉快,不断向前!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/660324.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

敏捷认证大热:PMI-ACP

你是否在寻找一个能让你在不断变化的职场环境中脱颖而出的认证?PMI-ACP正是你需要的!这个由美国项目管理协会PMI颁发的认证,是全球敏捷项目管理领域的权威代表。无论你是希望转型到项目管理领域,还是想提升现有项目管理技能&#…

代码随想录算法训练营第二十三天|669.修剪二叉搜索树、108.将有序数组转换为二叉搜索树、538.把二叉搜索树转换为累加树

669.修剪二叉搜索树 public class Solution {public TreeNode TrimBST(TreeNode root, int low, int high) {if(rootnull){return null;}if(root.val<low){var rightTrimBST(root.right,low,high);return right;}if(root.val>high){var leftTrimBST(root.left,low,high)…

Kafka下载安装及基本使用

目录 Kafka介绍 消息队列的作用 消息队列的优势 应用解耦 异步提速 削峰填谷 为什么要用Kafka Kafka下载安装 Kafka快速上手&#xff08;单机体验&#xff09; 1. 启动zookeeper服务 2. 启动kafka服务 3. 简单收发消息 Kakfa的消息传递机制 Kafka介绍 Apache Kafka…

数据库面试题汇总

如何定位慢查询SQL慢语句执行的很慢&#xff0c;如何分析&#xff1f;索引概念及索引底层数据结构&#xff1f;聚簇索引和非聚簇索引、回表查询&#xff1f;覆盖索引、超大分页优化索引创建的原则什么情况下索引会失效谈一谈你对SQL优化的经验事务的特性并发事务问题、隔离级别…

联邦学习公式推导--为何只需要发送模型参数而不是模型梯度?

参考文献&#xff1a;https://arxiv.org/pdf/1602.05629v4.pdf 对于一个机器学习应用来说&#xff0c;我们需要找到一个目标函数&#xff0c;使其最小化 f ( w ) 1 n ∑ i 1 n f i ( w ) f(w) \frac{1}{n}\sum_{i1}^{n}f_i(w) f(w)n1​i1∑n​fi​(w) 上面等式中&#xff…

Vue3中的watch函数使用

Vue2和Vue3中的watch函数作用是一样的&#xff0c;用来监测数据的变化并在数据变化时触发对应的回调函数&#xff0c;但Vue2和Vue3中的watch在使用的细节上有所不同&#xff0c;Vue3中的watch在监测reactive定义的响应式数据时&#xff0c;oldValue&#xff08;旧的值&#xff…

模拟实现哈希表 - HashMap(Java版本)

目录 1. 概念 2. 冲突-概念 3. 冲突-避免 4. 冲突-避免-哈希函数设计 5. 冲突-避免-负载因子调节 ⭐⭐⭐⭐⭐ 6. 冲突-解决 6.1 冲突-解决-闭散列 6.2 冲突-解决-开散列/哈希桶 ⭐⭐⭐⭐⭐ 7. 冲突严重时的解决办法 8. 模拟实现 1. 概念 顺序结构以及平衡树中&#…

揭开时间序列的神秘面纱:特征工程的力量

目录 写在开头1. 什么是特征工程?1.1 特征工程的定义和基本概念1.2 特征工程在传统机器学习中的应用1.3 时间序列领域中特征工程的独特挑战和需求3. 时间序列数据的特征工程技术2.1 数据清洗和预处理2.1.1 缺失值处理2.1.2 异常值检测与处理2.2 时间特征的提取2.2.1 时间戳解析…

MySQL基础(三)-学习笔记

一.innodb引擎&#xff1a; 1). 表空间&#xff1a;表空间是InnoDB存储引擎逻辑结构的最高层&#xff0c;启用了参数 innodb_file_per_table(在 8.0版本中默认开启) &#xff0c;则每张表都会有一个表空间&#xff08;xxx.ibd&#xff09;&#xff0c;一个mysql实例可以对应多个…

计算机网络——网络层(3)

计算机网络——网络层&#xff08;3&#xff09; 小程一言专栏链接: [link](http://t.csdnimg.cn/ZUTXU)1 网络层——控制平面因特网中自治系统内部的路由选择总括考虑因素总结 ISP之间的路由选择&#xff1a;BGP考虑因素总结 SDN控制层面重要组件和功能总结 ICMP主要功能和特点…

京东手机评论分析

文章目录 前言:数据处理1.1数据导入1.2数据描述1.3数据预处理 2.情感分析2.1情感分析安装snownlp包 2.2 情感分直方图情感分直方图 2.3 词云图2.4 关键词提取关键词top10 3 积极评论与消极评论3.1 积极评论与消极评论占比计算积极评论与消极评论各自的数目积极评论占比 3.2 消极…

大脑模型认知实验报告(脑与认知期末考核)

实验名称&#xff1a;大脑模型认知实验 实验目的&#xff1a; &#xff08;1&#xff09;对大脑的三部分、七层结构、区域划分有一个清晰的认识。 &#xff08;2&#xff09;对脑的各个区域的基本功能以及脑的工作方式有所了解。 实验环境&#xff1a;大脑模具、配有详细标…

Mongodb安装Linux

确定你的CentOS 版本 使用以下命令: /etc/centos-release下载Mongodb 解压tgz压缩包 创建data和log文件夹 , 确定你的文件夹访问权限 在log文件夹里面创建mongodb.log文件(这一步很重要 ! ! !) touch mongodb.log创建mongodb.conf文件 在你的mongodb文件夹下 vi mongo…

Flink 1.18.1 部署与配置 [CentOS7]

静态IP设置 # 修改网卡配置文件 vim /etc/sysconfig/network-scripts/ifcfg-ens33# 修改文件内容 TYPEEthernet PROXY_METHODnone BROWSER_ONLYno BOOTPROTOstatic IPADDR192.168.18.128 NETMASK255.255.255.0 GATEWAY192.168.18.2 DEFROUTEyes IPV4_FAILURE_FATALno IPV6INIT…

GO 的 Web 开发系列(四)—— 静态资源文件访问的几种方式

Gin 的路由其实就是 Java 中 RequestMapping 注解的内容&#xff0c;只是 Go 需要在一个代码模块中统一对所有路由进行配置。 全文链接&#xff1a;https://blog.nineya.com/archives/155.html 一、路由组配置 一般情况下&#xff0c;通过路由需要完成两个事情&#xff0c;一…

如何本地搭建Emby影音管理服务并结合内网穿透实现远程访问本地影音库

文章目录 1.前言2. Emby网站搭建2.1. Emby下载和安装2.2 Emby网页测试 3. 本地网页发布3.1 注册并安装cpolar内网穿透3.2 Cpolar云端设置3.3 Cpolar内网穿透本地设置 4.公网访问测试5.结语 1.前言 在现代五花八门的网络应用场景中&#xff0c;观看视频绝对是主力应用场景之一&…

6个AI写作工具,让你的文字变得生动有力

写作是一项需要耐心和技巧的任务&#xff0c;对于许多人来说&#xff0c;写作可能是一项困难的挑战。然而&#xff0c;随着人工智能的发展&#xff0c;AI智能写作软件逐渐崭露头角&#xff0c;为我们提供了更加便捷和高效的写作体验。在本文中&#xff0c;我们将介绍几款好用的…

Spring-mybatis

怎样通过Spring整合Mybatis来实现业务 目录 1.导入依赖 <dependencies><dependency><groupId>junit</groupId><artifactId>junit</artifactId><version>3.8.1</version><scope>test</scope></dependency>&l…

一文教你如何本地搭建Qchan图床网站实现公网远程访问

文章目录 前言1. Qchan网站搭建1.1 Qchan下载和安装1.2 Qchan网页测试1.3 cpolar的安装和注册 2. 本地网页发布2.1 Cpolar云端设置2.2 Cpolar本地设置 3. 公网访问测试总结 前言 图床作为云存储的一项重要应用场景&#xff0c;在大量开发人员的努力下&#xff0c;已经开发出大…

代码随想录 Leetcode77.组合

题目&#xff1a; 代码&#xff08;首刷看解析 2024年2月1日&#xff09;&#xff1a; class Solution { public:vector<vector<int>> res;vector<int> path;void backtracing(int n, int k, int startIndex) {if (path.size() k) {res.push_back(path);re…