Debezium发布历史27

原文地址: https://debezium.io/blog/2018/01/25/debezium-0-7-2-released/

欢迎关注留言,我是收集整理小能手,工具翻译,仅供参考,笔芯笔芯.

Debezium 0.7.2 发布
一月 25, 2018 作者: Gunnar Morling
发布 mysql mongodb postgres docker
我很高兴地宣布 Debezium 0.7.2发布!

新功能包括对地理空间类型的支持、用于恢复 MySQL 连接器丢失的数据库历史记录主题的新快照模式,以及用于将 MongoDB 更改事件转换为可由更多接收器连接器使用的结构的消息转换。当然,我们也修复了很多错误。

Debezium 0.7.2 是之前 0.7.x 版本的直接替代品。从 0.7.0 之前的版本升级时,请查看所有 0.7.x 版本的发行说明,以了解升级可能需要的任何步骤。

非常感谢我们出色的社区成员为此版本所做的辛勤工作:Andrey Pustovetov、Denis Mikhaylov、Peter Goransson、Robert Coup、Sairam Polavarapu和Tom Bentley。

现在让我们仔细看看一些新功能。

MySQL 连接器
MySQL连接器最大的变化是支持地理空间列类型,如GEOMETRY、POLYGON等MULTIPOINT。

有两种新的逻辑字段类型 - io.debezium.data.geometry.Geometry和io.debezium.data.geometry.Geography - 用于表示变更数据消息中的地理空间列。这些类型通过 WKB(“众所周知的二进制”)和 SRID(坐标参考系统标识符)表示地理空间数据,允许下游消费者使用任何支持解析 WKB 的现有库来解释更改事件。稍后将发布包含更多详细信息的博客文章。

当由于某种原因您丢失了 MySQL 连接器使用的(部分)数据库历史记录主题时,新的快照模式会派上用场。 schema_only_recovery如果您想通过重新创建主题来压缩该主题,它也很有用。有关此模式的详细信息,请参阅连接器文档,尤其是。何时可以安全(何时不安全)使用它。

与管理数据库历史记录主题大小相关的另一个新功能是控制是包含所有 DDL 事件还是仅包含与根据白名单/黑名单配置捕获的表相关的事件的选项。再次,请查看连接器文档以了解有关该设置的具体信息的更多信息。

最后,我们修复了 MySQL DDL 解析器( DBZ-524、DBZ-530 )的一些缺点。

PostgreSQL 连接器
与 MySQL 连接器类似,Postgres 现在对地理空间列的支持有了很大的改进。更具体地说,PostGIS 列类型现在可以在更改数据事件中表示。非常感谢 Robert Coup 贡献了此功能!

此外,对 Postgres数组列的支持也得到了扩展,例如我们现在支持跟踪数组列的VARCHAR更改DATE。请注意,该连接器尚不支持地理空间数组列(您应该有这些列),但也应该很快添加。

如果您只想在快照中包含捕获表的行的子集,您可能希望能够指定专用的 SELECT 语句来执行此操作。例如,这可用于从快照中排除任何逻辑删除的记录(您可以根据该表中的某些标志来识别这些记录)。

该连接器中的一些错误也由社区成员报告和修复,例如连接器现在可以正确暂停(感谢 Andrey Pustovetov),并且我们修复了一个可能向 Kafka Connect提交错误偏移量的问题(感谢,通·梅卡提科姆)。

MongoDB 连接器
如果您曾经比较过 Debezium RDBMS 连接器(MySQL、Postgres)和 MongoDB 连接器发出的更改事件的结构,您就会知道后者的消息结构与其他连接器有点不同。由于 MongoDB 的无模式性质,更改事件本质上包含一个字符串,其中包含所应用的插入或补丁的 JSON 表示形式。此结构无法被现有接收器连接器使用,例如 JDBC 或 Elasticsearch 的 Confluence 连接器。

现在通过新添加的单消息转换 (SMT)可以实现这一点,它解析这些 JSON 字符串并从中创建结构化的 Kafka Connect 记录(感谢 Sairam Polavarapu!)。将此 SMT 应用于 JDBC 接收器连接器时,您现在可以将数据更改从 MongoDB 流式传输到任何受支持的关系数据库。

请注意,此 SMT 正在开发中,其发出的消息结构的详细信息可能仍会发生变化。此外,它可以实现的功能也存在一些固有的限制,例如,如果您的 MongoDB 文档中有数组,则此 SMT 创建的记录将相应地结构化,但许多接收器连接器无法处理这种结构。

我们在这里有一些进一步开发的想法,例如,可以选择展平(非数组)嵌套结构,以便将eg{ “address” { “street” : “…” } }表示为address_street,然后可以由期望扁平结构的接收器连接器使用。

我们的文档中详细描述了新的 SMT 。

下一步是什么?
请参阅完整的更改日志以了解更多详细信息以及 Debezium 0.7.2 中修复的问题的完整列表。

0.7.3 版本计划于 2 月 14 日发布。

我们将重点关注更多错误修复,我们还致力于让 Debezium 定期向专用主题发送心跳消息。这对于诊断目的非常实用,而且还有助于定期触发 Kafka Connect 中偏移量的提交。在某些情况下,当捕获很少更改的表时,这很有用。

我们还制定了一个路线图,描述我们对 Debezium 未来工作的想法,超越下一个错误修复版本。虽然没有什么是一成不变的,但这是我们在未来几个月内添加的功能的想法。如果您错过了此路线图上的任何重要内容,请在下面的评论中告诉我们或向我们的 Google 群组发送消息。期待您的反馈意见!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/578066.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Hive05_DML 操作

1 DML 数据操作 1.1 数据导入 1.1.1 向表中装载数据(Load) 1)语法 hive> load data [local] inpath 数据的 path [overwrite] into table student [partition (partcol1val1,…)];(1)load data:表示加载数据 &…

数据库添加/删除/修改表字段

目录 添加表字段 删除表字段 修改表字段 添加表字段 要在数据库中添加表字段,可以使用ALTER TABLE语句。 语法如下: ALTER TABLE table_name ADD column_name datatype;其中,table_name是要添加字段的表名,column_name是要添…

目标:三年内练就一口流利的英语

置顶,不删。三年后的今天来评论区分享学习成果

wpf-MVVM绑定时可能出现的内存泄漏问题

文章速览 引言错误示范示例1示例2 坚持记录实属不易&#xff0c;希望友善多金的码友能够随手点一个赞。 共同创建氛围更加良好的开发者社区&#xff01; 谢谢~ 引言 正确结构&#xff1a; Model <——> ViewModel <——> View 但很多时候&#xff0c;很容易出现…

前端---表单标签

1. 表单的介绍 表单用于搜集不同类型的用户输入(用户输入的数据)&#xff0c;然后可以把用户数据提交到web服务器 。 2. 表单相关标签的使用 <form>标签 表示表单标签&#xff0c;定义整体的表单区域 <label>标签 表示表单元素的文字标注标签&#xff0c;定义文字…

lodash源码分析每日一练 - 数组 - fromPairs

今日分享&#xff1a; 每一步都是曼妙的风景~ _.fromPairs(pairs) 使用&#xff1a; 这个方法返回一个由键值对pairs构成的对象。 使用示例&#xff1a; _.fromPairs([[fred, 30], [barney, 40]]); // > { fred: 30, barney: 40 }尝试手写&#xff1a; ①返回新对象 ②…

Redis数据结构(常用5+4种特殊数据类型)

1、Redis 数据类型以及使用场景分别是什么&#xff1f; Redis 提供了丰富的数据类型&#xff0c;常见的有五种数据类型&#xff1a;String&#xff08;字符串&#xff09;&#xff0c;Hash&#xff08;哈希&#xff09;&#xff0c;List&#xff08;列表&#xff09;&#xff…

119. 杨辉三角 II(Java)

给定一个非负索引 rowIndex&#xff0c;返回「杨辉三角」的第 rowIndex 行。 在「杨辉三角」中&#xff0c;每个数是它左上方和右上方的数的和。 示例 1: 输入: rowIndex 3 输出: [1,3,3,1]示例 2: 输入: rowIndex 0 输出: [1]示例 3: 输入: rowIndex 1 输出: [1,1]提示…

通过自然语言处理增强推荐系统:协同方法

一、介绍 自然语言处理 (NLP) 是人工智能的一个分支&#xff0c;专注于使机器能够以有意义且有用的方式理解、解释和响应人类语言。它包含一系列技术&#xff0c;包括情感分析、语言翻译和聊天机器人。 另一方面&#xff0c;推荐系统&#xff08;RecSys&#xff09;是旨在向用户…

Android笔记(二十一):Room组件实现Android应用的持久化处理

一、Room组件概述 Room是Android JetPack架构组件之一&#xff0c;是一个持久处理的库。Room提供了在SQLite数据库上提供抽象层&#xff0c;使之实现数据访问。 &#xff08;1&#xff09;实体类&#xff08;Entity&#xff09;&#xff1a;映射并封装了数据库对应的数据表中…

LeetCode——1276. 不浪费原料的汉堡制作方案

通过万岁&#xff01;&#xff01;&#xff01; 题目&#xff0c;给你两个数tomatoSlices和cheeseSlices&#xff0c;然后每制作一个巨无霸汉堡则消耗4个tomatoSlices和1和cheeseSlices&#xff0c;每制作一个小皇堡则需要消耗2个tomatoSlices和1和cheeseSlices。问给你这两个…

彻底卸载Keil4

彻底卸载Keil4 双击 然后回到该软件的文件夹位置&#xff0c;把该文件夹删除即可&#xff0c;然后清一下回收站。

Leetcode 1349. 参加考试的最大学生数(Java + 按行状压暴力 + DP)

文章目录 题目思路Java 按行状压暴力 DP&#xff1a;第 1 步&#xff1a;第 2 步&#xff1a;第 3 步&#xff1a;第 4 步&#xff1a; 复杂度Code 题目 Problem: 1349. 参加考试的最大学生数给你一个 m * n 的矩阵 seats 表示教室中的座位分布。如果座位是坏的&#xff08;…

【Midjourney】Midjourney提示词格式详解

目录 &#x1f347;&#x1f347;Midjourney是什么&#xff1f; &#x1f349;&#x1f349;Midjourney怎么用&#xff1f; &#x1f514;&#x1f514;Midjourney提示词格式 &#x1f341; 1.模型版本提示词&#x1f341; 参数 参数详解 应用示例 &#x1f343; 2.风格…

基于双闭环PI的SMO无速度控制系统simulink建模与仿真

目录 1.课题概述 2.系统仿真结果 3.核心程序与模型 4.系统原理简介 5.完整工程文件 1.课题概述 基于双闭环PI的SMO无速度控制系统simulink建模与仿真&#xff0c;基于双闭环PI的SMO无速度控制系统主要由两个闭环组成&#xff1a;一个是电流环&#xff0c;另一个是速度环。…

AssertionError: The environment must specify an action space. 报错 引发的惨案

起因是&#xff1a;从github上下载了一个代码&#xff0c;运行出错。 整体流程&#xff1a; 1. AssertionError: The environment must specify an action space. 报错&#xff0c;解决方案是 降级gym到 gym0.18.0 2.为了降级gym gym0.18.0 报错&#xff0c;发现需要降级 setup…

Linux scp命令教程:如何安全地在Linux机器之间复制文件(附案例详解和注意事项)

Linux scp命令介绍 scp命令是Secure Copy的缩写&#xff0c;它是一个基于SSH的命令行工具&#xff0c;用于在两个位置之间安全地复制文件和目录。使用scp&#xff0c;你可以从本地系统复制文件或目录到远程系统&#xff0c;从远程系统复制文件或目录到本地系统&#xff0c;或者…

k8s实战之ELK日志管理

首先查看总体流程 首先创建namespace apiVersion: v1 kind: Namespace metadata:name: kube-logging 一、首先创建es.yaml --- apiVersion: v1 #kubernetes API版本,采用最新版本v1 kind: Service #资源类型定义为Service metadata: name: elasticsearch-logging # …

vue3 全局配置Axios实例

目录 前言 配置Axios实例 页面使用 总结 前言 Axios 是一个基于 Promise 的 HTTP 客户端&#xff0c;用于浏览器和 Node.js 环境。它提供了一种简单、一致的 API 来处理HTTP请求&#xff0c;支持请求和响应的拦截、转换、取消请求等功能。关于它的作用&#xff1a; 发起 HTTP …

音视频技术开发周刊 | 325

每周一期&#xff0c;纵览音视频技术领域的干货。 新闻投稿&#xff1a;contributelivevideostack.com。 AI读心术震撼登顶会&#xff01;模型翻译脑电波&#xff0c;人类思想被投屏&#xff5c;NeurIPS 2023 在最近举办的NeurIPS大会上&#xff0c;研究人员展示了当代AI更震撼…