AutoMQ 1.1.0-RC0 重磅更新:内核升级到 Apache Kafka 3.7.0

AutoMQ 在 2024.02 正式发布了基于 Apache Kafka 3.4.0 的云原生重构版本 1.0.0,AutoMQ 1.0.0 版本相比原版提供了 Serverless、自动负载均衡、秒级分区迁移和 All in 对象存储能力,让 Kafka 用户能充分利用云的弹性能力和廉价存储,实现十倍成本优势。

AutoMQ 基于 Apache Kafka 3.4.0 版本开始进行 Kafka 云原生重构,在此期间 Apache Kafka 社区在 trunk 分支上提交了 1700+ 个 Commits,版本也从 3.4.0 演进到 3.7.0,新增了大量的特性、优化和修复

AutoMQ 为了保障 100% 与 Apache Kafka 兼容,在 AutoMQ 1.0.0 版本稳定后,就立刻开始了对 Apache Kafka 最新代码的合并工作。得益于 AutoMQ 存算分离的架构,对 Apache Kafka 的修改主要限制在存储切面,存储代码仅占整个项目不到 2%,因此 AutoMQ 合并跟进 Apache Kafka 的代码成本很低。

3.7.0 代码合并后,经过评审、Chaos 测试和 500+ E2E 测试,我们很高兴宣布 AutoMQ 1.1.0-RC0 版本正式发布,内核版本从 3.4.0 升级到 3.7.0。

https://github.com/AutoMQ/automq/releases/tag/1.1.0-rc0

新特性&优化

Apache Kafka 内核从 3.4.0 升级到 3.7.0 新增重要的特性和优化如下:

Kafka Broker, Controller, Producer, Consumer

ꔷ KIP-881:消费者分区分配支持 Rack-aware,节省跨 AZ 流量费用(3.5.0)

ꔷ KIP-887:增加 EnvVarConfigProvider 支持从环境变量加载配置(3.5.0)

ꔷ KIP-900:kafka-storage.sh API 增加对 Kraft SCRAM 验证支持(3.5.0)

ꔷ KIP-890:事务消息服务端防御,避免特殊场景下的事务悬挂问题(3.6.0 / 3.7.0)

ꔷ KIP-797:IPv4/IPv6 支持绑定到相同端口(3.6.0)ꔷ KIP-863:CompletedFetch#parseRecord 内存拷贝优化(3.6.0)

ꔷ KIP-868:KRaft 支持以事务模式提交一系列 Records(3.6.0)

ꔷ KIP-714:新增多语言统一的客户端 Metrics,提供从服务端查询客户端 Metrics 的能力(3.7.0)

ꔷ KIP-848:(Early Access)下一代消费者重平衡协议(3.7.0)

ꔷ KIP-951:客户端分区 Leader 发现优化,降低发送/消费的时间(3.7.0)

ꔷ KIP-580:客户端指数退避重试(3.7.0)

Kafka Streams

ꔷ KIP-889:新增 Versioned State Stores 提升在乱序场景下的 join 准确性(3.5.0)
ꔷ KIP-923:为流表 Join 添加宽限期提升乱序处理能力(3.6.0)

ꔷ KIP-941:Range 查询上下界支持 null(3.6.0)

ꔷ KIP-925:Kafka Streams 支持 Rack aware 任务分配(3.7.0)

ꔷ KIP-954:扩展默认的 DSL 存储配置支持自定义类型(3.7.0)

ꔷ KIP-968:Versioned State Stores 新增 IQ 支持(3.7.0)

Kafka Connect

ꔷ KIP-710:MirrorMaker 2.0 支持分布式模式(3.5.0)

ꔷ KIP-898:Connect 插件服务发现能力增强(3.6.0)

ꔷ KIP-976:新增集群维度动态日志等级调节(3.7.0)

ꔷ KIP-980:支持创建停止状态的 Connectors(3.7.0)

参考资料

[1] https://archive.apache.org/dist/kafka/3.5.0/RELEASE\_NOTES.html

[2] https://archive.apache.org/dist/kafka/3.6.0/RELEASE\_NOTES.html

[3] https://downloads.apache.org/kafka/3.7.0/RELEASE\_NOTES.html

[4] https://www.confluent.io/blog/introducing-apache-kafka-3-7/

END

关于我们

我们是来自 Apache RocketMQ 和 Linux LVS 项目的核心团队,曾经见证并应对过消息队列基础设施在大型互联网公司和云计算公司的挑战。现在我们基于对象存储优先、存算分离、多云原生等技术理念,重新设计并实现了 Apache Kafka 和 Apache RocketMQ,带来高达 10 倍的成本优势和百倍的弹性效率提升。

🌟 GitHub 地址:https://github.com/AutoMQ/automq

💻 官网:https://www.automq.com

👀 B站:AutoMQ官方账号

🔍 视频号:AutoMQ

关注我们,一起学习更多云原生技术干货!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/788448.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Flutter混淆方案对应用性能的影响分析与优化

在移动应用开发中,保护应用代码安全至关重要。Flutter 提供了简单易用的混淆工具,帮助开发者在构建 release 版本应用时有效保护代码。本文将介绍如何在 Flutter 应用中使用混淆,并提供了相关的操作步骤和注意事项。 📝 摘要 本…

mysq性能优化-my.cnf配置文件参数调整

MySQL 优化配置文件(my.cnf 或 my.ini)是调整 MySQL 服务器性能的重要手段之一。以下是一些常见的场景,可以通过调整配置文件参数值来优化 MySQL: 1. **提高并发处理能力**: - innodb_buffer_pool_size:增…

【C++】lambda 表达式 / 包装器 / bind 绑定

目录 一. lambda 表达式1. lambda 表达式的语法1. lambda 表达式的使用2. lambda 表达式的捕捉列表 二. 包装器三. bind 绑定 一. lambda 表达式 Lambda 表达式是 C11 标准引入的一种新特性, 它提供了一种方便的方式来定义匿名函数. lambda 表达式实际上是一个匿名的仿函数; …

信创工程师招聘需求分析

职责描述: 1.配合河南区域行业拓展经理,负责河南区域各重点行业嵌入式、信息化软硬件解决方案的设计、研究与推广工作,支持用户开展CPU选型工作。 2. 负责支持飞腾重点行业方向重点客户嵌入式、信息化相关项目的PoC和实施支持工作&#xff0c…

【FTP,EMail】

文章目录 FTPFTP:文件传输协议FTP: 控制连接与数据连接分开FTP命令、响应 EMail电子邮件(EMail)邮件服务器EMail: SMTP [RFC 2821]SMTP:总结 FTP FTP:文件传输协议 向远程主机上传输文件或从远程主机接收文件。客户/服…

使用tcpdump和wireshark进行服务器抓包分析

目录 前言 1.tcpdump简介 2.Wireshark简介 3.实际案例 4.代码示例 5.总结 前言 服务器抓包分析是一种非常常见和有效的网络故障排查和性能优化手段。通过捕获服务器上的网络流量,可以帮助我们深入了解服务器与其它设备之间的通信情况,发现问题并进…

创新学术之道:如何充分利用ChatGPT优化论文写作过程

ChatGPT无限次数:点击直达 创新学术之道:如何充分利用ChatGPT优化论文写作过程 随着人工智能技术的发展,ChatGPT作为一种高效的自然语言处理工具,在学术领域的应用也日渐普及。本文将介绍如何充分利用ChatGPT优化论文写作过程,提…

Java多线程实战-从零手搓一个简易线程池(三)线程工厂,核心线程与非核心线程逻辑实现

🏷️个人主页:牵着猫散步的鼠鼠 🏷️系列专栏:Java全栈-专栏 🏷️本系列源码仓库:多线程并发编程学习的多个代码片段(github) 🏷️个人学习笔记,若有缺误,欢迎评论区指正…

Mac上怎么合并多张图片?

Mac上怎么合并多张图片?上班过的小伙伴都应该知道,合并拼接图片是一件非常重要且经常需要使用到的图片处理技术,将多张图片合并拼成一张之后能够展现出更多的图片内容。在Mac电脑上,合并多张图片是一项常见的任务,无论…

策略模式详解+代码案例

首先简单介绍策略模式 该模式定义了一系列算法,并将每个算法封装起来,使它们可以相互替换,且算法的变化不会影响使用算法的客户。策略模式属于对象行为模式,它通过对算法进行封装,把使用算法的责任和算法的实现分割开…

notepad++ 快捷键使用

notepad 很好用 使用快捷键能提高效率 以下为我常用的快捷键 键位效果ctrl l删除高亮行ctrl d重复高亮行ctrl k注释选中行ctrl q取消注释选中行ctrl w关闭文本窗口ctrl tab向右切换窗口ctrl shift tab向左切换窗口ctrl 滚轮向滚动方向切换窗口ctrl shift 滚轮滚动选…

【教程】Kotlin语言学习笔记(六)——泛型

写在前面: 如果文章对你有帮助,记得点赞关注加收藏一波,利于以后需要的时候复习,多谢支持! 【Kotlin语言学习】系列文章 第一章 《认识Kotlin》 第二章 《数据类型》 第三章 《数据容器》 第四章 《方法》 第五章 《L…

关系型数据库设计

目录 1.数据库设计的重要性及定义 1.1 数据库设计的重要性 1.1.1 失败的数据库设计造成的后果 1.1.2 优秀的数据库设计带来的好处 1.2 数据库设计的定义 2.数据库需求分析 2.1 需求分析的步骤 2.1.1 收集信息 2.1.2 标识实体 2.1.3 标识每个实体的详细信息 2.1…

【HTML】制作一个简单的动态SVG图形

目录 前言 开始 HTML部分 CSS部分 效果图 总结 前言 无需多言,本文将详细介绍一段HTML和CSS代码,该代码用于创建一个动态的SVG图形,具体内容如下: 开始 首先新建文件夹,创建两个文本文档,其中HTML的文…

【2023】kafka原生以及配合springboot的使用(Kafka-3)

💻目录 前言 一、依赖二、原生使用kafka1、发送消息1.1、生产者同步发送消息1.2、生产者异步发送消息1.3、常用配置: 2、接收消息2.1、关于消费者的自动提交和手动提交2.2、长轮训poll消息2.3、消费者的健康状态检查2.4、指定分区和偏移量,时…

使用docker-tc对host容器进行限流

docker-tc是一个github开源项目,项目地址是https://github.com/lukaszlach/docker-tc。 运行docker-tc docker run -d \ --name docker-tc \ --network host \ --cap-add NET_ADMIN \ --restart always \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /var…

Transformer - model architecture

Transformer - model architecture flyfish Transformer总体架构可分为四个部分: 输⼊部分 输出部分 编码器部分 解码器部分 输入部分 输出部分 输⼊部分包含: 源嵌⼊层和位置编码 ⽬标嵌⼊层和位置编码 输出部分包含: 线性层 softmax处理器 左侧编码器部分和右侧解码器部…

微信小程序自定义弹窗组件

业务背景&#xff1a;弹窗有时字体较多&#xff0c;超过7个字&#xff0c;不适用wx.showToast. 组件代码 <view class"toast-box {{isShow? show:}}" animation"{{animationData}}"><view class"toast-content" ><view class&q…

Taro + vue3 小程序封装标题组件

分为没有跳转页面的title组件和 有跳转页面的title组件 我们可以把这个封装成一个组件 直接上代码 <template><div class"fixed-title-container"><div class"box"><div class"icon" v-if"isShow" click"…

代码随想录Day42

Day 42 动态规划 part04 今日任务 二维数组解决01背包问题一维数组解决01背包问题 分割等和子集 代码实现 二维数组解决01背包问题 public static int maxValue(int maxWeight, int[] weight, int[] value) {int[][] dp new int[weight.length][maxWeight 1];for (int j…