Kafka——消费者偏移量存储问题

目录

引入—— 存储在哪

为啥最开始是存储在zookeeper中的?

为啥不继续用zookeeper存储了?

 回顾*分区副本机制


 

每个消费者在一个消费者组中都有自己的偏移量,用于记录消费到的消息位置。消费者可以通过提交偏移量来告知 Kafka 服务器它已经处理了哪些消息,下次消费时可以从哪里开始

 

引入—— 存储在哪

  • 较早的 Kafka 版本(0.8.x 及之前),消费者的偏移量是存储在 Zookeeper 中的。这种方式在新的 Kafka 版本中已经被弃用,因为将偏移量存储在 Kafka 自身可以提高性能并简化管理。
  • Kafka 0.9.0.0 版本开始,默认情况下,消费者组的偏移量会被存储在一个特殊的内部主题 `__consumer_offsets` 中。这个主题是由 Kafka 自动管理的,存储了所有消费者组的偏移量信息。
       - `__consumer_offsets` 主题使用与普通主题相同的*分区和副本机制,以保证偏移量存储的高可用性和可靠性。每个消费者组在每个分区中的偏移量都会被存储在这个主题的相应分区中。
  • 如何查看偏移量信息?
     Kafka 提供的命令行工具 kafka-consumer-groups.sh来查看和管理消费者组的偏移量。例如:
     
     
     kafka-consumer-groups.sh --bootstrap-server <kafka-broker> --describe --group <consumer-group-id>

为啥最开始是存储在zookeeper中的?

1.   Zookeeper 能确保每个消费者组中的偏移量信息一致且可靠。也避免了并发问题。

为啥zookeeper能确保每个消费者组的偏移量信息一致并且可靠?

s持久化存储数据不会丢失,原子性操作,保证了顺序性处理与应用,watch监视机制及时去通知

持久化存储:Zookeeper 将数据存储在磁盘上,即使发生服务器崩溃或重启,存储的偏移量信息也不会丢失。这种持久化存储保证了即使发生故障,也能够恢复正确的偏移量状态。

原子性操作:Zookeeper 支持原子性操作,这意味着针对单个 znode 的更新是原子的。

Watch 机制:Zookeeper 提供了一种监视机制,消费者可以通过注册 Watch 来监听偏移量信息的变化。一旦偏移量信息发生变化,Zookeeper 将通知订阅了该 Watch 的消费者,使得消费者能够及时更新自己的状态。

顺序一致性:确保了在多个操作同时发生时,每个操作都按照确定的顺序被处理和应用,避免了并发更新导致的数据不一致性问题。

只有leader进行写操作。follower进行读操作,这意味着,Zookeeper 都只会接受并传播来自 Leader 节点的更新,从而确保所有节点的数据视图是一致的。

 2. 

在 Kafka 早期版本中,架构设计简单,Zookeeper 被广泛用于集群的元数据管理,包括主题、分区、领导者选举等各种关键配置和状态。将消费者的偏移量存储在 Zookeeper 中是一个自然的选择。
3. 简单性

初期,使用 Zookeeper 来管理偏移量相对简单,开发和维护成本较低。Zookeeper 提供的 API 已经能够满足偏移量存储的基本需求。

为啥不继续用zookeeper存储了?

  • 1. 性能瓶颈

随着 Kafka 集群和消费者组规模的扩展,偏移量存储在 Zookeeper 中带来了性能瓶颈。频繁的读写操作增加了 Zookeeper 的负担,影响了整个系统的性能和可扩展性。

  • 2. 复杂性增加:

 管理依赖于 Zookeeper 的偏移量变得越来越复杂,特别是在大规模集群中。需要额外的运维和监控工作来确保 Zookeeper 的高可用性和性能。

  • 3. 延迟问题:

 Zookeeper 的一致性保证虽然强,但也会带来一定的延迟,特别是在网络不稳定或负载高的情况下。这对于需要快速响应的消费者来说,可能会影响实时性。

鉴于这些问题,Kafka 社区在 0.9.0.0 版本引入了将偏移量存储在 Kafka 自身的内部主题 `__consumer_offsets` 中的新机制。这种方式充分利用了 Kafka 的日志系统,解决了上述问题,带来了更好的性能、一致性和简化的管理方式。

总结来说,最开始将偏移量存储在 Zookeeper 中是基于当时的技术背景和架构设计考量,但随着 Kafka 的演进和应用场景的扩大,转向使用 Kafka 内部主题来存储偏移量是一个自然且必要的发展方向。

 回顾*分区副本机制

__consumer_offsets 主题,它存储了消费者组的偏移量信息,其分区和副本机制与普通主题类似,但有一些特殊性:

  • 分区数量__consumer_offsets 主题的分区数量通常等于 Kafka 集群中的 broker 数量,这样可以确保每个 broker 上都有该主题的分区副本。
  • 副本分布:与普通主题一样,__consumer_offsets 主题的每个分区会有多个副本分布在不同的 broker 上,确保数据的可靠性和容错性。
  • 选举和同步:如果某个副本不可用,Kafka 会通过副本的同步机制保证副本的数据与领导者副本保持同步,确保数据的完整性和一致性。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/31968.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++ 反转一个二进制串

描述 一个32位有符号整数&#xff0c;用二进制编码来表示。现需要将该二进制编码按位反转&#xff0c;计算出反转后的值。 示例1 输入&#xff1a; 1 返回值&#xff1a; -2147483648 说明&#xff1a; 00000000 00000000 00000000 00000001 翻转后为 10000000 000000…

移动端+PC端应用模式的智慧城管综合执法办案平台源码,案件在线办理、当事人信用管理、文书电子送达、沿街店铺分析

城市管理综合执法管理平台实现执法办案、业务全流程在线办理&#xff0c;依托移动端PC端的“两端”应用模式&#xff0c;保障能够通过信息化手段进行日常的执法办案工作&#xff0c;强化执法监督功能。提供了案件在线办理、当事人信用管理、文书电子送达、沿街店铺分析等功能&a…

VMware vSphere Bitfusion 4.5.4 - 面向 AI 和 ML 应用提供弹性基础架构

VMware vSphere Bitfusion 4.5.4 - 面向 AI 和 ML 应用提供弹性基础架构 请访问原文链接&#xff1a;VMware vSphere Bitfusion 4.5.4 - 面向 AI 和 ML 应用提供弹性基础架构&#xff0c;查看最新版。原创作品&#xff0c;转载请保留出处。 作者主页&#xff1a;sysin.org VM…

Apache HTTP server benchmarking tool(ab)-服务器基准测试工具一文上手

这是一个非常简单的工具&#xff0c;用途比较有限&#xff0c;只能针对单个URL进行尽可能快的压力测试。 ​ Windows下如何下载安装&#xff08;Linux安装十分简单&#xff09; Apache HTTP server benchmarking tool(ab)下载地址 ​ 资源 2.4版本 httpd-2.4.48-o111k-x64…

赋能AI未来,景联文科技推出高质量亿级教育题库、多轮对话以及心理大模型数据

当前&#xff0c;大模型正如雨后春笋般不断涌现&#xff0c;不断推动着大模型产业的应用实践进入加速发展的新阶段。 景联文科技是AI数据服务公司&#xff0c;提供海量优质大模型数据集&#xff0c;涵盖文本、图像、视频、音频等多类型数据&#xff0c;致力于为不同训练阶段的算…

maven:中央仓库验证方式改变:401 Content access is protected by token

前几天向maven中央仓库发布版本&#xff0c;执行上传命令mvn release:perform时报错了&#xff1a; [ERROR] Failed to execute goal org.sonatype.plugins:nexus-staging-maven-plugin:1.6.13:deploy (injected-nexus-deploy) on project xxxxx: Failed to deploy artifacts: …

基于Redis和openresty实现高并发缓存架构

目录 概述缓存架构设计实践代码路由业务封装redis 效果 概述 本文是对项目中 QPS 高并发相关问题的一种解决方案&#xff0c;利用 Nginx 与 Redis 的高并发、超低延迟响应&#xff0c;结合 Canal 进行实现。 openrestry官网 当程序需要提供较高的并发访问时&#xff0c;往往需…

0117__Makefile 中:= ?= += =的区别

Makefile 中: ? 的区别-CSDN博客

【单片机】MSP430G2553单片机 Could not find MSP-FET430UIF on specified COM port 解决方案

文章目录 MSP430G2553开发板基础知识解决办法如何实施解决办法4步骤一步骤二步骤三 MSP430G2553开发板基础知识 MSP430G2553开发板如下图&#xff0c;上半部分就是UIF程序下载调试区域的硬件。个人觉得MSP430G2553开发板的这个部分没有做好硬件设计&#xff0c;导致很多系统兼…

计算机组成原理笔记-第1章 计算机系统概论

第一章 计算机系统概论 笔记PDF版本已上传至Github个人仓库&#xff1a;CourseNotes&#xff0c;欢迎fork和star&#xff0c;拥抱开源&#xff0c;一起完善。 该笔记是最初是没打算发网上的&#xff0c;所以很多地方都为了自我阅读方便&#xff0c;我理解了的地方就少有解释&a…

【鸿蒙】 模拟器运⾏

【鸿蒙】HUAWEI DevEco Studio安装-CSDN博客 【鸿蒙】创建第⼀个鸿蒙项⽬-CSDN博客 点击 Tools 菜单下的 Device Manager 点击 Install &#xff0c;安装模拟器 下载模拟器相关的SDK&#xff0c;点击 Finish 选择安装⽬录&#xff0c;点击 New Emulator 选择设备类型&#…

【ARMv8/ARMv9 硬件加速系列 2 -- ARM NEON 加速运算介绍】

文章目录 ARM NEONNEON 向量寄存器NEON 寄存器使用方式NEON 寄存器的视图NEON 寄存器别名NEON 寄存器的用途ARM NEON 在ARMv8架构中,引入了一组新的寄存器,称为向量寄存器(Vector Registers),用于支持高效的向量和浮点计算。这些寄存器是SIMD(Single Instruction, Multi…

PCL common中常见的基础功能函数

文章目录 一、common模块中的头文件二、common模块中的基本函数1、angles.h2、centroid.h1)计算给定一群点的3D中心点,并且返回一个三维向量2)计算给定的三维点云的协方差矩阵。3)计算正则化的3*3的协方差矩阵以及给定点云数据的中心点4)利用一组点的指数对其进行一般的、…

【SQL】in 和 exists 的区别

在 SQL 中&#xff0c;IN 和 EXISTS 都用于过滤查询结果&#xff0c;但它们在使用场景和性能方面有一些区别。下面是详细的解释&#xff1a; 1. IN IN 操作符用于检查某个值是否存在于一个指定的列表或子查询的结果集中。IN 常用于较小的数据集和静态值列表。 语法 SELECT …

报错:has naming conflicts with other components, ignored

在 Vue 项目编译时&#xff0c;出现如下报错 [unplugin-vue-components] component "xxx"(xxx/Index.vue) has naming conflicts with other components, ignored. [unplugin-vue-components] component "xxx"(xxx/Index.vue) has naming conflicts with …

FFmpeg源码:bytestream2_peek_be32函数分析

一、bytestream2_peek_be32函数的声明 FFmpeg源码中bytestream2_peek_be32函数的声明如下&#xff1a; DEF(unsigned int, be32, 4, AV_RB32, AV_WB32) 该宏定义有多层。把它简化&#xff0c;其函数声明可以等价于&#xff1a; static unsigned int bytestream2_peek_be32(G…

GSettings(一)——Root 权限的服务调用Gsetting失效

错误描述 当在 root 权限下拉起的服务中&#xff0c;调用 Gsetting 设置 key&#xff0c;无法实现持久化&#xff0c;并且命令行查看 key 并没有设置成功&#xff0c;命令行运行会输出如下警告&#xff1a; (process:183768): dconf-WARNING **: 10:55:36.400: failed to comm…

代码随想录——分发饼干(Leetcode455)

题目链接 贪心 class Solution {public int findContentChildren(int[] g, int[] s) {Arrays.sort(g);Arrays.sort(s);int count 0;for(int i 0, j 0; i < g.length && j < s.length; i, j){if(s[j] > g[i]){count;}else{i--;}}return count;} }

springboot中获取某个注解下面的某个方法参数值

要获取方法的参数值&#xff0c;你首先需要有一个类的实例&#xff0c;并且需要能够实际调用该方法。在Java中&#xff0c;方法的参数值是在方法被调用时由调用者传入的&#xff0c;因此&#xff0c;你不能直接从外部“获取”一个未调用方法的参数值。 下面是一个简单的示例&a…