Kafka的分区(partition和副本)

在 Kafka 中,分区(Partition)是一个逻辑上的概念,它将一个主题(Topic)中的消息进行分组。每个分区都有一个唯一的编号,称为分区 ID(Partition ID),它从 0 开始递增。

通过分区,Kafka 可以将大量的消息分布到多个服务器上,从而提高系统的处理能力和吞吐量。

同时,分区也提供了一种灵活的消息分发方式,可以根据不同的需求将消息发送到不同的分区中。 在 Kafka 中,每个分区都有一个对应的文件,称为分区日志(Partition Log)。

        分区日志是一个顺序写的日志文件,它存储了该分区中的所有消息。

        每个消息都被分配到一个特定的分区中,并被存储在该分区的日志文件中。

        Kafka 采用了分布式提交协议(Distributed Commit Protocol)来保证消息的可靠性和一致性。当生产者将消息发送到 Kafka 时,它会将消息存储到内存中,并将其提交到 Kafka 集群。

        在提交过程中,Kafka 会将消息写入到对应的分区日志中,并在所有的副本中进行同步。 消费者可以订阅一个或多个主题,并从对应的分区中读取消息。Kafka 会根据消费者的订阅信息,将消息从对应的分区中读取出来,并发送给消费者。通过分区,Kafka 可以实现消息的负载均衡和高可用性。

        一个分区同时只能被一个消费组的一个消费者消费。但有可能因为一些原因,这个分区会被分配到其他消费者。比如消费者减少或者增多,分区数量减少或者增多。如果有多个消费组都订阅一个主题,那么同一个分区就会同时被多个消费组的消费者消费。

        一个分区内的消息是顺序的。

        一个主题(Topic)的不同分区可以分布在不同broker上,这样可以解决单一broker的IO瓶颈问题。

        分区有副本,分布在不同broker上。遵从一主多从的关系。leader负责读写。follower负责与leader同步。肯定有时延。

        因为同步有时延。副本分为ISR和OSR。ISR就是能跟的上leader进度的(其中包含leader)。OSR就是因为一些原因跟不上leader副本的(不包含leader副本)或者失效的分区副本。

        ISR内的follower可以参与leader的重新选主。OSR因为落后过多,不能参与leader重新选主。

        leader副本中有两个标识位,一个是HW(High WaterMark),一个是LEO(Log End Offset)。LEO是leader副本中已经写入的消息所在的偏移量。HW是同步到ISR集合中所有副本后的消息的偏移量。消费者只可以读到小于HW偏移量的消息。leader副本的消息全部同步follower后,LEO=HW。表示leader副本内的消息全部可读。

        ISR和OSR都是通过zookeeper记录的

        副本的数据同步是follower发起的。一个消息只有在同步到所有副本后,才会被认为是已提交

        

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/760599.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

许战海战略文库|橋頭品牌突破区域局限打透全国市场的4个建议

自宣统元年(公元1908年)起,重庆南岸区海棠溪古石桥边诞生了一家传奇火锅店——桥头火锅。凭借深厚的文化底蕴和独特的风味,历经百年沉淀桥头火锅已成为南岸区乃至中华餐饮文化中的璀璨明珠。 桥头火锅不仅荣获了“中华老字号”和“中国名菜”两项殊荣&a…

生产者消费者模式

生产者消费者模式 如何用 BlockingQueue 实现生产者消费者模式如何用 Condition「条件变量」 实现生产者消费者模式如何用 wait/notify 实现生产者消费者模式扩展 生产者消费者模式,生产者消费者模式是多线程编程中非常常见的一种设计模式,它被用于解决生…

部署Elasticsearch集群,实现海量航迹数据存储

文章目录 引言I 集群的部署方式1.1 单主节点1.2 多主节点1.3 节点的角色1.4 查询集群状态II 单主节点2.1 安装Master Node2.2 安装Slave nodeIII 主主模式3.1 node-13.2 node-23.3 参数含义IV Logstash4.1 通过下载来安

【DL经典回顾】激活函数大汇总(三十七)(PLU附代码和详细公式)

激活函数大汇总(三十七)(PLU附代码和详细公式) 更多激活函数见激活函数大汇总列表 一、引言 欢迎来到我们深入探索神经网络核心组成部分——激活函数的系列博客。在人工智能的世界里,激活函数扮演着不可或缺的角色,它们决定着神经元的输出,并且影响着网络的学习能力与…

Python从入门到精通秘籍十

一、Python之了解异常 当在Python中执行代码时,如果发生错误,就会抛出异常(Exception)。处理异常是编写健壮的代码的重要部分。Python提供了try-except语句来捕获和处理异常。 下面是使用Python代码详细讲解异常处理的例子&…

PyGWalker:Python中的Tableau,数据可视化变得如此简单!

文章目录 1介绍2 安装3 使用4 将数据可视化导出为代码5 总结 1介绍 在数据分析和可视化的领域,Tableau凭借其强大的功能和直观的界面,一直以来都是专业人士的首选工具。然而,对于许多用户而言,Tableau的封闭性和高昂的成本使其难…

从0到1:Java构建高并发、高可用分布式系统的实战经验分享

文章目录 引言基础架构选择与设计微服务架构分布式储存与计算 高并发处理策略异步处理与消息队列并发控制与资源隔离 高可用性设计与故障恢复冗余与集群化容错与自我修复监控与运维自动化 引言 随着互联网业务的快速发展和技术迭代升级,作为Java架构师,…

【MySQL】对数据库的操作以及数据库备份相关操作

👦个人主页:Weraphael ✍🏻作者简介:目前学习计网、mysql和算法 ✈️专栏:MySQL学习 🐋 希望大家多多支持,咱一起进步!😁 如果文章对你有帮助的话 欢迎 评论&#x1f4ac…

有ai写文案的工具吗?分享5款好用的工具!

在数字化时代,人工智能(AI)已渗透到我们生活的方方面面,包括内容创作领域。AI写文案的软件以其高效、便捷的特点,正逐渐受到广大内容创作者、营销人员、甚至普通用户的青睐。本文将为您盘点几款热门的AI写文案软件&…

NetSuite 固定资产Write-Off的撤回操作

之前我们有说到如果是Sale了固定资产后发现有误,需要撤回操作该如何处理。这篇文章来补充一下,如果是误Write-Off了一个固资该如何处理,其逻辑与Sale的撤回基本一致,但是少了删除Sale Invoice的步骤。 我们用一个实际的例子来进行…

突破编程_C++_C++11新特性(右值引用与移动语义)

1 右值引用 1.1 右值引用的基本概念 右值引用是 C11 中引入的一个关键特性,它允许程序员显式地将一个表达式标记为右值,从而可以利用移动语义进行优化。在深入探讨右值引用的基本概念之前,首先需要理解左值和右值的概念。 在 C 中&#xf…

HTML5:七天学会基础动画网页(end)

想了想还是有一点东西还没说,当然这块内容也比较简单,就是当我们有一段完整素材时,如下: 我在网上随便找的素材,当然我们平时在使用素材时要注意尊重他人的著作权,不管是字体图片还是别的,不然后面不小心侵…

字符串筛选排序 - 华为OD统一考试(C卷)

OD统一考试(C卷) 分值: 100分 题解: Java / Python / C++ 题目描述 输入一个由n个大小写字母组成的字符串, 按照 ASCII 码值从小到大的排序规则,查找字符串中第 k 个最小ASCII 码值的字母(k>=1) , 输出该字母所在字符串的位置索引(字符串的第一个字符位置索引为0) 。…

NS3 使用 waf 工具添加外部库

我最近在写 NS3 的时候想要把他人写好的外部库添加到 NS3 中一起编译&#xff0c;在 Linux 系统中&#xff0c;添加外部库往往通过编译选项 -l<外部库名> 来添加&#xff0c;而在大型项目中往往需要把外部库写到 Makefile 文件中通过 make 来编译。奈何 NS3 的早期版本都…

org.springframework.beans.factory.BeanNotOfRequiredTypeException异常处理

目录 一、问题详情 二、示例代码 三、原因分析 四、解决方案 一、问题详情 在本地启动项目的时候,突然报了如下错误,导致整个项目启动失败了。 org.springframework.bea

【蓝桥杯备赛】Day15:递推与递归(倒计时23天)

题目1:题目 2335: 信息学奥赛一本通T1422-活动安排 设有n个活动的集合E{1,2,…,n}&#xff0c;其中每个活动都要求使用同一资源&#xff0c;如演讲会场等&#xff0c;而在同一时间内只有一个活动能使用这一资源。每个活动i都有一个要求使用该资源的起始时间si和一个结束时间fi…

【微信小程序】零基础快速入门

微信小程序 小程序与普通网页开发的区别 1 运行环境不同 网页运行在浏览器环境中 小程序运行在微信环境中2 API 不同 由于运行环境的不同,所以在小程序中,无法调用 DOM 和 BOM 的API 但是,小程序中可以调用微信环境提供的各种 API,例如:地理位置、扫码、支付等等3 开发模…

【C++】CC++内存管理

目录 一、C/C内存分布二 、C语言中动态内存管理方式&#xff1a;malloc/calloc/realloc/free三、 C内存管理方式3.1 new/delete操作内置类型3.2 new和delete操作自定义类型3.3 长度域 四、operator new与operator delete函数五、new和delete的实现原理5.1 内置类型5.2 自定义类…

Lombok:@Singular集合元素灵活添加利器

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 一、Singular介绍 二、使用示例 三、注意事项 四、使用场景 总结 提示&#xff1a;以下是本篇文章正文内容&#xff0c;下面案例可供参考 一、Singular介绍 Sing…

【LAMMPS学习】三、构建LAMMPS(7)具有额外构建选项的软件包

3. 构建 LAMMPS 3.7.具有额外构建选项的软件包 当使用某些包进行构建时&#xff0c;除了Build_package页面上描述的步骤之外&#xff0c;可能还需要额外的步骤。 ​ 对于CMake构建&#xff0c;可能有额外的可选或必需的变量要设置。对于使用make进行构建&#xff0c;可能需…