Kafka之ISR机制的理解

文章目录

  • Kafka的基本概念
  • 什么是ISR
  • ISR的维护机制
  • ISR的作用
  • ISR相关配置参数
  • 同步过程
  • 示例代码
  • 总结

Kafka中的ISR(In-Sync Replicas同步副本)机制是确保数据高可用性和一致性的核心组件。

Kafka的基本概念

在Kafka中,数据被组织成主题(Topic),每个主题分为多个分区(Partition)。每个分区有多个副本(Replica),这些副本分布在不同的Broker上,以确保数据的冗余和高可用性。

  • Leader Replica:每个分区有一个领导副本,负责处理所有读写请求。
  • Follower Replica:其他副本作为追随者,从领导副本中复制数据。

什么是ISR

ISR(In-Sync Replicas)是一个分区副本集合,这些副本被认为是与领导副本保持同步的。具体来说,ISR中的副本是那些能够在一定时间内(由参数replica.lag.time.max.ms指定)将数据同步到与领导副本相同位置的副本。

Kafka根据副本同步的情况,分成了3个集合:

  • AR (Assigned Replicas) : 包括ISR和OSR
  • ISR (In-sync Replicas) : 和leader副本保持同步的副本集合,可以被认为是可靠的数据
  • OSR (Out-Sync Replicas) :和Leader副本同步失效的副本集合

AR=ISR+OSR。

ISR的维护机制

  • 领导副本更新ISR:
    领导副本会定期检查每个追随者副本的状态。如果某个追随者副本在指定时间内未能跟上领导副本的更新,领导副本会将其从ISR中移除。
  • 追随者副本重新加入ISR:
    当追随者副本追上了领导副本的日志进度(即达到了与领导副本相同的日志偏移量),领导副本会将其重新加入ISR。

ISR的作用

  • 数据一致性保证:
    生产者在写入数据时,可以通过设置acks参数来控制数据的一致性级别。设置acks=all(或acks=-1)时,领导副本会等待所有ISR中的副本都确认收到数据后,才向生产者发送确认。这保证了数据在写入时至少被写入到ISR中的所有副本。
  • 故障容错能力:
    如果领导副本发生故障,Kafka会从ISR中选取一个新的领导副本。由于ISR中的副本与之前的领导副本保持同步,新的领导副本能够继续提供服务,而不会丢失数据。

ISR相关配置参数

replica.lag.time.max.ms:

追随者副本与领导副本之间的最大允许同步延迟时间。如果追随者副本超过此时间没有同步到领导副本,会被移出ISR。

min.insync.replicas:

最少同步副本数。生产者在设置acks=all时,只有当ISR中的副本数不少于这个值,才会确认消息的写入。这个参数用于在保证数据可用性的同时,控制生产者的写入成功率。

同步过程

  • a. 数据写入
    客户端将数据写入主副本。
    主副本将数据写入本地日志并确认写入。
    主副本异步将数据推送给所有的从副本。
  • b. 副本同步
    从副本收到主副本的数据后,将其写入本地日志,并返回确认。
    当从副本确认写入数据后,主副本会更新其 ISR(In-Sync Replicas,即同步副本集合),表示这些副本已经同步到最新的数据。

示例代码

以下是一个简单的生产者示例代码,展示了如何使用acks参数来确保数据写入的高可用性:

import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.RecordMetadata;
import org.apache.kafka.clients.producer.Callback;import java.util.Properties;public class KafkaProducerExample {public static void main(String[] args) {Properties props = new Properties();props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");props.put(ProducerConfig.ACKS_CONFIG, "all"); // 确保数据被所有ISR副本确认KafkaProducer<String, String> producer = new KafkaProducer<>(props);try {for (int i = 0; i < 10; i++) {ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key" + i, "value" + i);producer.send(record, new Callback() {@Overridepublic void onCompletion(RecordMetadata metadata, Exception exception) {if (exception == null) {System.out.println("Message sent successfully to partition " + metadata.partition() + " with offset " + metadata.offset());} else {exception.printStackTrace();}}});}} finally {producer.close();}}
}

总结

Kafka的ISR机制通过维护一个与领导副本同步的副本集合,确保了数据的一致性和高可用性。通过合理配置和使用ISR机制,Kafka能够在面对节点故障时,仍然保证数据的安全和系统的稳定。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/27136.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

巴中青少年编程:开启未来科技的无限可能

巴中青少年编程&#xff1a;开启未来科技的无限可能 在数字化时代&#xff0c;编程已成为一项重要的技能&#xff0c;而巴中的青少年们正积极投身其中&#xff0c;探索编程的奥秘。那么&#xff0c;巴中青少年编程究竟有什么用处呢&#xff1f;本文将从四个方面、五个方面、六…

Django序列化器详解:普通序列化器与模型序列化器的选择与运用

系列文章目录 Django入门全攻略&#xff1a;从零搭建你的第一个Web项目Django ORM入门指南&#xff1a;从概念到实践&#xff0c;掌握模型创建、迁移与视图操作Django ORM实战&#xff1a;模型字段与元选项配置&#xff0c;以及链式过滤与QF查询详解Django ORM深度游&#xff…

充电桩出口:跨国贸易的机遇与挑战之旅

在新能源浪潮席卷全球的今天&#xff0c;充电桩作为电动汽车的“加油站”&#xff0c;正逐渐从幕后走向台前。 而在这场跨国贸易的舞台上&#xff0c;充电桩的出口之路&#xff0c;既充满了诱人的机遇&#xff0c;也伴随着不小的挑战。 机遇&#xff0c;源自日益增长的全球市场…

免费听歌,电脑或手机免费听歌,落雪音乐安装详细步骤

近年来&#xff0c;由于资本的力量导致各种收费&#xff0c;看个电视想听歌都必须要付费了&#xff0c;否则你听不完整&#xff0c;吃相非常难看&#xff0c;特别是电视&#xff0c;吸血鬼式吸收各种会员费&#xff0c;各种APP也是铺天盖地的广告&#xff0c;渐渐迷失了自我&am…

JSP设计理念并没有过时

在JSP (JavaServer Pages) 中&#xff0c;可以使用include特性&#xff0c;include 主要有两种形式&#xff1a;include 指令和 <jsp:include> 动作元素。这两种方式都用于在JSP页面中包含其他资源&#xff0c;但它们的工作方式和应用场景有所不同。 1. include 指令 i…

两个螺旋面的交线

已知轴截面齿形&#xff0c;先得到螺旋面 然后在计算出对应的端面齿形 在用端面齿形来计算和另一个螺旋面的相交曲线。 三维验证这个方法可行&#xff01;

喜大普奔,AI绘画SD3终于开源了,AI绘画又添新利器!【附模型下载和安装包】

sd3终于开源了&#xff01; 没错就是stablediffusion 3.0版本&#xff01;这是stability迄今为止最先进最复杂图像生成模型。 这次开源的是medium版本&#xff0c;总共有三个型号的模型&#xff0c;下面我们来详细的说下sd3的功能特点以及不同型号区别、安装方法&#xff01;…

HTML静态网页成品作业(HTML+CSS)—— 家乡山西介绍网页(3个页面)

&#x1f389;不定期分享源码&#xff0c;关注不丢失哦 文章目录 一、作品介绍二、作品演示三、代码目录四、网站代码HTML部分代码 五、源码获取 一、作品介绍 &#x1f3f7;️本套采用HTMLCSS&#xff0c;未使用Javacsript代码&#xff0c;共有6个页面。 二、作品演示 三、代…

专业设计师推荐的20条用户体验设计黄金准则

在当今的数字世界中&#xff0c;用户体验设计已经成为商业成功的关键因素。它可以实现或摧毁一个产品。今天&#xff0c;我们将讨论该领域的20个基本原则。这些用户体验设计原则不仅被顶级工厂设计师广泛使用&#xff0c;而且为您在设计过程中提供有价值的指导。 1. 以用户为中…

设置生成coredump文件

确保系统已启用核心转储&#xff08;core dump&#xff09;&#xff0c;可以通过设置ulimit命令来配置。可以通过以下命令检查当前的core dump设置&#xff1a; ulimit -c 如果返回值为0&#xff0c;表示core dump功能已经禁用。你可以通过以下命令启用core dump&#xff1a;…

共绘财富与时间画卷,ATFX携手Haofa腕表,开启跨界新篇章

在当前激烈的市场竞争中&#xff0c;品牌创新和多元化、本地化发展已成为企业突破重围&#xff0c;赢得用户和市场份额的关键。作为差价合约行业领军品牌&#xff0c;ATFX勇于突破自我&#xff0c;为探索更多的市场可能性&#xff0c;通过跨界合作、联合营销的策略&#xff0c;…

物联网概念

物联网 物联网简介物联网体系结构物联网体系结构定义物联网体系结构设计原则物联网体系结构四层物联网体系结构感知控制层数据传输层数据处理层应用决策层 物联网关键技术感知标识技术网络与通信技术云计算技术安全技术 已有物联网相关应用架构无线传感器网络的体系结构EPC/UID…

同三维T80005JEHVA 4K视频解码器

同三维T80005JEHVA视频解码器 可解1路4K30HDMI/VGA/CVBS1路3.5音频 可解电台音频网络流&#xff0c;可同时解4个网络流&#xff0c;分割输出 可预设十个流&#xff0c;任意切换1路流输出 <!--[endif]----><!--[if !vml]--> <!--![endif]----> 介绍&…

逆向分析-Ollydbg动态跟踪Ransomware.exe恶意锁机程序

1.认识Ollydbg Ollydbg是一个新的动态追踪工具&#xff0c;将IDA与SoftICE结合起来的思想&#xff0c;Ring 3级调试器&#xff0c;非常容易上手&#xff0c;己代替SoftICE成为当今最为流行的调试解密工具了。同时还支持插件扩展功能&#xff0c;是目前最强大的调试工具。 Oll…

Java——面向对象进阶(二)

前言&#xff1a; 多态&#xff0c;包&#xff0c;final关键字&#xff0c;权限修饰符和代码块 文章目录 一、多态1.1 概念1.2 多态存在条件1.3 多态中调用成员的特点1.4 instanceof关键字 二、包三、权限修饰符四、final 关键字4.1 修饰类4.2 修饰方法4.3 修饰变量 五、代码块…

Leetcode.2709 最大公约数遍历

题目链接 Leetcode.2709 最大公约数遍历 rating : 2172 题目描述 给你一个下标从 0 0 0 开始的整数数组 n u m s nums nums &#xff0c;你可以在一些下标之间遍历。对于两个下标 i i i 和 j j j&#xff08; i ≠ j i \neq j ij&#xff09;&#xff0c;当且仅当 g c …

PHP开发的爱情盲盒交友系统网站源码

源码介绍 PHP开发的爱情盲盒交友系统网站源码 独立后台 源码截图 源码下载 PHP开发的爱情盲盒交友系统网站源码

CV预测:快速使用LeNet-5卷积神经网络

AI预测相关目录 AI预测流程&#xff0c;包括ETL、算法策略、算法模型、模型评估、可视化等相关内容 最好有基础的python算法预测经验 EEMD策略及踩坑VMD-CNN-LSTM时序预测对双向LSTM等模型添加自注意力机制K折叠交叉验证optuna超参数优化框架多任务学习-模型融合策略Transform…

vue3和ant-design 实现前端多种验证密码规则,最全的前端验证密码规则

1、小眼睛可以显示/隐藏明文密码&#xff08;无法用input typepassword&#xff0c;用css样式实现切换明文&#xff09; 2、输入长度统计&#xff08;不是自带的&#xff0c;用div写的&#xff0c;然后定位到框内的&#xff09; 3、每输入一个字符分别验证每一项规则&#xf…

神经网络 torch.nn---nn.LSTM()

torch.nn - PyTorch中文文档 (pytorch-cn.readthedocs.io) LSTM — PyTorch 2.3 documentation LSTM层的作用 LSTM层:长短时记忆网络层&#xff0c;它的主要作用是对输入序列进行处理&#xff0c;对序列中的每个元素进行编码并保存它们的状态&#xff0c;以便后续的处理。 …