Kafka(一)基础介绍

一,Kafka集群


一个典型的 Kafka 体系架构包括若Producer、Broker、Consumer,以及一个ZooKeeper集群,如图所示。
  • ZooKeeper:Kafka负责集群元数据的管理、控制器的选举等操作的;
  • Producer:将消息发送到Broker;
  • Broker:服务代理节点,负责将收到的消息存储到磁盘中。Broker可以简单地看作一个独立的Kafka服务节点或Kafka服务实例,一个或多个Broker组成了一个Kafka集群。
  • Consumer:负责从Broker订阅并消费消息;

二,主题(Topic)与分区(Partition)


  • 消息根据Topic归类,生产者将消息发送到特定的Topic,而消费者订阅Topic并进行消费。
  • 一个Topic可以有多个Partition,Partition是一个可追加的日志文件,消息在被追加到分区日志都会分配一个特定的偏移量(offset)。
  • Kafka通过offset来保证消息在分区内的顺序性,不过offset并不跨越分区,也就是说, Kafka保证的是分区有序而不是Topic有序
  • 分区可以分布在不同的broker上,也就是说, 一个Topic可以横跨多个broker
  • Consumer使用Pull模式从服务端拉取消息,并且 保存消费的offset,当消费者宕机后恢复时可以根据offset重新拉取,这样就不会造成消息丢失。
1,Replica机制
分区引入了多副本(Replica)机制,通过增加副本数量可以提升容灾能力。
副本一主多从,其中leader副本负责处理 读写请求( 生产者和消费者只与leader交互 ,follower副本只负责与leader副本的消息同步。
2, AR = ISR + OSR
AR:分区中的所有的副本
ISR:与leader保持一定程度(可配置)同步的副本(包括leader在内)
OSR:与leader同步滞后过多的副本
正常情况下,所有的 follower 副本都应该与 leader 副本保持一定程度的同步,即 AR=ISR,OSR集合为空。
  • leader负责维护和跟踪所有follower的滞后状态,并把follower在ISR和OSR中移动;
  • 默认下,当leader发生故障时,只有在ISR中的副本才有资格被选举为新的leader(可通过配置改变)
3,HW和LEO
这是两个特定的偏移量。
HW:High Watermark的缩写,俗称高水位。消费者只能拉取到这个HW之前的消息;
LEO:Log End Offset的缩写,标识下一条待写入消息的offset;
注意:这俩都有个+1的关系;
ISR集合中的每个副本都会维护自身的LEO,而ISR集合中最小的LEO即为分区的HW,对消费者而言只能消费HW之前的消息。
举例说明:
4,Kafka的复制机制
Kafka 的复制机制既不是完全的同步复制(所有能工作的 follower都复制完),也不是单纯的异步复制(只要写入leaderr则成功提交)。Kafka使用的这种ISR机制有效地权衡了数据可靠性和性能的关系。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/41660.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

随着云计算和容器技术的广泛应用,如何在这些环境中有效地运用 Shell 进行自动化部署和管理?

在云计算和容器技术的环境中,Shell 脚本可以被用于自动化部署和管理任务。下面是一些在这些环境中有效使用 Shell 进行自动化部署和管理的方法: 在云环境中,使用云服务提供商的 API 进行自动化管理。例如,使用命令行工具或 SDK 来…

14 - Python网络应用开发

网络应用开发 发送电子邮件 在即时通信软件如此发达的今天,电子邮件仍然是互联网上使用最为广泛的应用之一,公司向应聘者发出录用通知、网站向用户发送一个激活账号的链接、银行向客户推广它们的理财产品等几乎都是通过电子邮件来完成的,而…

[AI 大模型] OpenAI ChatGPT

文章目录 ChatGPT 简介ChatGPT 的模型架构ChatGPT的发展历史节点爆发元年AI伦理和安全 ChatGPT 新技术1. 技术进步2. 应用领域3. 代码示例4. 对话示例 ChatGPT 简介 ChatGPT 是由 OpenAI 开发的一个大型语言模型,基于GPT-4架构。它能够理解和生成自然语言文本&…

学习笔记——动态路由——OSPF(特殊区域)

十、OSPF特殊区域 1、技术背景 早期路由器靠CPU计算转发,由于硬件技术限制问题,因此资源不是特别充足,因此是要节省资源使用,规划是非常必要的。 OSPF路由器需要同时维护域内路由、域间路由、外部路由信息数据库。当网络规模不…

电脑会议录音转文字工具哪个好?5个转文字工具简化工作流程

在如今忙碌的生活中,我们常常需要记录和回顾重要的对话和讨论。手写笔记可能跟不上速度,而录音则以其便捷性成为了捕捉信息的有力工具。但录音文件的后续处理,往往让人头疼不已。想象一下,如果能够瞬间将这些声音转化为文字&#…

spring-16

Spring 对 DAO 的支持 Spring 对 DAO 的支持是通过 Spring 框架的 JDBC 模块实现的,它提供了一系列的工具和类来简化数据访问对象(DAO)的开发和管理。 首先,我们需要在 Spring 配置文件中配置数据源和事务管理器: &l…

Java笔试|面试 —— 子类对象实例化全过程 (熟悉)

子类对象实例化全过程 (熟悉) (1)从结果的角度来看:体现为继承性 当创建子类对象后,子类对象就获取了其父类中声明的所有的属性和方法,在权限允许的情况下,可以直接调用。 (2)从过…

iptables实现端口转发ssh

iptables实现端口转发 实现使用防火墙9898端口访问内网front主机的22端口(ssh连接) 1. 防火墙配置(lb01) # 配置iptables # 这条命令的作用是将所有目的地为192.168.100.155且目标端口为19898的TCP数据包的目标IP地址改为10.0.0.148,并将目标…

Java策略模式在动态数据验证中的应用

在软件开发中,数据验证是一项至关重要的任务,它确保了数据的完整性和准确性,为后续的业务逻辑处理奠定了坚实的基础。然而,不同的数据来源往往需要不同的验证规则,如何在不破坏代码的整洁性和可维护性的同时&#xff0…

无向图中寻找指定路径:深度优先遍历算法

刷题记录 1. 节点依赖 背景: 类似于无向图中, 寻找从 起始节点 --> 目标节点 的 线路. 需求: 现在需要从 起始节点 A, 找到所有到 终点 H 的所有路径 A – B : 路径由一个对象构成 public class NodeAssociation {private String leftNodeName;private Stri…

数据编码的艺术:sklearn中的数据转换秘籍

数据编码的艺术:sklearn中的数据转换秘籍 在机器学习中,数据预处理是一个至关重要的步骤,它直接影响到模型的性能和结果的准确性。数据编码转换是数据预处理的一部分,它涉及将原始数据转换成适合模型训练的格式。scikit-learn&am…

Python 爬虫 tiktok关键词搜索用户数据信息 api接口

Tiktok APP API接口 Python 爬虫采集Tiktok数据 采集结果页面如下图: https://www.tiktok.com/search?qwwe&t1706679918408 请求API http://api.xxx.com/tt/search/user?keywordwwe&count10&offset0&tokentest 请求参数 返回示例 联系我们&…

178 折线图-柱形图-饼状图

1.折线图 1、QChart 类继承自 QGraphicsWidget,用于管理图表、图例和轴。2、QValueAxis 类专门用来自定义图表中 X 和 Y 坐标轴。3、QLineSeries 类专门用于折线图(曲线)的形式展示数据 //.pro QT core gui charts#ifndef WIDGET_H #defi…

探索邻近奥秘:SKlearn中K-近邻(KNN)算法的应用

探索邻近奥秘:SKlearn中K-近邻(KNN)算法的应用 在机器学习的世界里,K-近邻(K-Nearest Neighbors,简称KNN)算法以其简单直观而著称。KNN是一种基本的分类和回归方法,它的工作原理非常…

Error in onLoad hook: “SyntaxError: Unexpected token u in JSON at position 0“

1.接收页面报错 Error in onLoad hook: "SyntaxError: Unexpected token u in JSON at position 0" Unexpected token u in JSON at position 0 at JSON.parse (<anonymous>) 2.发送页面 &#xff0c;JSON.stringify(item) &#xff0c;将对象转换为 JSO…

前端JS特效第22集:html5音乐旋律自定义交互特效

html5音乐旋律自定义交互特效&#xff0c;先来看看效果&#xff1a; 部分核心的代码如下(全部代码在文章末尾)&#xff1a; <!DOCTYPE html> <html lang"en" > <head> <meta charset"UTF-8"> <title>ChimeTime™</title…

【Python】已解决:xml.parsers.expat.ExpatError: no element found: Line 1, column 0

文章目录 一、分析问题背景二、可能出错的原因三、错误代码示例四、正确代码示例五、注意事项 已解决&#xff1a;xml.parsers.expat.ExpatError: no element found: Line 1, column 0 一、分析问题背景 在使用Python的xml.parsers.expat模块解析XML文件时&#xff0c;有时会…

算法011:最大连续的1的个数

最大连续的1的个数. - 备战技术面试&#xff1f;力扣提供海量技术面试资源&#xff0c;帮助你高效提升编程技能,轻松拿下世界 IT 名企 Dream Offer。https://leetcode.cn/problems/max-consecutive-ones-iii/ 乍一看&#xff0c;这道题很奇怪&#xff0c;什么叫最多翻转k个0&a…

稀疏之美:在Mojo模型中实现特征的稀疏表示

稀疏之美&#xff1a;在Mojo模型中实现特征的稀疏表示 在机器学习领域&#xff0c;特征的稀疏表示是一种高效的数据编码方式&#xff0c;尤其适用于具有大量特征和缺失值的数据集。稀疏表示使用特殊的数据结构来存储和处理数据&#xff0c;从而减少内存占用和提高计算效率。Mo…

vue3+ts实现一个表单组件

1. 创建表单组件 首先&#xff0c;创建一个表单组件&#xff0c;包括姓名、手机号、年龄、学校、性别等基本信息的输入框&#xff0c;并添加省市区和街道地点的选择功能。 <template><form submit.prevent"submitForm"><el-form :model"formDa…