Kafka 的基本概念

一、Kafka 主要用来做什么

作为消息系统:Kafka 具备系统解藕,流量削峰,缓冲,异步通信,扩展性,可恢复性等功能,以及消息顺序性保障和回溯消费

作为存储系统:Kafka 把消息持久化到磁盘,相比较基于内存存储的系统,降低了数据丢失的风险,可以将数据保留策略设置为永久或启用主题的日志压缩功能即可,这里我也没有见到过实际的应用,留在这里暂时作为了解即可

作为流式处理平台:未来需要时再研究

二、Kafka 的基本概念

1 Producer,Broker 和 Consumer

Kafka 体系架构包括若干个 Producer, 若干个 Broker,若干个 Consumer,以及一个 Zookeeper 集群。

Producer 将消息发给 Broker,Broker 负责将收到的消息存储到硬盘,而 Consumer 负责从 Broker 订阅并消费消息。

Zookeeper 主要负责管理 Broker 集群。

我们常说的 Kafka 集群,其实就这其中的若干个 Broker 组成的集群

2 Topic 和 Partition
2.1 理解概念

其实个人感觉这里的理解可以类比 Mysql,Topic 就是这个表的结构,消息就是表里面的每一行数据,Partition 就是分表。

同一个 Topic,Producer 可以发多个消息,这么多个消息都存储在不同的 Partition 上,并且通过 offset 来进行标识(类似 Mysql 里的主键 ID),不过 offset 并不跨区,就相当于 Mysql 不同分表里的主键 ID 一样

每一条消息被发送到 broker 之前,会根据分区规则来选择存储在哪个具体的分区

1.Kafka 同一主题下的不同分区包含的消息是不同的

2.Kafka 的分区可以分布在不同的 broker 上,所以一个主题可以横跨多个 broker,解决了单机 IO瓶颈问题,通过修改分区的数量,还可以实现水平扩展

2.2 Partition 和 Replica

2.2.1  Kafka 的分区有多副本 Replica 机制,不同的副本处于不同的 broker 上,当 leader 出现故障时,从 follower 中重新选举出新的 leader 副本对外提供服务。通过增加副本的数量,可以提升容灾的能力。

虽然 leader 宕机之后,可以故障转移快速选举出一个新的 leader,但是宕机的时候写入 leader 的消息,如果还没来得及同步,消息也一样会丢失。

这个时候需要在业务系统里实现补偿重试的逻辑,比如添加 ack 等到全部同步之后才认为是成功,否则就进行重试,再次发送消息到 Kafka 中。

Producer 和 Consumer 只和 leader 副本进行交互,follower 副本只负责消息的同步。

若 Kafka 有 10 个分区,3个副本,总体一共有 30 个副本,其中包含 10 个 leader 副本和 20个 follower 副本。

Kafka 消费端也具备一定的容灾能力,Consumer 使用 Pull 模式从服务端拉取消息,并且保存消费的具体位置?当 Consumer 宕机后恢复上线可以根据之前保存的消费位置重新拉取需要的消息进行消费,这样就不会造成消息丢失 ?  -- Consumer 都宕机了,offset 保存在哪?

2.2.2  理解 ISR,OSR 和 AR

分区里的所有副本统称为 AR(Assigned Replicas)

  • 与 leader 保持同步副本叫 ISR (In-Sync Replicas),包含 leader
  • 与 leader 副本同步滞后过多的副本叫 OSR (Out-of-Sync Replicas),不包含 leader

leader 宕机之后只会从 ISR 集合中选择下一个 leader

2.2.3  理解 HW,LEO 和 SR 之间的关系

HW (High WaterMark)高水位,可消费消息的最后一位 + 1

LEO(Low End Offset), 已有的消息的最后一位 +1,也是当前即将要写入最新消息的位置

消费者只能消费 HW 之前的消息,之后的消息表示还没有同步完成

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/53042.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cartographer源码理解

一、前言 最近一个半月,利用空余时间对Cartographer源码进行了简单的阅读,在这里做了个简单梳理,和大家分享交流。 cartographer源码量其实是有点大的,逐行逐句去解释实在是有心无力了,而且已经有大佬做了类似的事情…

Java笔试面试题AI答之单元测试JUnit(5)

文章目录 25. 简述什么是Junit 忽略测试(Ignore Test)?一、基本概念二、使用方法三、注意事项四、示例 26. 简述什么是Junit 超时测试(Timeout Test)?Junit 超时测试的主要特点包括:实现方式&am…

buildroot移植qt报错Info: creating stash file (补充qt添加字库)

移植qt库,编译文件报错Info: creating stash file /home/rbing/QT/uart/.qmake.stash Project ERROR: Unknown module(s) in QT: serialport rbingouc:~/QT/uart$ /home/rbing/linux/tool/buildroot-2022.02.9/output/host/usr/bin/qmake Info: creating stash fil…

一些写leetcode的笔记

标准库中的string类没有实现像C#和Java中string类的split函数&#xff0c;所以想要分割字符串的时候需要我们自己手动实现。但是有了stringstream类就可以很容易的实现&#xff0c;stringstream默认遇到空格、tab、回车换行会停止字节流输出。 #include <sstream> #incl…

部分动态铜皮的孤岛无法删除。报错

(SPMHCI-1): Cannot break shape into fragments. 网上寻找了很多答案&#xff0c;都不太理想&#xff0c;不是我想要的方法。 终于功夫不负有心人&#xff0c;在Cadence官方论坛找到了蛛丝马迹。 Breaking Static shape into fragments - PCB Design - PCB Design & IC …

枚举算法总结

枚举算法&#xff08;Enumeration Algorithm&#xff09;是一种简单而直接的算法设计策略&#xff0c;它通过列出问题的所有可能情况&#xff0c;逐一进行验证&#xff0c;直到找到问题的解。这种算法适用于问题的解空间不是太大&#xff0c;可以通过遍历所有情况来找到答案的情…

uniapp 做一个查看图片的组件,图片可缩放移动

因为是手机端&#xff0c;所以需要触摸可移动&#xff0c;双指放大缩小。 首先在components里建个组件 查看图片使用 uni-popup 弹窗 要注意 transform的translate和scale属性在同一标签上不会一起生效 移动就根据触摸效果进行偏移图片 缩放就根据双指距离的变大变小进行缩…

【 html+css 绚丽Loading 】 000052 璇玑转轮

前言&#xff1a;哈喽&#xff0c;大家好&#xff0c;今天给大家分享今天给大家分享一篇文章&#xff01;并提供具体代码帮助大家深入理解&#xff0c;彻底掌握&#xff01;创作不易&#xff0c;如果能帮助到大家或者给大家一些灵感和启发&#xff0c;欢迎收藏关注哦 &#x1f…

[网络]http的简单认识

文章目录 一. 什么是http二. http协议工作过程三. http协议格式1. 抓包工具fiddler2. http请求报文3. http响应报文 一. 什么是http HTTP (全称为 “超⽂本传输协议”) 是⼀种应⽤⾮常⼴泛的 应⽤层协议 HTTP 诞⽣与1991年. ⽬前已经发展为最主流使⽤的⼀种应⽤层协议 HTTP 往…

【Kubernetes】常见面试题汇总(十一)

目录 33.简述 Kubernetes 外部如何访问集群内的服务&#xff1f; 34.简述 Kubernetes ingress &#xff1f; 35.简述 Kubernetes 镜像的下载策略&#xff1f; 33.简述 Kubernetes 外部如何访问集群内的服务&#xff1f; &#xff08;1&#xff09;对于 Kubernetes&#xff0…

MyBatis中多对一关系的三种处理方法

目录 MyBatis中多对一关系的三种处理方法 1.通过级联属性赋值 1&#xff09;mapper 2&#xff09;mapper.xml 3&#xff09;测试代码 4&#xff09;测试结果 2.通过标签 1&#xff09;mapper 2&#xff09;mapper.xml 3&#xff09;测试代码 4&#xff09;测试结果 3.分步查询 …

[NOI2022]冒泡排序

题意&#xff1a; 有 n n n个数&#xff0c; m m m个限制&#xff0c;第 i i i个限制要求在 [ L i , R i ] [L_i,R_i] [Li​,Ri​]的最小值为 V i V_i Vi​&#xff0c;你要得到最小的逆序对数。 数据满足 n , m < 1 0 6 n,m<10^6 n,m<106。 思路&#xff1a; 最近感…

【C++二叉树】102.二叉树的层序遍历

107. 二叉树的层序遍历 II - 力扣&#xff08;LeetCode&#xff09; 思路分析&#xff1a; 层序遍历&#xff0c;但是要注意输出的结果是一个二维数组&#xff0c;不是一层一个值一个值的输出&#xff0c;而是要一层一层的输出。可以通过一个循环控制每一层的数据个数&#xff…

PyCharm 安装教程

传送门 PyCharm 是一款由 JetBrains 开发的强大的 Python 集成开发环境&#xff08;IDE&#xff09;。它支持多种功能&#xff0c;包括调试、代码补全、智能代码分析、版本控制集成等&#xff0c;特别适合开发 Python 项目。接下来&#xff0c;我们将详细介绍如何在不同操作系…

【C++高阶】解锁C++的深层魅力——探索特殊类的奥秘

&#x1f4dd;个人主页&#x1f339;&#xff1a;Eternity._ ⏩收录专栏⏪&#xff1a;C “ 登神长阶 ” &#x1f921;往期回顾&#x1f921;&#xff1a;C 类型转换 &#x1f339;&#x1f339;期待您的关注 &#x1f339;&#x1f339; ❀C特殊类 &#x1f4d2;1. 不能被拷贝…

pyinstaller打包python程序

安装pyinstaller anaconda中直接pip install pyinstaller安装 程序打包 Anaconda Prompt进入python脚本所在目录直接用打包脚本 pyinstaller --onefile yourPyFile.py 打包后会在文件所在根目录生成两个文件夹build、dist dist中xx.exe文件就是打包好的程序

文字loading加载

效果 1. 导入库 import sys from PyQt5.QtCore import QTimer, Qt, QThread, pyqtSignal from PyQt5.QtGui import QPainter, QFont, QColor, QBrush from PyQt5.QtWidgets import QApplication, QWidget, QVBoxLayout, QPushButton, QProgressBar, QLabel 代码首先导入了P…

[创业之路-146] :如何理解:复杂的事情简单化,简单的事情标准化,标准的事情流程化,流程的事情数字化,数字化的事情自动化,自动化的事情智能化

目录 一、复杂的事情简单化 二、简单的事情标准化 1、标准化的定义与意义 2、简单事情标准化的实施步骤 3、标准化的案例分析 三、标准的事情流程化 1、流程化的定义与意义 2、标准事情流程化的实施步骤 3、流程化的案例分析 四、流程的事情数字化 1、定义与意义 2…

C++ | Leetcode C++题解之第409题最长回文串

题目&#xff1a; 题解&#xff1a; class Solution { public:int longestPalindrome(string s) {unordered_map<char, int> count;int ans 0;for (char c : s)count[c];for (auto p : count) {int v p.second;ans v / 2 * 2;if (v % 2 1 and ans % 2 0)ans;}retur…

【设计模式-外观】

这里写自定义目录标题 定义UML图角色作用代码使用场景 定义 为子系统中一组相关接口提供一致界面&#xff0c;定义一个高级接口&#xff0c;使得子系统更加容易使用。 UML图 角色作用 外观&#xff08;Facade&#xff09;角色&#xff1a;这是外观模式的核心&#xff0c;它知…