Kafka~基础原理与架构了解

Kafka是什么

Kafka我们了解一直认为是一个消息队列，但是其设计初，是一个：分布式流式处理平台。流平台具有三个关键功能：

  1. 消息队列：发布和订阅消息流，这个功能类似于消息队列，这也是 Kafka 也被归类为消息队列的原因。
  2. 容错的持久方式存储记录消息流：Kafka 会把消息持久化到磁盘，有效避免了消息丢失的风险。
  3. 流式处理平台： 在消息发布的时候进行处理，Kafka 提供了一个完整的流式处理类库。

Kafka 主要有两大应用场景：

  1. 消息队列：建立实时流数据管道，以可靠地在系统或应用程序之间获取数据。
  2. 大吞吐量流式数据处理： 构建实时的流数据处理程序来转换或处理数据流。

Kafka支持的俩种模型：

  1. 队列模型：使用队列（Queue）作为消息通信载体，满足生产者与消费者模式，一条消息只能被一个消费者使用，未被消费的消息在队列中保留直到被消费或超时。 比如：我们生产者发送 100 条消息的话，两个消费者来消费一般情况下两个消费者会按照消息发送的顺序各自消费一半。
  2. 订阅模型（Pub-Sub） 使用主题（Topic） 作为消息通信载体，类似于广播模式；发布者发布一条消息，该消息通过主题传递给所有的订阅者，在一条消息广播之后才订阅的用户则是收不到该条消息的。

核心概念

Producer、Consumer、Broker、Topic、Partition，我们一一介绍。
Kafka 将生产者发布的消息发送到 Topic（主题） 中，需要这些消息的消费者可以订阅这些 Topic（主题），如下图所示：
在这里插入图片描述

  • 生产者(Producer):：生产者负责将消息发布到Kafka集群中的一个或多个主题(Topic)，每个Topic包含一个或多个分区(Partition)
  • Consumer（消费者） : 消费者负责从Kafka集群中的一个或多个主题消费消息，并将消费的偏移量(Offset)提交
    回Kafka以保证消息的顺序性和一致性。
  • Broker（代理） : 可以看作是一个独立的 Kafka 实例。多个 Kafka Broker 组成一个 Kafka Cluster。

Leader Broker：Leader Broker 是分区的主副本，它是负责处理消息读写请求的节点。生产者将消息发送到Leader Broker，消费者从 Leader Broker中拉取消息。
Follower Broker：Follower Broker 是 Leader Broker的备份节点，它负责与Leader Broker进行数据同步,以保持自己的数据与 Leader Broker保持一致。

  • Topic（主题） : Producer 将消息发送到特定的主题，Consumer 通过订阅特定的 Topic(主题) 来消费消息。

  • Partition（分区） : Partition 属于 Topic 的一部分。一个 Topic 可以有多个 Partition ，并且同一 Topic 下的 Partition 可以分布在不同的 Broker 上，这也就表明一个 Topic 可以横跨多个 Broker 。

  • Kafka Cluster（集群）：在集群中，每个分区都有一个Leader Broker和多个Followeer Broker，只有Leader Broker才能处理生产者和消费者的请求，而Follower Broker只是LeaderBroker的为备份，用于提供数据的冗余备份和容错能力。如果Leader Broker发生故障,Kafka集群会自动将Follower Broker提升为新的 Leader Broker，从而实现高可用性和容错能力。

  • Zookeeper：ZooKeeper是Kafka集群中使用的分布式协调服务，用于维护Kafka集群的状态和元数据信息，例如
    主题和分区的分配信息、消费者组和消费者偏移量等。

多分区、多副本

上文说道， Kafka 为分区（Partition）引入了多副本（Replica）机制。分区（Partition）中的多个副本之间会有一个叫做 leader 的家伙，其他副本称为 follower。我们发送的消息会被发送到 leader 副本，然后 follower 副本才能从 leader 副本中拉取消息进行同步。

生产者和消费者只与 leader 交互。你可以理解为其他副本只是 leader 的拷贝，它们的存在只是为了保证消息存储的安全性。

当 leader 发生故障时会从 follower 中选举出一个 leader，但是 follower 中如果有和 leader 同步程度达不到要求的参加不了 leader 的竞选。

Kafka 的多分区（Partition）以及多副本（Replica）机制有什么好处呢？

Kafka 通过给特定 Topic 指定多个 Partition, 而各个 Partition 可以分布在不同的 Broker 上, 这样便能提供比较好的并发能力（负载均衡）。Partition 可以指定对应的 Replica 数, 这也极大地提高了消息存储的安全性, 提高了容灾能力，不过也相应的增加了所需要的存储空间。

Zookeeper的作用

ZooKeeper 主要为 Kafka 提供元数据的管理和集群节点协调的功能。

Zookeeper 主要为 Kafka 做了下面这些事情：

  1. Broker 注册：在 Zookeeper 上会有一个专门用来进行 Broker 服务器列表记录的节点。每个 Broker 在启动时，都会到 Zookeeper 上进行注册，即到 /brokers/ids 下创建属于自己的节点。每个 Broker 就会将自己的 IP 地址和端口等信息记录到该节点中去。
  2. Topic 注册：在 Kafka 中，同一个Topic 的消息会被分成多个分区并将其分布在多个 Broker 上，这些分区信息及与 Broker 的对应关系也都是由 Zookeeper 在维护。比如我创建了一个名字为 my-topic 的主题并且它有两个分区，对应到 zookeeper 中会创建这些文件夹：/brokers/topics/my-topic/Partitions/0、/brokers/topics/my-topic/Partitions/1
  3. 负载均衡：上面也说过了 Kafka 通过给特定 Topic 指定多个 Partition, 而各个 Partition 可以分布在不同的 Broker 上, 这样便能提供比较好的并发能力。 对于同一个 Topic 的不同 Partition，Kafka 会尽力将这些 Partition 分布到不同的 Broker 服务器上。当生产者产生消息后也会尽量投递到不同 Broker 的 Partition 里面。当 Consumer 消费的时候，Zookeeper 可以根据当前的 Partition 数量以及 Consumer 数量来实现动态负载均衡。

在 Kafka 2.8 之前，Kafka 最被大家诟病的就是其重度依赖于 Zookeeper。在 Kafka 2.8 之后，引入了基于 Raft 协议的 KRaft 模式，不再依赖 Zookeeper，大大简化了 Kafka 的架构，让你可以以一种轻量级的方式来使用 Kafka。

工作原理

生产者发送的消息经过序列化后，相同主题和分区的消息，会被存放在同⼀个批次⾥，然后由⼀个独⽴的线程负责，从Zookeeper拿到信息，通过不同的分区策略，找到对应的分区，把它们发到 Kafka Broker 上。
在这里插入图片描述
分区的策略包括顺序轮询、随机轮询和 key hash 这 3 种⽅式。

⽐如主题 A 有 12 条消息，有 4个分区，如果采⽤顺序轮询的⽅式，152条消 息会顺序分配给这 4
个分区，后续消费的时候，也是按照分区粒度消费。
在这里插入图片描述

Kafka 消费是通过消费群组完成，同⼀个消费者群组，⼀个消费者可以消费多个分区，但是⼀个分区，只能被⼀个 消费者消费。

分区与消费者的关系是n:1

在这里插入图片描述
如果消费者增加，会触发 Rebalance，也就是分区和消费者需要重新配对。

不同的消费群组互不⼲涉，⽐如下图的 2 个消费群组，可以分别消费这 4 个分区的消息，互不影响。
在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/32995.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Comfyui-ChatTTS-OpenVoice 为ComfyUI添加语音合成、语音克隆功能

Comfyui-ChatTTS-OpenVoice 为ComfyUI添加语音合成、语音克隆功能

‍‍ 生成多人播客： Comfyui-ChatTTS是一个开源的GitHub项目，致力于为ComfyUI添加语音合成功能。该项目提供了一系列功能强大的节点和模型，支持用户创建和复用音色，支持多人对话模式的生成，并提供了导出音频字幕文件的…
阅读更多...
Java中的网络安全与防护技巧

Java中的网络安全与防护技巧

Java中的网络安全与防护技巧 大家好，我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编，也是冬天不穿秋裤，天冷也要风度的程序猿！今天我们将深入探讨在Java应用程序中如何有效地保护网络安全，防范各种安…
阅读更多...
“Jedis与Redis整合指南：实现高效的Java应用与Redis交互“

“Jedis与Redis整合指南：实现高效的Java应用与Redis交互“

目录 #. 概念 1. 导入jedis依赖 2. 写一个类（ping通redis） 3. String字符串使用 3.1 set，get方法使用（设值，取值） 3.2 mset，mget方法使用（设置多个值，取多个值&…
阅读更多...
怎么在vscode里运行一个cpp文件

怎么在vscode里运行一个cpp文件

文章目录 1.需要下载g编译器，或clang（快，但是优化效果没有g好）2.新建文件夹和cpp文件（tasks.json）3.怎么在vscode里调试(launch.json)4.怎么设置让中断输出的字符是中文！5.飞机大战 1.需要下载g…
阅读更多...
Linux-笔记 线程同步机制

Linux-笔记 线程同步机制

目录 前言 实现 信号量（Semaphore） 计数型信号量 二值信号量 信号量的原语操作 无名信号量的操作函数 例子 互斥锁（mutex） 互斥锁的操作函数 例子 自旋锁 （Spinlock） 自旋锁与互斥锁的区别 自…
阅读更多...
mysql 查询的一般思路

mysql 查询的一般思路

能用单表优先用单表，即便是需要用group by、order by、limit等，效率一般也比多表高 不能用单表时优先用连接，连接是SQL中非常强大的用法，小表驱动大表建立合适索引合理运用连接条件，基本上连接可以解决绝大部分问题。…
阅读更多...
iis下asp.netcore后台定时任务会取消

iis下asp.netcore后台定时任务会取消

问题 使用BackgroundService或者IHostedService做后台定时任务的时候部署到iis会出现不定时定时任务取消的问题&#xff0c;原因是iis会定时的关闭网站 解决 应用程序池修改为AlwaysRunning 修改web.config <?xml version"1.0" encoding"utf-8"?…
阅读更多...
RedisTemplate方法一览表

RedisTemplate方法一览表

数据类型RedisTemplate 方法Redis命令解释应用场景stringopsForValue().set(key, value)SET设置存储在指定 key 下的值存储简单数据&#xff0c;如用户的设置、配置项opsForValue().get(key)GET获取存储在指定 key 下的值读取存储的数据&#xff0c;如用户信息、配置参数opsFor…
阅读更多...
Android studio登录Google账号超时的解决方法

Android studio登录Google账号超时的解决方法

确保自己已经打开了代理&#xff08;科学上网&#xff09;在设置-外观与行为-系统设置-HTTP代理 中打开“自动检测代理设置”&#xff1a; 再次重新尝试登录Google账号&#xff0c;登陆成功&#xff01; 学术会议征稿 想要了解国内主办的覆盖学科最全最广的学术会议&#xff0c…
阅读更多...
javafx例子笔记

javafx例子笔记

文章目录 创建过程javafx独立版报错 Exception in thread "WindowsNativeRunloopThread" java.lang.NoSuchMethodError: <init> javafx是java gui工具。 一般会转换为exe&#xff0c;成为可交互的应用。 那么来个简单的例子吧。 先说明一点&#xff0c;javafx不…
阅读更多...
代码-功能-python-爬取博客网标题作者发布时间

代码-功能-python-爬取博客网标题作者发布时间

环境&#xff1a; python 3.8 代码&#xff1a; # 爬取博客园内容 # https://www.cnblogs.com/import re from lxml import etree import requests import json import threading from queue import Queue import pymysql import timeclass HeiMa:def __init__(self):# 请…
阅读更多...
k8s 部署 ruoyi 前后端分离项目

k8s 部署 ruoyi 前后端分离项目

本文视频版 https://www.bilibili.com/video/BV17ugkePEeN 参考 https://blog.csdn.net/qq_50247813/article/details/136934090 https://gitee.com/nasaa/RuoYi-Vue-cloud https://www.itsgeekhead.com/tuts/kubernetes-129-ubuntu-22-04-3/ https://kubernetes.io/docs/se…
阅读更多...
【漏洞复现】畅捷通T+ keyEdit.aspx SQL漏洞

【漏洞复现】畅捷通T+ keyEdit.aspx SQL漏洞

0x01 产品简介 畅捷通 T 是一款灵动&#xff0c;智慧&#xff0c;时尚的基于互联网时代开发的管理软件&#xff0c;主要针对中小型工贸与商贸企业&#xff0c;尤其适合有异地多组织机构(多工厂&#xff0c;多仓库&#xff0c;多办事处&#xff0c;多经销商)的企业&#xff0c;…
阅读更多...
VB.NET 取当前项目根命名空间

VB.NET 取当前项目根命名空间

VB.NET 取当前项目根命名空间 在VB.NET中&#xff0c;可以使用反射来获取当前程序集的入口点类型&#xff08;通常是模块或者主类&#xff09;&#xff0c;然后从这个类型的Assembly信息中获取定义它的程序集的根命名空间。以下是一个获取当前项目根命名空间的方法示例&#x…
阅读更多...
用户态协议栈06-TCP三次握手

用户态协议栈06-TCP三次握手

最近由于准备软件工程师职称考试&#xff0c;然后考完之后不小心生病了&#xff0c;都没写过DPDK的博客了。今天开始在上次架构优化的基础上增加TCP的协议栈流程。 什么是TCP 百度百科&#xff1a;TCP即传输控制协议&#xff08;Transmission Control Protocol&#xff09;是…
阅读更多...
LabVIEW程序退出后线程仍在运行问题

LabVIEW程序退出后线程仍在运行问题

LabVIEW程序退出后&#xff0c;线程仍在运行的问题可能源于资源管理不当、未正确终止循环、事件结构未处理、并发编程错误以及外部库调用未结束等方面。本文将从这些角度详细分析&#xff0c;探讨可能的原因和解决方案&#xff0c;并提供预防措施&#xff0c;帮助开发者避免类似…
阅读更多...
将知乎专栏文章转换为 Markdown 文件保存到本地

将知乎专栏文章转换为 Markdown 文件保存到本地

一、参考内容 参考知乎文章代码 | 将知乎专栏文章转换为 Markdown 文件保存到本地&#xff0c;利用代码为GitHub&#xff1a;https://github.com/chenluda/zhihu-download。 二、步骤 1.首先安装包flask、flask-cors、markdownify 2. 运行app.py 3.在浏览器中打开链接&…
阅读更多...
已解决javax.management.BadStringOperationException异常的正确解决方法，亲测有效！！！

已解决javax.management.BadStringOperationException异常的正确解决方法，亲测有效！！！

已解决javax.management.BadStringOperationException异常的正确解决方法&#xff0c;亲测有效&#xff01;&#xff01;&#xff01; 目录 问题分析 出现问题的场景 报错原因 解决思路 解决方法 分析错误日志 检查字符串值合法性 确认字符串格式 优化代码逻辑 增加…
阅读更多...
Trimesh介绍及基本使用

Trimesh介绍及基本使用

Trimesh介绍及基本使用 Trimesh是一个纯Python 工具库&#xff08;支持3.7版本以上&#xff09;&#xff0c;用于加载和使用三角形Mesh网格&#xff0c;支持多种常见的三维数据格式&#xff0c;如二进制/文本格式的STL、Wavefront OBJ、二进制/文本格式的PLY、GLTF/GLB 2.0、3…
阅读更多...
Leetcode 2713. 矩阵中严格递增的单元格数（DFS DP）

Leetcode 2713. 矩阵中严格递增的单元格数（DFS DP）

Leetcode 2713. 矩阵中严格递增的单元格数 DFS 容易想到&#xff0c;枚举每个点作为起点&#xff0c;向同行同列的可跳跃点dfs&#xff0c;维护全局变量记录可达的最远距离 超时&#xff0c;通过样例193 / 566 class Solution {int res 0;public void dfs(int[][] mat, in…
阅读更多...
最新文章

Copyright @ 2022~2023