Kafka基础及常见面试题

1. 用途

1. 流量削峰
2. 流计算

2. Kafka的核心组件

在Kafka中,Producer、Broker和Consumer是三个关键的角色,它们在整个消息传递过程中扮演不同的角色和功能:1. **Producer(生产者)**:生产者是消息的发送方,负责将消息发布到Kafka的主题(Topic)中。生产者将消息发送给Kafka集群中的一个或多个Broker,然后由Broker将消息持久化并进行分发。生产者可以根据业务需求配置消息的发送策略,例如同步发送、异步发送等。2. **Broker(代理服务器)**:Broker是Kafka集群中的中间服务器,负责接收、存储和分发消息。每个Broker都有自己的存储空间,将消息以分区(Partition)的方式存储在本地磁盘上。Broker负责管理主题的元数据、分区的分布和复制,以及处理生产者和消费者的请求。多个Broker组成的集群共同构成了一个高可用、分布式的消息传递平台。3. **Consumer(消费者)**:消费者是消息的接收方,负责从Kafka的主题中订阅消息并进行消费。消费者从Broker中拉取(Pull)消息,可以控制消息的消费进度和速率。消费者可以以不同的消费者组(Consumer Group)身份订阅同一个主题,这样可以实现消息的广播或分组消费。综合起来,Producer负责将消息发布到Kafka,Broker负责存储和分发消息,而Consumer负责订阅和消费消息。这三个角色共同构成了Kafka的核心组件,使得Kafka能够实现高性能、高可用的消息传递和处理。

3. Kafka中Topic的概念

消息类别,Kafka按照topic来分类消息
Topic是对消息的分类,属于Producer(生产者)和Consumer(消费者)之间的概念Producer会把消息接受到特定的Producer,Broker会管理和分配这些消息。
Consumer会从Consumer特定的区域请求拿到属于他的topic消息,然后进行消费。
消费完成之后使用offset标记

4. kafka维护消息状态的跟踪方法

Kafka中的Topic会被分为若干分区,每个分区同一时间只能被一个consumer消费
consumer消费之后会把消息offset标记,通过位置偏移来追踪消费状态

5. zookeeper对于kafka的作用是什么

1. Zookeeper在kafka集群中用于节点之间的通信
2. Zookeeper用于管理consumer提交的偏移消息
3. Consumer提交offset消息过程:1. Consumer用自己特有的偏移量把消费后的消息提交给Zookeeper,这个过程异步2. Zookeeper保存偏移后的消息到自己的数据结构里面3. 如果Consumer故障后重启,可以向Zookeeper查询上次提交偏移的位置,从而消费后续的消息。避免了数据的重复或丢失

6. kafka判断一个节点还活着的有那两个条件

1. 节点和Zookeeper保持链接,Zookeeper会不定时发送心跳的探测
2. 如果follow节点,需要定时同步master的同步消息

7. kafka 如何不消费重复数据

1. 首先应该从消息源确定,Producer收到发送给Broker的消息都有唯一的Id,保障幂等性。
2. 幂等性保证了即使生产者在发送消息的过程中发生了重试,同一条消息也只会被成功写入一次。无论生产者发送消息多少次,只要消息内容相同,只有一次会被写入。

8. kafka如何实现数据的高效读取

1. 对不同topic进行分区,分区之后可以被多个Consumer同时并行获取处理
2. 每个分区都维护了高效的索引
3. 副本机制:每个分区都可以有自己的多个副本,副本允许被读取
4. Consumer读取消息后offset是异步给Zookeeper保存,可以继续执行其他消息处理步骤
5. 零拷贝:kafka的数据传输使用零拷贝技术,避免资源浪费零拷贝和传统拷贝的区别:
传统是内核态和用户之间的拷贝,而零拷贝直接在设备和内存空间拷贝
在零拷贝技术中,数据传输的过程中数据不再需要从内核缓冲区拷贝到用户缓冲区,而是直接在内核和设备之间传输,避免了中间的拷贝操作。这种方式可以显著减少CPU的开销,提高数据传输的速度,并降低系统负担。

9. Kafka的那些设计让它有如此高的性能

1. 使用分布式消息队列
2. 使用零拷贝模式
3. 对log文件分区,创建索引

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/43739.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

CSS:filter滤镜 详解(用法 + 代码 + 例子 + 效果)

文章目录 filter 滤镜blur() 模糊度例子 渐变光晕 brightness() 元素亮度contrast() 对比度grayscale() 元素灰度hue-rorate() 色相opacity() 透明度invert() 反转颜色saturate() 饱和度 backdrop-filter 蒙版,滤镜例子 卷轴展开 filter 滤镜 动图为效果添加前后对…

界面组件Telerik UI for WinForms R2 2023——拥有VS2022暗黑主题

Telerik UI for WinForms拥有适用Windows Forms的110多个令人惊叹的UI控件。所有的UI for WinForms控件都具有完整的主题支持,可以轻松地帮助开发人员在桌面和平板电脑应用程序提供一致美观的下一代用户体验。 Telerik UI for WinForms R2 2023于今年6月份发布&…

Blender 混合现实3D模型制作指南【XR】

本教程分步展示如何: 减少 3D 模型的多边形数量,使其满足 Microsoft Dynamics 365 Guides 和使用 Microsoft Power Apps 创建的应用程序中包含的混合现实组件的特定性能目标的性能需求。将 3D 模型的多种材质(颜色)组合成可应用于…

​Kubernetes的演变:从etcd到分布式SQL的过渡

DevRel领域专家Denis Magda表示,他偶然发现了一篇解释如何用PostgreSQL无缝替换etcd的文章。该文章指出,Kine项目作为外部etcd端点,可以将Kubernetes etcd请求转换为底层关系数据库的SQL查询。 受到这种方法的启发,Magda决定进一步…

软件测试技术之如何编写测试用例(6)

四、客户端兼容性测试 1、平台测试 市场上有很多不同的操作系统类型,最常见的有Windows、Unix、Macintosh、Linux等。Web应用系统的最终用户究竟使用哪一种操作系统,取决于用户系统的配置。这样,就可能会发生兼容性问题,同一个应…

求Win11系统virtualbox+vagrant安装MacOS虚拟机

文章目录 一、背景二、素材2.1、virtualboxvagrant 三、问题3.1、安装失败3.2、第二个失败3.3、网络说 四、求助 一、背景 题主,主要是穷,没钱买mac笔记本或相关系统的苹果产品,哈哈,偶尔也有用过MacOS系统,只是还没有…

actuator/prometheus使用pushgateway上传jvm监控数据

场景 准备 prometheus已经部署pushgateway服务&#xff0c;访问{pushgateway.server:9091}可以看到面板 实现 基于springboot引入支持组件&#xff0c;版本可以 <!--监控检查--><dependency><groupId>org.springframework.boot</groupId><artifa…

H3C交换机如何配置本地端口镜像并在PC上使用Wireshake抓包

环境: H3C S6520-26Q-SI version 7.1.070, Release 6326 Win 10 专业版 Wireshake Version 4.0.3 问题描述: H3C交换机如何配置本地端口镜像并在PC上使用Wireshake抓包 解决方案: 配置交换机本地端口镜像 1.进入系统视图,并创建本地镜像组1 <H3C>system-vie…

高效反编译luac文件

对于游戏开发人员,有时候希望从一些游戏apk中反编译出源代码,进行学习,但是如果你触碰到法律边缘,那么你要非常小心。 这篇文章,我针对一些用lua写客户端或者服务器的编译过的luac文件进行反编译,获取其源代码的过程。 这里我不赘述如何反编译解压apk包的过程了,只说重点…

【【STM32之GPIO】】

STM32之GPIO 学完了正点原子自带的视频课之后感觉仍然一知半解现在更新一下来自其他版本的STM32学习 GPIO 就是 General Purpose Input Output 中文名叫通用输入输出口 可配置8种输入输出模式 引脚电平 0V~3.3V 部分引脚可容忍5V 输出模式下可控制端口输出高低电平&#xff…

ubuntu bind dns服务配置

sudo apt-get install bind9 内网搭建DNS服务器&#xff0c;大多数是解析纯内网地址使用。但是偶尔也需要解析外网的地址&#xff0c;所以我们可以配置DNS没有添加A记录的URL时&#xff0c;forward到外网DNS服务器或者内网的其他DNS服务器解析。 打开配置文件&#xff1a; sud…

Leetcode 动态规划

动态规划&#xff1a; 72. Edit Distance class Solution { public:int minDistance(string word1, string word2) {vector<vector<int>> dp(word1.size() 1, vector<int>(word2.size() 1, 0));for (int i 0; i < word1.size(); i) dp[i][0] i;for …

grafana-zabbix基础操作篇------导入数据源

文章目录 一、grafana的安装1.1、下载地址1.2、下载后导入所安装机器1.3、yum安装解决依赖1.4、启动grafana1.5、查看端口是否启用&#xff08;端口默认3000&#xff09;1.6、浏览器访问 二、添加zabbix数据源2.1、导入数据源 **下一篇 我们讲讲构建仪表板的操作** 今天&#x…

如何在工作中利用AIGC提质增效?

引言 人工智能技术快速发展&#xff0c;以 ChatGPT 为代表的新的人工智能语言模型的出现与更迭&#xff0c;引发人们极大的兴奋和关注。越来越多的企业开始将 AI 技术应用到生产流程&#xff0c;以提高工作效率和生产力。AIGC&#xff08;AI Generated Content&#xff09;是人…

UE4/UE5 照明构建失败 “Lightmass crashed”解决“数组索引越界”

在构建全局光照时,经常会出现“Lightmass crashed”的错误,导致光照构建失败。本文将分析这一问题的原因,并给出解决建议。 UE4 版本4.26 报错如下&#xff1a; <None> Lightmass crashed: Assertion failed: (Index > 0) & (Index < ArrayNum) [File:d:\bu…

在 ubuntu 18.04 上使用源码升级 OpenSSH_7.6p1到 OpenSSH_9.3p1

1、检查系统已安装的当前 SSH 版本 使用命令 ssh -V 查看当前 ssh 版本&#xff0c;输出如下&#xff1a; OpenSSH_7.6p1 Ubuntu-4ubuntu0.7, OpenSSL 1.0.2n 7 Dec 20172、安装依赖&#xff0c;依次执行以下命令 sudo apt update sudo apt install build-essential zlib1g…

linux 环境收集core文件步骤

Linux环境下进程发生异常而挂掉&#xff0c;通常很难查找原因&#xff0c;但是一般Linux内核给我们提供的核心文件&#xff0c;记录了进程在崩溃时候的信息&#xff0c;在C语言类的大型项目中&#xff0c;有助于深入定位。其配置流程如下&#xff1a; 1 查看生成core文件开关是…

BOXTRADE-天启量化分析平台 主要功能介绍

BOXTRADE-天启量化分析平台 主要功能介绍 potato 数学 web 缘起 月晕而风&#xff0c;础润而雨 BOXTRADE-天启量化 欢迎来到天启量化&#xff01;这是一个专注于量化分析的网站。我们致力于为用户提供市场行情技术指标和量化策略分析方面的优质内容和资源。 我们的使命是 做…

第4章 微服务框架主体搭建

mini商城第4章 微服务框架主体搭建 一、课题 框架搭建 二、回顾 1、整体业务功能分析 2、根据业务需求设计表结构及字段 三、目标 1、版本控制器的搭建使用 2、能独立自主的搭建微服务框架 3、学会考虑一些公共的工具组件 4、网关模块的应用 四、内容 第1章 版本控…

3D虚拟形象数字替身的制作及应用介绍

“虚拟数字人”这一词汇已经深入人心。从虚拟偶像、虚拟代言人到虚拟主播、虚拟员工各种类型虚拟数字形象不断进入公众视野&#xff0c;由于其与Z世代的独特亲和力以及与新媒体平台的高度适配性&#xff0c;虚拟数字人在各个领域都在呈崛起之势&#xff0c;并且有着深度的融合&…