Kafka系列(一)

内容

该系列主要是复习期间,通过浏览资料记录的一些笔记和重点,用于日常学习和学习后的总结。

组件概念

broker

  • 一个Kafka的集群通常由多个broker组成,这样才能实现负载均衡、以及容错

  • broker是无状态(Sateless)的,它们是通过ZooKeeper来维护集群状态

  • 一个Kafka的broker每秒可以处理数十万次读写,每个broker都可以处理TB消息而不影响性能

zookeeper

  • ZK用来管理和协调broker,并且存储了Kafka的元数据(例如:有多少topic、partition、consumer)

  • ZK服务主要用于通知生产者和消费者Kafka集群中有新的broker加入、或者Kafka集群中出现故障的broker。

PS:Kafka正在逐步想办法将ZooKeeper剥离,维护两套集群成本较高,社区提出KIP-500就是要替换掉ZooKeeper的依赖。“Kafka on Kafka”——Kafka自己来管理自己的元数据

producer(生产者)

  • 生产者负责将数据推送给broker的topic

consumer(消费者)

  • 消费者负责从broker的topic中拉取数据,并自己进行处理

consumer group(消费者组)

  • consumer group是kafka提供的可扩展且具有容错性的消费者机制

  • 一个消费者组可以包含多个消费者

  • 一个消费者组有一个唯一的ID(group Id)

  • 组内的消费者一起消费主题的所有分区数据

分区(Partitions)

  • 在Kafka集群中,主题被分为多个分区

副本(Replicas)

  • 副本可以确保某个服务器出现故障时,确保数据依然可用

  • 在Kafka中,一般都会设计副本的个数>1

主题(Topic)

  • 主题是一个逻辑概念,用于生产者发布数据,消费者拉取数据

  • Kafka中的主题必须要有标识符,而且是唯一的,Kafka中可以有任意数量的主题,没有数量上的限制

  • 在主题中的消息是有结构的,一般一个主题包含某一类消息

  • 一旦生产者发送消息到主题中,这些消息就不能被更新(更改)

偏移量(offset)

  • offset记录着下一条将要发送给Consumer的消息的序号

  • 默认Kafka将offset存储在ZooKeeper中

  • 在一个分区中,消息是有顺序的方式存储着,每个在分区的消费都是有一个递增的id。这个就是偏移量offset

  • 偏移量在分区中才是有意义的。在分区之间,offset是没有任何意义的

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/624890.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

微信公众号对接--客服消息

当你关注公众号,然后在公众号里面发送消息,会收到回复,这个就是客服消息 参考文档:接收普通消息 接收事件推送 客服接口-发消息 想要对接客服消息,首先要获取access_token,这个可以参考我之前的文章:对接微信公众号-CSDN博客 回…

SpringBoot教程(九) | SpringBoot统一异常处理

SpringBoot教程(九) | SpringBoot统一异常处理 异常大家应该都很清楚,我们的项目总是不可避免的出现异常,那么应该如何优雅的进行异常处理使我们需要关注的一个问题,合理的异常封装既可以方便前端的处理,也能够简化后端的开发。 …

Stable Diffusion XL(SDXL)核心基础知识

文章目录 一、Stable Diffusion XL基本概念二、SDXL模型架构上的优化(一)SDXL的整体架构(二)VAE(三)U-Net(四)text encoder(五)refiner model 三、SDXL在训练…

通过OpenIddict设计一个授权服务器01-介绍

https://dev.to/robinvanderknaap/setting-up-an-authorization-server-with-openiddict-part-i-introduction-4jid 本文是使用OpenIddict设置授权服务器系列文章的一部分。本系列中的文章将引导您完成使用OpenIddict在ASPNET Core平台上设置OAuth2OpenID Connect授权服务器的…

软件测试|Python如何处理配置文件

配置文件在软件开发中起到了非常重要的作用,它允许开发者将应用程序的设置和参数存储在一个易于管理和修改的地方,而不是硬编码在代码中。Python有多种处理配置文件的方式,本文将介绍其中两种最常用的方法:使用configparser库和使…

Python: ** 的用处

在 Python 中,** 主要用于两个相关但不同的概念:解包(unpacking)和关键字参数(keyword arguments)的传递。让我们分别解释这两个方面。 1. 解包(Unpacking): a. 解包字…

HTML--CSS--超链接样式以及鼠标样式自定义

超链接伪类 再复习一下,超链接的定义方式如下&#xff1a; <!DOCTYPE html> <html> <head> <title>这是一个标题</title><meta charset"utf-8"/><style></style> </head> <body><a href"http…

【go语言】结构体数据填充生成md错误码文件

这里使用pongo2这个模版引擎库进行md文件渲染GitHub - flosch/pongo2: Django-syntax like template-engine for Go package mainimport ("fmt""github.com/flosch/pongo2/v6""os" )func main() {// 假设有一个名为 data 的 map 数组data : []m…

Axure RP软件揭秘:设计师的秘密武器

Axure rp是一种快速原型设计工具&#xff0c;可以制作高度互动的HTML原型。设计师不仅可以使用Axure绘制线框图和原型&#xff0c;还可以在Axure rp中完成一系列用户体验设计。在本文中&#xff0c;我们将根据用户体验设计师的真实经验&#xff0c;触发用户体验设计师的实际工作…

如何实现本地USB设备共享服务映射到外网实现跨网USB共享通信访问

文章目录 前言1. 安装下载软件1.1 内网安装使用USB Redirector1.2 下载安装cpolar内网穿透 2. 完成USB Redirector服务端和客户端映射连接3. 设置固定的公网地址 前言 USB Redirector是一款方便易用的USB设备共享服务应用程序&#xff0c;它提供了共享和访问本地或互联网上的U…

vue的element ui使用el-table组件实现懒加载树、默认自动展开层级(一层,二层)、并且解决新增、删除、修改之后树节点不刷新问题

1.整体思路 问题&#xff1a;数据量太大了&#xff0c;导致接口返回数据时间较长。解决: 将ElementUi中Table组件加载改为懒加载&#xff08;查看文档&#xff09;。思路&#xff1a;初始化打开页面时只显示第一级菜单,用户点击展开菜单之后往后端发送请求,然后加载出一级子菜…

RT-Thread源码阅读(一)

前言 本文基于RT-Thread V4.1.1和STM32F103(Cortex-M3) 本文旨在理解RT-Thread设计的基本逻辑&#xff0c;为了让文章简短易懂&#xff0c;所以展出的源码都是精简过的&#xff0c;不会把开关中断&#xff0c;宏选择等放在讲解代码中。 可以看懂基本逻辑后查看源码领悟具体细…

编写递归算法,计算二叉树T中叶子结点的数目。

【题目】编写递归算法&#xff0c;计算二叉树T中叶子结点的数目。 二叉链表类型定义∶ typedef struct BiTNode { TElemType data; struct BiTNode *lchild,*rchild; } BiTNode,*BiTree; 要求实现下列函数∶ int Leaves(BiTree T); /* 计算二叉树T中叶子结点的数目*/ #include …

适当催一下没确认订单的国外客户

在一片美丽的森林里&#xff0c;住着两只小鸟。其中一只非常勤奋&#xff0c;每天都早早起床&#xff0c;练习飞翔和觅食。而另外一个小鸟却非常懒惰&#xff0c;每天总是赖在窝里&#xff0c;不愿意努力&#xff0c;懒惰的小鸟总是想&#xff1a;反正有那只勤奋的鸟儿在&#…

【Linux】初识Linux及几个基本指令

Hello everybody!算算时间我已经有一个多月没有更新啦&#xff01;因为本专业是纺织工程&#xff0c;所以一直在复习应付期末考试\(0^◇^0)/。那好&#xff0c;废话不多说。让我们进入今天的主题&#xff01; 关于Linux系统可能很多同学不是很熟悉&#xff0c;有的人可能听过&…

如何在网络爬虫中解决CAPTCHA?使用Python进行网络爬虫

网络爬虫是从网站提取数据的重要方法。然而&#xff0c;在进行网络爬虫时&#xff0c;常常会遇到一个障碍&#xff0c;那就是CAPTCHA&#xff08;全自动公共图灵测试以区分计算机和人类&#xff09;。本文将介绍在网络爬虫中解决CAPTCHA的最佳方法&#xff0c;并重点介绍CapSol…

华为OD机试真题-分配土地-Python-OD统一考试(C卷)

题目描述&#xff1a; 从前有个村庄&#xff0c;村民们喜欢在各种田地上插上小旗子&#xff0c;旗子上标识了各种不同的数字。某天集体村民决定将覆盖相同数字的最小矩阵形的土地的分配给为村里做出巨大贡献的村民&#xff0c;请问&#xff0c;此次分配土地&#xff0c;做出贡献…

软件测试|使用matplotlib绘制多种饼图

简介 Matplotlib是一个强大的数据可视化库&#xff0c;它允许我们创建各种类型的图表&#xff0c;包括饼图。饼图是一种用于显示数据分布的常见图表类型。在本文中&#xff0c;我们将介绍如何使用Matplotlib创建不同类型的饼图&#xff0c;并提供示例代码。 创建标准饼图 首…

maven配置阿里云镜像源

要配置阿里云镜像源&#xff0c;需要在Maven的配置文件中添加以下内容&#xff1a; 打开Maven安装目录下的conf文件夹&#xff0c;找到settings.xml文件。 在settings.xml文件中&#xff0c;找到标签&#xff0c;如果没有则需要手动添加。 在标签中添加以下内容&#xff1a; …

【python】打包exe文件

使用PyInstaller可以将Python脚本打包成可执行的.exe文件。pyinstaller就是一种常用的打包方式&#xff0c;其中参数&#xff1a; --onefile参数表示将所有依赖项和脚本打包成一个单独的可执行文件&#xff0c;方便分发和执行。--noconsole参数表示在运行程序时不显示控制台窗…