Apache Kafka消费者再平衡

消费者重新平衡决定哪个消费者负责某些主题的所有可用分区的哪个子集。 例如,您可能有一个包含20个分区和10个使用者的主题。 在重新平衡结束时,您可能希望每个使用者都从2个分区中读取数据。 如果关闭了这些使用者中的10个,则可能会期望每个使用者在重新平衡完成后具有1个分区。 消费者重新平衡是可以由Kafka自动处理的动态分区分配。

组协调员是负责与消费者进行通信以实现消费者之间平衡的经纪人之一。在早期版本中,Zookeeper存储了元数据详细信息,但最新版本存储在经纪人上。消费者协调员收到了所有消费者组消费者的心跳和轮询,因此他了解每个消费者心跳和经理在分区上的偏移量。

小组组长:消费者组的一位消费者担任小组组长,由小组协调员选出,负责代表小组中的所有消费者做出分区分配决定。

重新平衡方案:

  1. 消费者组订阅任何主题
  2. 消费者实例无法使用session.heart.beat时间间隔发送心跳。
  3. 消费者的长时间流程超出了轮询超时
  4. 消费群体中的消费者通过例外
  5. 添加了新分区。
  6. 扩大消费者规模。 添加了新使用者或手动删除了现有使用者

消费者再平衡

消费者重新平衡是在消费者请求加入一个小组或离开一个小组时启动的。 小组负责人从小组协调员那里收到所有活跃消费者的名单。 组负责人使用PartitionAssigner决定分配给每个使用者的分区。 一旦组长完成分区分配,它就会将分配列表发送给组协调器,组协调器将这些信息发送回所有使用者。 组仅将适用的分区发送给其使用者,而不发送其他使用者分配的分区。 只有组长知道所有使用者及其分配的分区。 重新平衡完成后,消费者开始将“心跳”发送到仍活跃的“组协调器”。 使用者向组协调器发送OffsetFetch请求,以获取为其分配的分区的最后提交的偏移量。 消费者开始消费新分配分区的消息。

国家管理

重新平衡时,组协调器将其状态设置为“重新平衡”,并等待所有消费者重新加入组。

当组开始重新平衡时,组协调器首先将其状态切换为重新平衡,以便通知所有交互的使用者重新加入组。 重新平衡完成后,组协调器会创建新的ID,并通知所有消费者,然后该组继续进行同步阶段,在此阶段,消费者发送同步请求,并等待直到组长完成生成新的分配分区。一旦消费者收到新的分配分区,他们便进入稳定阶段。

静态会员

您的重新平衡操作相当繁琐,因为它需要停止所有使用者并等待获取新分配的分区。 在每次重新平衡时,始终创建新一代id,这意味着刷新所有内容。 为了解决此开销,Kafka 2.3+引入了静态成员资格以减少不必要的重新平衡。 KIP-345

在静态成员资格状态下,消费者状态将保持不变,在重新平衡状态下,将应用相同的分配。 它使用新的group.instance.id来保留成员身份。 因此,即使在最坏的情况下,成员ID也会被改组以分配新分区,但相同的使用者实例ID仍将获得相同的分区分配

 instanceId: A, memberId: 1, assignment: {0, 1, 2}  instanceId: B, memberId: 2, assignment: {3, 4, 5}  instanceId: C, memberId: 3, assignment: {6, 7, 8} 

重启后:

 instanceId: A, memberId: 4, assignment: {0, 1, 2}  instanceId: B, memberId: 2, assignment: {3, 4, 5}  instanceId: C, memberId: 3, assignment: {6, 7, 8} 

参考:

  1. https://www.confluent.io/blog/kafka-rebalance-protocol-static-membership
  2. https://cwiki.apache.org/confluence/display/KAFKA/KIP-345%3A+Introduce+static+membership+protocol+to+reduce+consumer+rebalances

翻译自: https://www.javacodegeeks.com/2020/06/apache-kafka-consumer-rebalance.html

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/339969.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

linux与虚拟化实验室,Linux·学习笔记(2)虚拟化与仿真

Linux支持的虚拟化1.完全虚拟化:为客户操作系统创建一个虚拟机实例,使客户操作系统可以不加修改地运行,虚拟机模拟底层硬件的某些部分,捕捉需要由管理程序(虚拟机监视器)进行仲裁的调用。要求所有的操作系统都是针对统一处理器架构…

证明没有例外

您如何证明虚无的存在? 你应该? 在我编写的某些测试中,尤其是围绕验证或围绕创建空对象的测试中,我真正想写的是这样的: assertThat( ... call some code ... ) .doesntThrow(); 您可以合理地编写如下内容。 您会发现…

tfidf处理代码_tfidf.txt

function [count,tf,idf,weight]tfidf(docs,term)%docs--input documents,cell型%term-- keywords也就是特征词提取,cell型%output:count--存放各个关键词出现的频率在整个文档中% wordnum--存放文档总的词汇数%测试用例%*****************************************…

linux系统ll历史,Linux操作系统原理笔记

在Linux操作系统内核内部,进程是通过一个链表,而且是一个双向链表来管理的。进程描述符:每一个进程都有其描述符,每一个描述符彼此之间都有关联性的。双向链表:一个进程内部可能包含多个线程。上下文切换(Context swtc…

java工程师的终极书单_Java 9 –终极功能列表

java工程师的终极书单这篇文章将针对即将到来的Java 9版本进行更新,新增功能 ( 最新更新:2014年 9月9日 ) OpenJDK开发正在加快速度:2014年3月Java 8发布后,我们预计将进入2年的发布周期。 据报道&#xf…

pitr 原理_PostgreSQL热备原理研究及流复制运用

付莎摘要:高可用性(HA-High Availability)是所有商用数据库系统必须具备的一项基本功能。该文阐述了PostgreSQL数据库的高可用性的实现原理及方法,并对PostgreSQL数据库的原生流复制功能实现高可用性热备功能进行了应用描述。关键词:PostgreS…

管道在c语言中的作用,在C中实现管道

我想在C中实现管道,例如 - $ ls | wc | wc我写了以下代码 -#include#include#include void run_cmd(char *cmd, int* fd_in, int* fd_out){int c fork();if (c0){if (fd_in ! NULL){close(fd_in[1]);dup2(fd_in[0], 0);}if (fd_out ! NULL){close(fd_out[0]);dup2(fd_out[1],1…

称之为例外?

尽管这是一个与测试和Wiremock有关的Java示例,但它涉及一个更普遍的问题。 我们正在尝试重试Wiremock的verify方法,该方法可能会在我们要检查的端点被命中之前由测试调用。 在这种情况下,我们想在几秒钟后重试一次直到超时。 有趣的是&#…

vue 移动到图片浮动_基于Vue实现图片在指定区域内移动

当图片比要显示的区域大时,需要将多余的部分隐藏掉,我们可以通过绝对定位来实现,并通过动态修改图片的left值和top值从而实现图片的移动。具体实现效果如下图,如果我们移动的是div 实现思路相仿。此处需要注意的是我们在移动图片时…

star-cd linux安装,linux 使用PXE方式,kickstar网络安装系统

软件需求:(可使用yum方式安装)0.DHCP服务1.xinet2.kickstar包3.tftp4.vsftpd5.启动文件、系统内核文件、系统镜像[roottest ~]# cd /var/lib/tftpboot/ #拷贝相关文件到tftp目录[roottest tftpboot]# ll总用量 34168-r--r--r-- 1 root root 84 10月 25 14:40 boot.m…

Hibernate字节码增强

介绍 既然您已经了解了Hibernate脏检查的基础知识 ,我们就可以深入研究增强的脏检查机制。 虽然默认的图遍历算法对于大多数用例可能已经足够,但有时您需要优化的脏检查算法,并且检测方法比构建自己的自定义策略更方便。 使用AntHibernate工…

js 转化为实体符_js转html实体的方法

方法一:用的浏览器内部转换器实现转换,方法是动态创建一个容器标签元素,如DIV,将要转换的字符串设置为这个元素的innerText,然后返回这个元素的innerHTML,即得到经过HTML编码转换的字符串。function HTMLEn…

c语言字符大于等于怎么打,c语言大于等于怎么打?

c语言大于等于怎么打&#xff1f;C语言‘大于等于符号是“>”&#xff1b;“>”是关系运算符用于比较运算。包括大于(>)、小于()、小于等于(<)和不等于(!)六种。注意要在英文的输入状态下写c代码。知识拓展&#xff1a;C语言运算符号指的是运算符号。C语言中的符号…

Mockito匹配器优先

这篇文章是意见。 让我们看一下Mockito中用于在Java中进行测试的verify方法。 示例&#xff1a; verify(myMock).someFunction(123) –期望在模拟ONCE上使用输入123调用someFunction 。 BDDMockito &#xff0c;我更喜欢完整的BDDMockito替代方案&#xff0c;因此请编写then…

用c语言编写的源文件经过编译,若没有产生编译错误,则系统将,用 C 语言编写的源文件经过编译,若没有产生编译错误,则系统将(??)...

用C语言有产译错拖拉动工:旋是用一种耕机耕作机(件的机具智慧职教作部)驱。编写编译标准是消商品衡量和品价格价值质的直接费者。文件误则单反卡为相机用的最常存储。能给您提网球的(大力拍上量)是供最在击球时&#xff0c;的手的一使你舒服又能域感最个区。的是下列说法正确&a…

hbase hyperbase 区别_大数据之HBase的几个常规性问题

本文主要针对对HBase不了解的人。主要想基于个人的理解回答以下几个问题&#xff1a;什么是HBase&#xff1f;何时用HBase&#xff1f;与Hive、Pig的区别&#xff1f;HBase的结构为何HBase速度很快&#xff1f;HBase常用的操作有哪些&#xff1f;HBase的一些配置和监控解答(个人…

junit:junit_简而言之,JUnit:Hello World

junit:junit对于Java世界中的开发人员而言&#xff0c; JUnit似乎是最受欢迎的测试工具 。 因此&#xff0c;难怪就此主题已经写了一些好书 。 但是&#xff0c;通过以顾问为生&#xff0c;我仍然经常遇到程序员&#xff0c;他们至多对工具及其正确用法都不了解。 因此&#x…

姓名和学号 c语言,急啊!!!求救了 C语言编一个链表,输出姓名和学号就好

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼#include#include#include#includetypedef struct Node{int data;struct Node *next;}AN;int data;AN *CreList(AN *head);AN *InsList(AN *head,int data);AN *DelList(AN *head,int data);void find(int value,AN *head);void De…

centos8调整分辨率_Hyper-V 设置 CentOS 8 文本模式下分辨率

CentOS 8 文本模式下分辨率的修改&#xff0c;可以参考我的另一篇文章《CentOS 7 文本模式下修改分辨率》。不过&#xff0c;在 Hyper-V 下发现似乎没有效果&#xff0c;还需要添加如下一行&#xff1a;videohyperv_fb:分辨率具体操作如下(例如&#xff0c;将分辨率设为 800x60…

android 多个复选框,Android UI控件之CheckBox(复选框、多选框)

上一篇文章中学习了RadioButton。知道了RadionButton的基本用法&#xff0c;实现起来也是听简单的和RadioButton一样CheckBox也是一个使用的非常多的控件&#xff0c;Android中它的的用法也挺简单的。以一个例子程序为例&#xff1a;同样先看一个常规的实现&#xff1a;布局文件…