.net Kafka.Client多个Consumer Group对Topic消费不能完全覆盖研究总结（一）

我们知道Kafka支持Consumer Group的功能，但是最近在应用Consumer Group时发现了一个Topic 的Partition不能100%覆盖的问题。

程序部署后，发现Kafka在pdb组的consumer消费topic时存在问题，consumer无法完全覆盖Topic的各个partition。如下图：

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;"> frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;"> frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

无论我在开启多少个consumer实例，最高覆盖只能达到66%。

进一步跟踪发现，pdb组的consumer覆盖到partition1和partion2.

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

在kafka的主消费组defaultGroup中的consumer，覆盖partition0

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

根据以上现象猜测，当有多个消费者组对topic进行消费时,存在partition的竞争机制在里面。

为验证partion是否存在竞争，关掉测试程序，default group中的consumer覆盖恢复100%。

如下图。

frameborder="0" scrolling="no" style="border-width: medium; width: 1px; height: 1px;">

翻阅官方文档，有提到

1、同一个partition不支持comsumer并发。

2、不同gourp组中的consumer，可以对同一个topic进行消费。

同时在spark的kafka插件中，对同一topic的消费者，不同组都可以达到100%的覆盖率。

在本地做测试，同样存在该问题。

不同组的消费者对同一个topic进行消费时，两个消费者都达不到100%覆盖率（每个组的消费者总有一些数据消费不到）。

在中文社区翻阅所有的消费者和连接以及流的配置项，暂未发现影响该问题的配置项（http://orchome.com/kafka/index kafka中文社区地址。）。

关于该问题的研究暂时没有结论，暂未确定是配置不合适或kafka.Client 存在问题，后续会持续跟踪该问题。

通过该次问题的研究，对kafka消费组、消费者、连接流、partion和consumer映射关系、parttion 分配策略有了较为深入的了解，唯一遗憾的是未找到关于该问题的官方解释和相关说明。

附，Kafka-Partion和consumer重新Rebalance算法如下：  

  • 将目标Topic下的所有Partirtion排序，存于PT

  • 对某Consumer Group下所有Consumer排序，存于CG，第i个Consumer记为Ci

  • N=size(PT)/size(CG)，向上取整

  • 解除Ci对原来分配的Partition的消费权（i从0开始）

  • 将第i∗N到（i+1）∗N−1个Partition分配给Ci

　　目前，最新版（0.8.2.1）Kafka的Consumer Rebalance的控制策略是由每一个Consumer通过在Zookeeper上注册Watch完成的。每个Consumer被创建时会触发Consumer Group的Rebalance，具体启动流程如下：

  • High Level Consumer启动时将其ID注册到其Consumer Group下，在Zookeeper上的路径为/consumers/[consumer group]/ids/[consumer id]

  • 在/consumers/[consumer group]/ids上注册Watch

  • 在/brokers/ids上注册Watch

  • 如果Consumer通过Topic Filter创建消息流，则它会同时在/brokers/topics上也创建Watch

  • 强制自己在其Consumer Group内启动Rebalance流程

　　在这种策略下，每一个Consumer或者Broker的增加或者减少都会触发Consumer Rebalance。因为每个Consumer只负责调整自己所消费的Partition，为了保证整个Consumer Group的一致性，当一个Consumer触发了Rebalance时，该Consumer Group内的其它所有其它Consumer也应该同时触发Rebalance。


相关文章：

  • 消息队列 Kafka 的基本知识及 .NET Core 客户端

原文地址：http://www.cnblogs.com/vveiliang/p/6844345.html

.NET社区新闻，深度好文，微信中搜索dotNET跨平台或扫描二维码关注

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/325105.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

JavaFX UI控件教程（八）之Choice Box

JavaFX UI控件教程（八）之Choice Box

翻译自 Choice Box 本章介绍了选项框，这些UI控件提供了在几个选项之间快速选择的支持。 使用ChoiceBox该类将选择框添加到JavaFX应用程序。其简单的实现如图7-1所示。 图7-1创建包含三个项目的选择框 创建一个选择框 例7-1创建了一个包含三个项目的选择框。 例…
阅读更多...
乱码问题产生的原因与解决方案---UTF-8

乱码问题产生的原因与解决方案---UTF-8

乱码产生的原因 世界上存在着多种编码方式，同一个二进制数字可以被解释成不同的符号。因此，要想打开一个文本文件，就必须知道它的编码方式，否则用错误的编码方式解读，就会出现乱码。 解决办法 Unicode：一…
阅读更多...
背包例题【dp练习】

背包例题【dp练习】

ssl2289-庆功会 Description 为了庆贺班级在校运动会上取得第一名的成绩&#xff0c;班主任决定开一场庆功会&#xff0c;为此拔款购买奖品奖励运动员&#xff0c;期望拔款金额能购买最大价值的奖品&#xff0c;可以补充他们的精力和体力。 Input 第一行二个数n(n<500)&…
阅读更多...
MyBatis中Mapper代理方式

MyBatis中Mapper代理方式

Mapper 的动态代理作用 目前使用sqlsession进行增删改查的缺点&#xff1a; [1]没有办法实现多参数的传递 [2]书写的时候没有接口&#xff0c;后期的维护就比较的低 解决的方案&#xff1a; Mapper的代理方式实现增删改查 接口代码 public interface FlowerMapper {//查询所有…
阅读更多...
《走遍中国》珍藏版（十二）

《走遍中国》珍藏版（十二）

Console.WriteLine("上一本书已经看完&#xff0c;从今天开始看下一本"); System.out.println("《走遍中国》珍藏版"); System.out.println("这本书是关于地理的"); System.out.println("地理往往是和历史进行紧密联系的");这里的水底…
阅读更多...
View Components as Tag Helpers，离在线模板编辑又进一步

View Components as Tag Helpers，离在线模板编辑又进一步

在asp.net core mvc中增加了ViewComponent&#xff08;视图组件&#xff09;的概念&#xff0c;视图组件有点类似部分视图&#xff0c;但是比部分视图功能更加强大&#xff0c;它更有点像一个控制器。 使用方法 1&#xff0c;定义类派生自ViewComponent类 2&#xff0c;增加…
阅读更多...
JavaFX UI控件教程（九）之Text Field

JavaFX UI控件教程（九）之Text Field

翻译自 Text Field 本章讨论文本字段控件的功能。 的TextField类实现接受并显示文本输入的UI控制。它提供了从用户接收文本输入的功能。与另一个文本输入控件一起&#xff0c;PasswordField此类扩展了TextInput类&#xff0c;它是通过JavaFX API提供的所有文本控件的超类。…
阅读更多...
VS

VS

&—逻辑与 | —逻辑或 &#xff01;—逻辑非 && —短路与 || —短路或 ^ —逻辑异或
阅读更多...
MyBatis中动态SQL

MyBatis中动态SQL

01为什么使用sql语句的动态拼接 目前学习的内容sql语句都是直接写死的&#xff0c;但是在实际的开发过程中很多的sql语句都是根据不同的业务情况进行不同的改变的 02 解决的方案 sql语句的动态拼接 03学习的标签 if where when set trim foreach bind include sql 接口代码1 p…
阅读更多...
ssl1643-最小乘车费用【dp练习】

ssl1643-最小乘车费用【dp练习】

最小乘车费用 题目 假设某条街上每一公里就有一个公共汽车站&#xff0c;并且乘车费用如下表&#xff1a; 　　 　　而任意一辆汽车从不行驶超过10公里。某人想行驶n公里&#xff0c;假设他可以任意次换车&#xff0c;请你帮他找到一种乘车方案&#xff0c;使得总费用最小 …
阅读更多...
JavaFX UI控件教程（十）之Scroll Bar

JavaFX UI控件教程（十）之Scroll Bar

翻译自 Scroll Bar 本章介绍如何使用滚动条控件创建可滚动窗格。 本ScrollBar类可以在应用程序中创建滚动窗格和意见。图9-1显示了滚动条的三个区域&#xff1a;拇指&#xff0c;右侧和左侧按钮&#xff08;或向下和向上按钮&#xff09;以及轨道。 图9-1滚动条的元素 创建…
阅读更多...
《走遍中国》珍藏版（十三）

《走遍中国》珍藏版（十三）

Console.WriteLine("上一本书已经看完&#xff0c;从今天开始看下一本"); System.out.println("《走遍中国》珍藏版"); System.out.println("这本书是关于地理的"); System.out.println("地理往往是和历史进行紧密联系的");一游衡山&a…
阅读更多...
a+=b不一定等于a=a+b

a+=b不一定等于a=a+b

说明不会改变本身变量的数据类型与&#xff0c;–运算符一样
阅读更多...
Jexus部署.Net Core项目

Jexus部署.Net Core项目

Jexus Jexus 即 Jexus Web Server&#xff0c;简称JWS&#xff0c;是Linux平台上 的一款ASP.NET WEB服务器。它是 Linux、Unix、FreeBSD 等非Windows系统架设 ASP.NET WEB 服务器的核心程序。 将HTTP自宿主应用程序&#xff08;如Asp.net Core应用程序、Node.js应用程序等&…
阅读更多...
MyBatis中增删改操作

MyBatis中增删改操作

Mapper层代码 <!-- 增加操作 public int insert (Flower fl) --> <insert id"insert"> insert into flower values(default,#{name},#{price},#{production}) </insert> <!--修改操作 public int update(…
阅读更多...
JavaFX UI控件教程（十一）之Scroll Pane

JavaFX UI控件教程（十一）之Scroll Pane

翻译自 Scroll Pane 在本章中&#xff0c;您将学习如何在JavaFX应用程序中构建滚动窗格。 滚动窗格提供UI元素的可滚动视图。此控件使用户可以通过平移视口或使用滚动条来滚动内容。具有默认设置和添加的图像的滚动窗格如图10-1所示。 图10-1滚动窗格 创建滚动窗格 示例10…
阅读更多...
洛谷【P2758】-编辑距离

洛谷【P2758】-编辑距离

题目描述 设A和B是两个字符串。我们要用最少的字符操作次数&#xff0c;将字符串A转换为字符串B。这里所说的字符操作共有三种&#xff1a; 1、删除一个字符&#xff1b; 2、插入一个字符&#xff1b; 3、将一个字符改为另一个字符&#xff1b; &#xff01;皆为小写字母&…
阅读更多...
交换两个数字的三种方式

交换两个数字的三种方式

package com.wdl.day01;public class HelloJava {public static void main(String[] args) {int num11;int num22;//方式一&#xff1a;定义临时变量 // int tempnum1; // num1num2; // num2temp;//方式二&#xff1a;好处&#xff1a;不用定义临时变量//…
阅读更多...
Docker Machine 简介

Docker Machine 简介

Docker Machine 是什么&#xff1f; Docker Machine 是 Docker 官方提供的一个工具&#xff0c;它可以帮助我们在远程的机器上安装 Docker&#xff0c;或者在虚拟机 host 上直接安装虚拟机并在虚拟机中安装 Docker。我们还可以通过 docker-machine 命令来管理这些虚拟机和 Doc…
阅读更多...
C#基础知识详解之【字段与属性】

C#基础知识详解之【字段与属性】

讲理论知识之前&#xff0c;先看一段代码&#xff1a;public class Emp {//字段private int age;//属性public int Age{get { return age; }set { age value; }} }大家可以看到上面实例代码中&#xff0c;声明了一个名为age的字段&#xff0c;还有一个名为Age的属性&#xff0…
阅读更多...
最新文章

Copyright @ 2022~2023