# Kafka_深入探秘者（10）：kafka 监控

Kafka_深入探秘者（10）：kafka 监控

一、kafka JMX

1、JMX ：全称 Java Managent Extension

  • 在实现 Kafka 监控系统的过程中，首先我们要知道监控的数据从哪来，Kafka 自身提供的监控指标(包括 broker 和主题的指标，集群层面的指标通过各个 broker 的指标累加来获取)都可以通过 JMX(Java Managent Extension) 来进行获取。

  • 在使用 JMX 之前首先要确保 Kafka 开启了 JMX 的功能(默认是关闭的)。

  • kafka 官网中 http://kafka.apache.org/082/documentation.html#monitoring 解释。

2、添加 JMX_PORT=9999 参数，启动 kafka, 确保 kafka 开启了 Jmx 监控


# 切换到 kafka-01 安装目录：
cd /usr/local/kafka/kafka-01/# 添加 JMX_PORT=9999 参数，启动 kafka, 确保 kafka 开启了 Jmx 监控
JMX PORT-9999 bin/kafka-server-start.sh config/server.properties# 切换到 kafka-02 安装目录：
cd /usr/local/kafka/kafka-02/# 添加 JMX_PORT=9988 参数，启动 kafka, 确保 kafka 开启了 Jmx 监控
JMX PORT-9999 bin/kafka-server-start.sh config/server.properties# 切换到 kafka-03 安装目录：
cd /usr/local/kafka/kafka-03/# 添加 JMX_PORT=9977 参数，启动 kafka, 确保 kafka 开启了 Jmx 监控
JMX PORT-9999 bin/kafka-server-start.sh config/server.properties

3、打开 ZooInspector 可视化工具，进行查看监控。

开启 JMX 之后会在 Zookeeper 的 /brokers/ids/ 节点中有对应的呈现 (jmx_port字段对应的值)。

ZooInspector.png

二、kafka 编程获取指标

1、jConsole 工具的使用

在开启 JMX 之后最简单的监控指标的方式就是使用 JDK 套件下面的 JConsole 工具，可以通过 jconsole 连接 service:jmx:rmi:///jndi/rmi://localhost:9999/jmxrmi 或者 localhost:9999 来查看相应的数据值。

jconsole.png
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

2、在 kafka_learn 工程模块中，创建 kafka 通过编程获取 kafka 监控指标 类 JmxConnection.java

/***  kafka_learn\src\main\java\djh\it\kafka\learn\chapter10\JmxConnection.java**  2024-6-27 创建 kafka 通过编程获取 kafka 监控指标 类 JmxConnection.java*/
package djh.it.kafka.learn.chapter10;import javax.management.MBeanServerConnection;
import javax.management.MalformedObjectNameException;
import javax.management.ObjectName;
import javax.management.remote.JMXConnector;
import javax.management.remote.JMXConnectorFactory;
import javax.management.remote.JMXServiceURL;public class JmxConnection {private String ipAndPort;private String jmxURL;MBeanServerConnection conn = null;public JmxConnection(String ipAndPort){this.ipAndPort = ipAndPort;}public boolean init(){jmxURL = "service:jmx:rmi:///jndi/rmi://" + ipAndPort + "/jmxrmi";try {JMXServiceURL serviceURL = new JMXServiceURL(jmxURL);JMXConnector connector = JMXConnectorFactory.connect(serviceURL,null);conn = connector.getMBeanServerConnection();if(conn == null){return false;}}catch (Exception e){e.printStackTrace();}return true;}public double getMsgInPerSec(){String objectName = "kafka.server:type=BrokerTopicMetrics, name=MessagesInPerSec";try {ObjectName objectName1 = new ObjectName(objectName);Object val = conn.getAttribute(objectName1, "OneMinuteRate");if(val != null){return (double)(Double) val;}}catch (MalformedObjectNameException e){e.printStackTrace();}return 0.0;}public static void main(String[] args) {//你的虚拟机IP地址JmxConnection jmxConnection = new JmxConnection("172.18.30.110:9999");jmxConnection.init();System.out.println(jmxConnection.getMsgInPerSec());}
}

3、启动 JmxConnection.java 类，进行测试。

三、kafka 监控指标了解

1、kafka 当中关键监控指标： broker 监控指标

1.1 活跃控制器

该指标表示 broker 是否就是当前的集群控制器，其值可以是0或!。如果是1，表示 broker 就是当前的控制器任何时候，都应该只有一个 broker 是控制器，而且这个 broker 必须一直是集群控制器。如果出现了两个控制器，说明有一个本该退出的控制器线程被阻 塞了，这会导致管理任务无陆正常执行，比如移动分区。为了解决这个问题，需要将这两 个 broker 重启，而且不能通过正常的方式重启，因为此时它们无陆被正常关闭。

# 值区间:0或1
kafka.controller:type=KafkaController,name=ActiveControllerCount
1.2 请求处理器空闲率

Kafka 使用了两个线程地来处理客户端的请求:网络处理器线程池和请求处理器线程池。 网络处理器线程地负责通过网络读入和写出数据。这里没有太多的工作要做，也就是说，不用太过担心这些线程会出现问题。请求处理器线程地负责处理来自客户端的请求，包括从磁盘读取消息和往磁盘写入消息。因此，broker 负载的增长对这个线程池有很大的影响。

kafka.server:type=KafkaRequestHandlerPool,name=RequestHandlerAvgIdlePercent
1.3 主题流入字节

主题流入字节速率使用 bis 来表示，在对 broker 接收的生产者客户端悄息流量进行度量时，这个度量指标很有用。该指标可以用于确定何时该对集群进行扩展或开展其他与规模增长 相关的工作。它也可以用于评估一个 broker 是否比集群里的其他 broker 接收了更多的流 量，如果出现了这种情况，就需要对分区进行再均衡。

kafka.server:type-BrokerTopicMetrics,name-BytesInPerSec
  • RateUni.t这是速率的时间段，在这里是“秒\这两个属性表明，速率是通过 bis 来表示的，不管它的值是基于多长的时间段算出的平均 值。速率还有其他 4个不同粒度的属性。
  • OneMi.nuteRate 前1分钟的平均值。
  • Fi.ve问i.nuteRate 前5分钟的平均值。
  • Fi.fteenMi.nuteRate 前 15 分钟的平均值。
  • MeanRate 从 broker启动到目前为止的平均值。
1.4 主题流出字节

主题流出字节速率与流入字节速率类似，是另一个与规模增长有关的度量指标。流出字节速 率显示的是悄费者从broker读取消,息的速率。流出速率与流入速率的伸缩方式是不一样的，这要归功于 Kafka 对多消费者客户端的支持。

kafka.server:type=BrokerTopicMetrics,name=BytesOutPersec
1.5 主题流入的消息

之前介绍的字节速率以字节的方式来表示 broker 的流量， 而消息速率则以每秒生成消息个 数的方式来表示流量，而且不考虑消息的大小。这也是一个很有用的生产者流量增长规模 度量指标。它也可以与字节速率一起用于

1.6分区数量

broker 的分区数量一般不会经常发生改变，它是指分配给 broker 的分区总数。它包括 broker 的每一个分区副本，不管是首领还是跟随者

kafka.server:type.ReplicaManager,name PartitionCount
1.7 首领数量

该度量指标表示 broker 拥有的首领分区数量。与 broker 的其他度量一样，该度量指标也应 该在整个集群的 broker 上保持均等。我们需要对该指析|进行周期性地检查，井适时地发出 告警，即使在副本的数量和大小看起来都很完美的时候，它仍然能够显示出集群的不均衡 问题。因为 broker 有可能出于各种原因释放掉一个分区的首领身份，比如 Zookeeper 会话 过期，而在会话恢复之后，这个分区并不会自动拿回首领身份(除非启用了自动首领再均 衡功能)。在这些情况下，该度量指标会显示较少的首领分区数，或者直接显示为零。这 个时候需要运行一个默认的副本选举，重新均衡集群的首领。

kafka.server:type=ReplicaManager,name-LeaderCount

2、kafka 主题分区监控指标

broker 的度量指标描述了 broker 的一般行为，除此之外，还有很多主题实例和分区实例的度盘指标。

2.1 主题实例的度量指标

主题实例的度量指标与之前描述的 broker 度量指标非常相似。事实上，它们之间唯一的区 别在于这里指定了主题名称，也就是说，这些度量指标属于某个指定的主题。主题实例的 度量指标数量取决于集群主题的数量，而且用户极有可能不会监控这些度量指标或设置告 警。它们一般提供给客户端使用，客户端依此评估它们对 Kafka 的使用情况，并进行问题 调试。

2.2 分区实例的度量指标

分区实例的度量指标不如主题实例的度量指标那样有用。另外，它们的数量会更加庞大，因为几百个主题就可能包含数千个分区。不过不管怎样，在某些情况下，它们还是有一定用处的。 Partition size 度量指标表示分区当前在磁盘上保留的数据量。

如果把它们组合在一起，就可以表示单个主题保留的数据量，作为客户端配额的依据。同一 个主题的两个不同分区之间的数据量如果存在差异，说明消,息并没有按照生产消息的键 进行均句分布。 LOgsegment count 指标表示保存在磁盘上的日志片段的文件数量，可以与 Partition size 指标结合起来，用于跟踪资糠的使用情况。

3、生产者监控指标

新版本 Kafka 生产者客户端的度量指标经过调整变得更加简洁，只用了少量的 MBean。相 反，之前版本的客户端(不再受支持的版本)使用了大量的 MBean，而且度量指标包含了 大量的细节(提供了大量的百分位和各种移动平均数)。这些度量指标提供了很大的覆盖 面，但这样会让跟踪异常情况变得更加困难。生产者度盐指标的 MBean 名字里都包含了生产者的客户端ID。在下面的示例里，客户端 ID 使用 CLIENTID 表示，brokerID 使用 BROKERID 表示，主题的名字使用 TOPICNAME 表示，

kafka.server:type=BrokerTopicMetrics,name=ProduceMessageConversionsPerSec
kafka.server:type=BrokerTopicMetrics,name=TotalProduceRequestsPerSec
4、消费者监控指标

与新版本的生产者客户端类似，新版本的消费者客户端将大量的度量指标属性塞进了少数 的几个 MBean 里

kafka. consumer:type=consumer-metrics,client-id=CLIENTID

kafka. consumer:type=consumer-metrics,client-id-CLIENTIDkafka, consumer:type=consumer-fetch-manager-metrics,client-id-CLIENTID

5、集群消息监控系统: Kafka Eagle

在开发工作当中，消费 Kafka 集群中的消息时，数据的变动是我们所关心的，当业务并不复杂的前提下，我们可以使用 Kafka 提供的命令工具，配合 Zookeeper 客户端工具，可以很方便的完成我们的工作。随着业务的复杂化，Group 和 Topic 的增加，此时我们使用 Kafka 提供的命令工具，已预感到力不从心，这时候 Kafka 的监控系统此刻便尤为显得重要，我们需要观察消费应用的详情。监控系统业界有很多杰出的开源监控系统。我们在早期，有使用 KafkaMonitor 和 Kafka Manager 等，不过随着业务的快速发展，以及互联网公司特有的一些需求,现有的开源的监控系统在性能、扩展性、和 DEVS 的使用效率方面，已经无法满足了。因此，我们在过去的时间里，从互联网公司的一些需求出发，从各位 DEVS 的使用经验和反馈出发，结合业界的一些开源的 Kafka 消息监控，用监控的一些思考出发，设计开发了现在 Kafka 集群消息监控系统: Kafka Eagle。

四、kafka 小结：

第1章 初识 kafka

第2章 kafka 生产者

第3章 kafka 消费者

第4章 kafka 主题 topic

第5章 kafka 分区

第6章 kafka 物理存储

第7章 kafka 稳定性

第8章 kafka 高级应用

第9章 kafka 集群管理

第10章 kafka 监控

上一节关联链接请点击
# Kafka_深入探秘者（9）：kafka 集群管理

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/862428.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

管理的核心是管人，管人的核心就是这3条，看懂的是高手

管理的核心是管人，管人的核心就是这3条，看懂的是高手

管理的核心是管人，管人的核心就是这3条，看懂的是高手 一：管欲 每个人都有欲望，无可厚非。管理者的任务就是利用欲望，管理欲望，通过欲望来达到管人的目的。 最需要管理的就是以下两种： 1、金…
阅读更多...
普乐蛙景区9d电影体验馆商场影院娱乐设备旋转飞行影院

普乐蛙景区9d电影体验馆商场影院娱乐设备旋转飞行影院

今天与大家聊聊VR娱乐新潮流，我们普乐蛙的新品——旋转飞行影院！裸眼7D环幕影院，话不多说上产品！我们通过亲身体验来给大家讲讲这款高性价比新品的亮点。 想象一下走上电动伸缩梯，坐进动感舱，舱门缓缓合上&…
阅读更多...
点击获取2024SIAL西雅国际食品展上海展后报告

点击获取2024SIAL西雅国际食品展上海展后报告

随着2024年SIAL 西雅展（上海）的圆满落幕，我们不仅见证了一场食品与饮料行业的国际盛会，更是感受到了上海这座城市独有的魅力与活力。在这里，我们回顾了上海展的辉煌成就，同时，我们也满怀期待地展…
阅读更多...
第4章 客户端-客户端管理

第4章 客户端-客户端管理

1. 客户端API 1.1client list client list命令能列出与Redis服务端相连的所有客户端连接信息。 127.0.0.1:6379> client list id254487 addr10.2.xx.234:60240 fd1311 name age8888581 idle8888581 flagsN db0 sub0 psub0 multi-1 qbuf0 qbuf-free0 obl0 oll0 omem0 events…
阅读更多...
MySQL数据库基础练习系列——教务管理系统

MySQL数据库基础练习系列——教务管理系统

项目名称与项目简介 教务管理系统是一个旨在帮助学校或教育机构管理教务活动的软件系统。它涵盖了学生信息管理、教师信息管理、课程管理、成绩管理以及相关的报表生成等功能。通过该系统，学校可以更加高效地处理教务数据，提升教学质量和管理水平。 1.…
阅读更多...
5款提高工作效率的免费工具推荐

5款提高工作效率的免费工具推荐

SimpleTex SimpleTex是一款用于创建和编辑LaTeX公式的简单工具。它能够识别图片中的复杂公式并将其转换为可编辑的数据格式。该软件提供了一个直观的界面，用户可以在编辑LaTeX代码的同时实时预览公式的效果，无需额外的编译步骤。此外，SimpleT…
阅读更多...
生命在于学习——Python人工智能原理（2.5.1）

生命在于学习——Python人工智能原理（2.5.1）

五、Python的类与继承 5.1 Python面向对象编程 在现实世界中存在各种不同形态的事物，这些事物之间存在各种各样的联系。在程序中使用对象来映射现实中的事物，使用对象之间的关系描述事物之间的联系，这种思想用在编程中就是面向对象编程。 …
阅读更多...
C++笔记：实现一个字符串类（构造函数、拷贝构造函数、拷贝赋值函数）

C++笔记：实现一个字符串类（构造函数、拷贝构造函数、拷贝赋值函数）

实现一个字符串类String&#xff0c;为其提供可接受C风格字符串的构造函数、析构函数、拷贝构造函数和拷贝赋值函数。 声明依赖文件 其中ostream库用于打印标准输入输出&#xff0c;cstring库为C风格的字符串库 #include <iostream> #include <cstring> 声明命…
阅读更多...
【python】OpenCV—Color Correction

【python】OpenCV—Color Correction

文章目录 cv2.aruco 介绍imutils.perspective.four_point_transform 介绍skimage.exposure.match_histograms 介绍牛刀小试遇到的问题 参考学习来自 OpenCV基础&#xff08;18&#xff09;使用 OpenCV 和 Python 进行自动色彩校正 cv2.aruco 介绍 一、cv2.aruco模块概述 cv2.…
阅读更多...
骨传导耳机哪个牌子值得入手？精选热销榜TOP5推荐！

骨传导耳机哪个牌子值得入手？精选热销榜TOP5推荐！

短短数年&#xff0c;骨传导耳机的市场规模迅速扩大&#xff0c;其受欢迎程度可见一斑。但身为拥有十二年经验的音频专家&#xff0c;我在此有义务提醒大家&#xff0c;在选择骨传导耳机时一定要谨慎。面对市面上的众多品牌&#xff0c;一定不要盲目入手&#xff0c;不然很容易…
阅读更多...
leetcode提速小技巧

leetcode提速小技巧

据我所知&#xff0c;leetcode可能是按最难那个用例给你打分的&#xff0c;非难题的用时好坏不完全看复杂度&#xff0c;因为可能都差不多&#xff0c;O(n/2)和O(n)虽然都是O(n)&#xff0c;但是反应到成绩上是不同的&#xff0c;所以&#xff0c;尽可能的在条件足够的情况下提…
阅读更多...
Java鲜花下单预约系统源码小程序源码

Java鲜花下单预约系统源码小程序源码

让美好触手可及 &#x1f338;一、开启鲜花新篇章 在繁忙的都市生活中&#xff0c;我们总是渴望那一抹清新与美好。鲜花&#xff0c;作为大自然的馈赠&#xff0c;总能给我们带来无尽的惊喜与愉悦。但你是否曾因为工作繁忙、时间紧张而错过了亲自挑选鲜花的机会&#xff1f;今…
阅读更多...
KVB交易平台: 美元兑日元升破161，这一趋势会继续吗？

KVB交易平台: 美元兑日元升破161，这一趋势会继续吗？

在2024年6月28日&#xff0c;美元在亚洲交易市场中表现强劲&#xff0c;接近四十年来的新高&#xff0c;预计将连续第二个季度上涨。与此同时&#xff0c;日本日元持续走低&#xff0c;跌至38年以来的新低&#xff0c;首次突破161关口。在东京交易中&#xff0c;日元兑美元贬值…
阅读更多...
小程序反编译后报错“_typeof3 is not a function”

小程序反编译后报错“_typeof3 is not a function”

详情->本地设置->取消勾选“将JS编译成ES5” 参考链接&#xff1a;https://blog.csdn.net/csl12919/article/details/131569914
阅读更多...
Ubuntu网络管理命令：netstat

Ubuntu网络管理命令：netstat

安装Ubuntu桌面系统&#xff08;虚拟机&#xff09;_虚拟机安装ubuntu桌面版-CSDN博客 顾名思义&#xff0c;netstat命令不是用来配置网络的&#xff0c;而是用来查看各种网络信息的&#xff0c;包括网络连接、路由表以及网络接口的各种统计数据等。 netstat命令的基本语法如…
阅读更多...
湿气易藏在身体的这3个地方，1个方法“定位祛湿”，摆脱它！

湿气易藏在身体的这3个地方，1个方法“定位祛湿”，摆脱它！

6月的雨&#xff0c;滴滴答答的下了十几天了&#xff0c;体内湿气越来越重&#xff0c;皮肤发痒、身体沉重、四肢乏力、总犯困、还出现了消化不良&#xff0c;甚至腹泻的情况…… 为什么我都在积极喝祛湿汤&#xff0c;却不见效呢&#xff1f; 一个很重要的原因可能是&#xff…
阅读更多...
「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通

「ETL趋势」FDL数据开发支持版本管理、实时管道支持多对一、数据源新增支持神通

FineDataLink作为一款市场上的顶尖ETL工具&#xff0c;集实时数据同步、ELT/ETL数据处理、数据服务和系统管理于一体的数据集成工具&#xff0c;进行了新的维护迭代。本文把FDL4.1.8最新功能作了介绍&#xff0c;方便大家对比&#xff1a;&#xff08;产品更新详情&#xff1a;…
阅读更多...
企业出海的浪潮下，如何利用亚马逊云（AWS）更好地应对？

企业出海的浪潮下，如何利用亚马逊云（AWS）更好地应对？

在全球化的浪潮下&#xff0c;越来越多的企业开始将目光投向国际市场。在这个数字化时代&#xff0c;云计算技术成为企业出海的必备利器之一。AWS云作为全球领先的云服务提供商&#xff0c;凭借其卓越的性能和完善的服务体系&#xff0c;成为众多企业出海的首选。 一、出海为什…
阅读更多...
CDN入门

CDN入门

在腾讯云上使用CDN 1、参考 内容分发网络 CDN 从零开始配置 CDN-快速入门-文档中心-腾讯云 2、验证 访问&#xff1a; 登录 - 腾讯云 Window10本地电脑使用命令验证 nslookup -qt-cname hmblogs.com.cn Ubuntu下验证 dig hmblogs.com.cn
阅读更多...
SpringBoot整合Solr进行搜索（简单）

SpringBoot整合Solr进行搜索（简单）

SpringBoot整合Solr进行搜索 创建SpringBoot项目pom中加入Solr依赖配置 Solr创建实体编写一个简单的ID查询打印结果 参考文章 创建SpringBoot项目 这里基于aliyun提供的快速构建一个项目。我们这主要是整合Solr。 pom中加入Solr依赖 maven下载地址 pom中加入以下内容&#x…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023