kafka 启动_Kafka管理工具Kafka Manager

Kafka作为分布式消息系统以其轻量级、可扩展、高通吐等特点而得到广泛应用,最近在项目中用Kafka作为中间件进行数据交互。为了监控Kafka的运行情况,在网上找了个开源的Kafka监控工具Kafka-manager对Kafka集群监控。为什么选用Kafka-manager而不是KafkaOffsetMonitor、Kafka Web Conslole呢?可以看https://blog.csdn.net/qq_33314107/article/details/81099091中的比较。另外本人自己也下了个KafkaOffsetMonitor试用,真的不是很好用,大家也可以自己试试。

Kafka发送接收消息实例

#Kafka安装部署

Kafka安装部署比较简单,直接从官网下载源码包解压后就可以直接使用,本例中共有三个节点安装Kafka,hostname分别为node1、node2、node4,zookeeper和Kafka端口均为默认端口。

#zookeeper启动(假设已进入Kafka目录)

bin/zookeeper-server-start.sh config/zookeeper.properties

#Kafka启动

bin/Kafka-server-start.sh config/server.properties

#Kafka主题创建(创建名为Kafka_monitor的主题)

bin/Kafka-topics.sh --create --zookeeper node1:2181,node2:2181,node4:2181 --replication-factor 1 --partitions 60 --topic Kafka_monitor

#用python持续写入json信息到Kafka_monitor主题

from 

#用Python创建消费者持续消费Kafka_monitor中的消息

from Kafka import KafkaConsumer
import jsonconsumer = KafkaConsumer(group_id= 'group4', bootstrap_servers= ['node1:9092'], value_deserializer=lambda m: json.loads(m.decode('ascii')))
consumer.subscribe(topics= ['Kafka_monitor'])
for msg in consumer:print(msg)

Kafka-manager监控

直接从github下载的Kafka-manager工程需要经过sbt编译打包才能试用,为了省去编译的麻烦,可以去https://blog.wolfogre.com/posts/Kafka-manager-download/这一页面中直接下载打包好的Kafka-manager,解压后就可以开始试用。

在解压后的conf目录中打开 application.conf文件,修改其中的配置信息,修改Kafka-manager.zkhosts为自己的主机地址和端口。

#在解压的目录中启动Kafka-manager

bin/Kafka-manager

默认情况下监控打开的默认端口为9000,启动完成后打开浏览器范围监控页面如下图:

534a95d57902353ed3fd680cfe04ef19.png

点击Cluster菜单下Add Cluster进行集群信息添加:

52cd2463bd50c4493a6ea6302708dfa8.png

这时回到首页,可以看到刚刚新增的Kafka集群已经显示到页面中:

39bab9daae00ae6ed1e5f58e8973c842.png

点击集群名称[test],可以进入集群的详细监控页面:

a1a07d96bd7738b4cc5246a4e5115caf.png

点击页面头部的的broker、topic、consumers等条目,可以显示集群的具体信息。

启动Kafka中生产者和消费者两个简单的脚本,监控页面中的消费者信息如下如所示。

2ba76a4871c5a11d130cc67ff765c4c2.png

其他监控类似,再次不再赘述。

Reference

https://blog.csdn.net/luanpeng825485697/article/details/81036028

https://blog.csdn.net/qq_33314107/article/details/81099091

https://blog.csdn.net/yuan_xw/article/details/79188565

https://blog.wolfogre.com/posts/kafka-manager-download/

本篇内容在本人个人公众号上也已发布,欢迎关注本人微信公众号“勤菜鸟”。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/468170.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Linux背后的思想

01Linus TorvaldsLinus Torvalds两次改变了技术,第一次是Linux内核,它帮助互联网的发展;第二次是Git,全球开发者使用的源代码管理系统。在一次TED的采访中,Torvalds以极其开放的态度讨论了他独特的工作方式和性格特点。…

linux执行sh提示非标准环境,Linux执行.sh文件时提示No such file or directory该怎么办(三种解决办法)...

先给大家看下问题描述,下图是我在运行时出现错误截图:解决方法分析原因,可能因为我平台迁移碰到权限问题我们来进行权限转换1)在Windows下转换:利用一些编辑器如UltraEdit或EditPlus等工具先将脚本编码转换,再放到Linu…

你应该知道Linux内核softirq

说起这个softirq ,很多人还是一头雾水,觉得这个是什么东西,跟tasklets 和 workqueue有什么不同。每次谈到这个,很多人,包括我,都是有点紧张,特别是面试的时候,因为你一旦说错了什么&…

linux 查看磁盘分区,文件系统,使用情况的命令和相关工具介绍,Linux 查看磁盘分区、文件系统、使用情况的命令和相关工具介绍...

Linux 查看磁盘分区、文件系统、使用情况的命令和相关工具介绍作者:北南南北来自:http://doc.xuehai.net提要:Linux 磁盘分区表、文件系统的查看、统计的工具很多,有些工具是多功能的,不仅仅是查看磁盘的分区表&#x…

C语言,链表

定义一个链表的节点之前说到树,里面也有一个节点,节点是用来存数据的,不管是树还是其他什么数据结构,最终的目的都是用来处理数据的,所以节点里面包含两个东西,一个是指针,指针可以指向其他位置…

linux hosts文件如何修改_3 种方法教你在 Linux 中修改打开文件数量限制

当文件被打开访问时,操作系统临时分配一个名为文件句柄的数字。主内存的一个特殊区域是为文件句柄预留的,这个区域的大小决定了一次可以打开多少个文件。Linux上的进程受到许多限制,这些限制也阻碍它们正确地执行,而且每个进程都有…

10个高效Linux技巧及Vim命令对比

写在前面:今天没来得及唱歌~一个多星期没更新了,今天记录下我自己用得比较多的Linux命令行快捷键,小伙伴们别嘲笑我哈~不知道为啥,每次发文就有好几个小伙伴取消关注离开之前,可以告诉我为什么吗~~Vim的很多命令和功能…

python 微信机器人_Python 微信机器人

一、写在前边的话 如何做一个自动回复的微信机器人?机器人的功能有,自动加好友,关键字回复,等等,它甚至可以成为你的私人管家,只要你的代码到位。今天,主要讲解下,微信机器人-图灵版…

linux 控制台存储,技术|使用 Stratis 从命令行管理 Linux 存储

通过从命令行运行它,得到这个易于使用的 Linux 存储工具的主要用途。正如本系列的第一部分和第二部分中所讨论的,Stratis 是一个具有与 ZFS 和 Btrfs 相似功能的卷管理文件系统。在本文中,我们将介绍如何在命令行上使用 Stratis。安装 Strati…

你想要的江湖,可能不在这时候笑傲

昨天看知识星球看到的一个码农的经历,然后我看了,也回答了,想把回答分享给大家,我觉得这应该是很多人都会遇到的。困扰的问题潜水这么久,有一个问题想问一下,帅张。可能有点啰嗦。就是在一家公司做开发&…

mysql binlog 备份_MySQL的binlog知识梳理

1、binlog概念:binlog是一个二进制格式的文件,用于记录“修改数据或可能引起数据变更”的SQL语句(查询的SQL不会记录)。2、binlog功能:(1)恢复: 利用binlog日志恢复数据库数据。(2)复制: 主从架构通过binlog同步数据。(3)审计: 可以用binlog中的信息进行审计&#x…

你需要知道的Linux 系统下外设时钟管理

嵌入式系统一般要求低功耗,出于这个原因,一般只把需要使用到的外设时钟源打开,其他不需要使用到的模块,则默认关闭它们。LCD 模块,上电时候默认情况是关闭的,所以,要想使用 LCD 模块&#xff0c…

千万级大表如何更快速的创建索引_分享一份生产环境mysql数据库大表归档方案,值得收藏...

概述分享下最近做的一个mysql大表归档方案,仅供参考。整体思路一、明确哪些大表需做归档1、数据库表概要信息统计SELECTt1.table_schema,t1.table_name,ENGINE,table_rows,CAST( data_length / 1024.0 / 1024.0 AS DECIMAL ( 10, 2 ) ) data_size(M),CAST( index_le…

载波和LoRa

最近lora这个很火,火的原因是因为国家出了一个政策,这个政策呢,有很多人解读了,我身边也有好几个朋友做这方面的,然后我今天找他们聊了下,得到的结果是,这个政策肯定是或多或少对现在的行情和市…

imread函数 matlab_【MATLAB图像处理学习】1.读取和显示图片

CHAPTER2 图像处理的基础函数【使用的教材:冈萨雷斯 数字图像处理MATLAB(Digital image processing with Matlab】【原书图片下载地址:点这里】先介绍三个MATLAB中图片基本操作:imread imshow imwrite2.2读取图片imread(filename)imread是读取…

一场不能只看结果的较量

林书豪的比赛看得真的很舒服,虽然输掉了比赛,但是看到两边不断改变打法,不断试图侵犯对方的夺取分数,就好比看了一场战争电影,过程酣畅淋漓,结果差点令人满意。第一节广东的双后卫给北京制造了非常多的麻烦…

嘻哈帝国第一季/全集Empire迅雷下载

英文译名Empire,第1季(2015-01-08)FOX.本季看点:《嘻哈帝国》卢西奥斯莱恩是一名超级音乐明星兼Empire娱乐公司的创始人,故事讲述了他如何在困境和失败中运营公司的故事。拥有庞大帝国的老板得了绝症,于是他决定培养继承人&#x…

cassandra可视化工具_一位数据科学家的私房工具清单

作为一位万人敬仰的数据科学家,不但需要培育一棵参天技能树,私人武器库里没有一票玩得转的大火力工具也是没法在江湖中呼风唤雨的。近日北卡来罗纳大学CTO,一位数据科学家Jefferson Heard分享了多年来收集沉淀的数据分析工具集:处…

Dev C++,一个好玩的猜数字游戏

周末了,看了一点代码,发现有一个好玩的数字游戏,贡献给大家,个人觉得还是挺好玩的。说个题外话,之前写的文章,都是零散的,主要是时间的原因,最近事情有点杂,一说到这个事…

[BZOJ 2500] 幸福的道路

照例先贴题面(汪汪汪) 2500: 幸福的道路 Time Limit: 20 Sec Memory Limit: 256 MBSubmit: 368 Solved: 145[Submit][Status][Discuss]Description 小T与小L终于决定走在一起,他们不想浪费在一起的每一分每一秒,所以他们决定每天早上一同晨练来享受在一…