linux环境~Kafka集群监控 Kafka Eagle 图形化版本

在这里插入图片描述

文章目录

- - - - 一、安装、配置、验证
      - 1. 安装包下载
        2. 开启kafka JMX
        3. 安装JDK，配置JAVA_HOME
        4. 上传安装包、解压
        5. 配置Kafka-eagle环境变量
        6. 配置Kafka_eagle
        7. 配置ke.sh
        8. 启动Kafka_eagle
        9. 防火墙
        10. 访问Kafka eagle
      - 二、监控面本总览
      - 2.1. Dashboard
        2.2. MESSAGE
        2.3. Application
        2.4. Performance
        2.5. SYSTEM

一、安装、配置、验证

1. 安装包下载

官网地址：EFAK
在这里插入图片描述
本文使用3.0.1版本

2. 开启kafka JMX

在启动Kafka的脚本前，打开JMX端口，本文将其写在一键启动中，将以下代码写在自定义的kafka-start.sh中，即可实现一键启动，这里还涉及一个文件slave中已经写明了各个主机名称，这里一键启动不做多余赘述。

cat /export/onekey/slave | while read line
do
{echo $line ssh $line "source /etc/profile;export JMX_PORT=9988;nohup ${KAFKA_HOME}/bin/kafka-server-start.sh ${KAFKA_HOME}/config/server.properties >/dev/nul* 2>&1 & "}&
wait
done

3. 安装JDK，配置JAVA_HOME

本机已安装好环境

4. 上传安装包、解压

cd /app
wget https://archive.fastgit.org/smartloli/kafka-eagle-bin/archive/v3.0.1.tar.gz

将其解压到 /app 文件夹下

tar -zxvf kafka-eagle-bin-3.0.1.tar.gz 
cd kafka-eagle-bin-3.0.1/
tar -zxvf efak-web-3.0.1-bin.tar.gz

在这里插入图片描述

5. 配置Kafka-eagle环境变量

vim /etc/profile

export KE_HOME=/app/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

在这里插入图片描述

source /etc/profile

6. 配置Kafka_eagle

使用vi打开conf目录下的system-config.properties

cd /app/kafka-eagle-bin-3.0.1/efak-web-3.0.1
vim conf/system-config.properties

第一处改动，第五行附近：之前版本都是kafka.eagle 现在默认称为efak，名称改了，另外把cluster2注释

efak.zk.cluster.alias=cluster16 cluster1.zk.list=192.168.105.125:2181,192.168.105.129:2181,192.168.105.130:21817 #cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

在这里插入图片描述

第二处改动，54行注释

53 cluster1.efak.offset.storage=kafka
54 #cluster2.efak.offset.storage=zk

在这里插入图片描述

第三处：81-111行，全部注销

######################################79 # kafka sasl authenticate80 ######################################81 #cluster1.efak.sasl.enable=false82 #cluster1.efak.sasl.protocol=SASL_PLAINTEXT83 #cluster1.efak.sasl.mechanism=SCRAM-SHA-25684 #cluster1.efak.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";85 #cluster1.efak.sasl.client.id=86 #cluster1.efak.blacklist.topics=87 #cluster1.efak.sasl.cgroup.enable=false88 #cluster1.efak.sasl.cgroup.topics=89 #cluster2.efak.sasl.enable=false90 #cluster2.efak.sasl.protocol=SASL_PLAINTEXT91 #cluster2.efak.sasl.mechanism=PLAIN92 #cluster2.efak.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";93 #cluster2.efak.sasl.client.id=94 #cluster2.efak.blacklist.topics=95 #cluster2.efak.sasl.cgroup.enable=false96 #cluster2.efak.sasl.cgroup.topics=97 98 ######################################99 # kafka ssl authenticate
100 ######################################
101 #cluster3.efak.ssl.enable=false
102 #cluster3.efak.ssl.protocol=SSL
103 #cluster3.efak.ssl.truststore.location=
104 #cluster3.efak.ssl.truststore.password=
105 #cluster3.efak.ssl.keystore.location=
106 #cluster3.efak.ssl.keystore.password=
107 #cluster3.efak.ssl.key.password=
108 #cluster3.efak.ssl.endpoint.identification.algorithm=https
109 #cluster3.efak.blacklist.topics=
110 #cluster3.efak.ssl.cgroup.enable=false
111 #cluster3.efak.ssl.cgroup.topics=

第四处：125行
在这里插入图片描述

24 efak.driver=com.mysql.jdbc.Driver
125 efak.url=jdbc:mysql://192.168.105.122:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
126 efak.username=root
127 efak.password=123456

说明：这里node1上的MySQL用户名和密码要正确，123456是文件给的默认值，记得改，不然无法登录Kafka_eagle
创建ke数据库
在这里插入图片描述

7. 配置ke.sh

cd /app/kafka-eagle-bin-3.0.1/efak-web-3.0.1/bin 
vim ke.sh

在25行添加JAVA_HOME

export JAVA_HOME=/app/jdk1.8.0_301

在这里插入图片描述

添加执行脚本的权限

chmod u+x ke.sh

8. 启动Kafka_eagle

./ke.sh start

在这里插入图片描述

9. 防火墙

开放端口（开放后需要要重启防火墙才生效）、重新启动防火墙

firewall-cmd --zone=public --add-port=8048/tcp --permanent
firewall-cmd --reload

10. 访问Kafka eagle

访问之前，查看kafka和zookeeper是否启动，Kafka未启动不能访问

默认用户admin 密码为123456

#访问地址
http://node1:8048
或
http://ip地址:8048

在这里插入图片描述

二、监控面本总览

2.1. Dashboard

Overview

管控台面板

名称	节点数
kafka	3
zookeeper	3
topic	1
consumer	2

在这里插入图片描述

TV Dashboard
大屏监控面板

2.2. MESSAGE

MESSAGE-- Topics  主题相关-- Create  创建-- List    列表（查看）-- KSQL-- Mock-- Metadata-- Balance

Create
List
主题列表

点击具体某一个主题查看主题详情（元数据）
KSQL
Mock
模拟发送消息测试
Metadata
Balance

2.3. Application

Application-- Consumers-- Groups

在这里插入图片描述

2.4. Performance

Performance-- Node-- KAFKA-- ZOOKEEPER-- efakserver-- management

KAFKA
kafka集群
ZOOKEEPER
zookeeper集群
efakserver
management

2.5. SYSTEM

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/514914.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！