一、前言
EFAK
((Eagle For Apache Kafka,以前称为Kafka Eagle)用于在使用 Topic 的情况下监控 Kafka 集群。包含Offset 的产生、Lag的变化、Partition的分布、Owner、Topic的创建以及修改的时间等信息。
二、环境&安装包
- 官方下载连接EFAK (Eagle For Apache Kafka®) 3.0.1
- CentOS Linux release 7.9.2009 (Core)
- Kafka2.6.3
- Zookeeper3.7.0
三、部署&配置
Kafka、 Zookeeper部署这里就不多做教学了
1.kafka配置
kafka需要注意的配置:打开
JMX PORT
(编辑启动脚本添加该参数)
vim bin/kafka-server-start.sh
...
export JMX_PORT="9988" #端口随意
...
2.zookeeper配置
zookeeper需要注意的配置:打开zkcli权限(zookeeper版本>=3.5)
vim bin/zkServer.sh
...
# zookeeper enable client commands
ZOOMAIN="-Dzookeeper.4lw.commands.whitelist=* ${ZOOMAIN}"
...
具体修改如图:
在启动参数里加一项就可,不是替换全部参数!!!
启动顺序:Zookeeper -> Kafka
3.EFAK部署
tar -xvf kafka-eagle-bin-3.0.1.tar.gz
cd kafka-eagle-bin-3.0.1/
tar -xvf efak-web-3.0.1-bin.tar.gz
cd efak-web-3.0.1
vim conf/system-config.properties
...
efak.zk.cluster.alias=cluster1
cluster1.zk.list=192.168.200.39:2181
...
efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://xx.xx.xx.xx:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=xxxx
xxx替换成自己服务器具体信息
注意
:数据库不需要创建,连接信息写对、权限给足 服务会自己创建ke数据库和table
3.1配置EFAK环境变量
vim /etc/profile
...
# EFAK变量
export KE_HOME=/srv/program/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin
# JAVA变量(必须配置,提前安装好环境)
export JAVA_HOME=/srv/program/jdk1.8.0_181
...
:wq
# 启动EFAK(已经启动Zookeeper和Kafka)
./bin/ke.sh start
四、使用&展示
官方使用手册:【EFAK-document】
1.仪表板
2.kafka节点信息
3.zookeeper节点信息
4.监控指标
5.Kafka元数据
6.KSQL使用
7.平衡
8.报警
五、结束语
到此EFAK监控服务就部署完毕啦,如果有其它问题欢迎大家评论留言,如果觉得还可以,那么给作者点赞、收藏、关注吧!