Kafka 监控 Kafka Eagle 精简版本

在这里插入图片描述

文章目录

  • 一、Kafka Eagle 下载、编译流程
    • 1. Kafka Eagle下载
    • 2. 解压Kafka Eagle
    • 3. 进入解压的目录
    • 4. 编译项目
    • 5. 添加编译环境
    • 6. 运行脚本编译项目
  • 二、Kafka Eagle 正式配置流程
    • 2.1. 进入编译获得web目录
    • 2.2. 将编译后的tar解压到/app目录
    • 2.3. 在/app目录下面查看
    • 2.4. 配置文件修改
  • 三、修改kafka配置
    • 3.1. 修改 kafka 启动命令
    • 3.2. 同步配置文件到ly-02 ly-03节点
    • 3.3. 启动zk集群脚本
    • 3.4. 启动kafka集群脚本
    • 3.6. 启动kafka eagle
  • 四、登录web页面
    • 4.1. 浏览器访问
    • 4.2. 登录
    • 4.2. 登录后页面

一、Kafka Eagle 下载、编译流程

1. Kafka Eagle下载

wget https://github.com/smartloli/kafka-eagle/archive/v1.4.3.tar.gz

2. 解压Kafka Eagle

tar -zxf v1.4.3.tar.gz

3. 进入解压的目录

cd kafka-eagle-1.4.3/

4. 编译项目

前提:Centos7 安装maven,如果没有安装,请点击链接,先安装maven。

5. 添加编译环境

不添加会抛出以下错误

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project kafka-eagle-common: Compilation failure: Compilation failure: 
[ERROR] /usr/local/src/kafka/kafka-eagle/kafka-eagle-common/src/main/java/org/smartloli/kafka/eagle/common/util/KafkaZKPoolUtils.java:[44,84] diamond operator is not supported in -source 1.5
[ERROR]   (use -source 7 or higher to enable diamond operator)

按照大神的说法,修改pom.xml文件,在最后一行之前添加以下内容:

  <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-compiler-plugin</artifactId><version>3.2</version><configuration><source>1.8</source><target>1.8</target></configuration></plugin></plugins></build>

6. 运行脚本编译项目

./build.sh

二、Kafka Eagle 正式配置流程

2.1. 进入编译获得web目录

cd /app/software/kafka-eagle-1.4.3/kafka-eagle-web/target

2.2. 将编译后的tar解压到/app目录

tar -zxvf kafka-eagle-web-1.4.3-bin.tar.gz -C /app/

2.3. 在/app目录下面查看

2.4. 配置文件修改

cd /app/kafka-eagle-web-1.4.3/conf
vim system-config.properties

第1处 第4行
配置zk集群信息

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=ly-01:2181,ly-02:2181,ly-03:2181

修改第2处 第20行
配置zk集群信息

cluster1.kafka.eagle.offset.storage=kafka

修改第3处 第30行
开启仪表盘显示

kafka.eagle.metrics.charts=true

修改第4处 注释第67行 至70行
关闭 默认使用Sqlite进行存储
开启存储Kafka Eagle元数据信息的MySQL数据库,

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroD    ateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

三、修改kafka配置

3.1. 修改 kafka 启动命令

修改 kafka-server-start.sh 命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m
-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -
XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

注意:修改之后在启动 Kafka 之前要分发或者同步到其他2个节点

3.2. 同步配置文件到ly-02 ly-03节点

scp /app/kafka/bin/kafka-server-start.sh root@ly-02:/app/kafka/bin
scp /app/kafka/bin/kafka-server-start.sh root@ly-03:/app/kafka/bin

3.3. 启动zk集群脚本

./zkmanage.sh start

脚本内容:

#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1ing....."
ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh $1"
donesleep 2
for host in ly-01 ly-02 ly-03
do
ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh status"
done

附上:zk停止命令

./zkmanage.sh stop

3.4. 启动kafka集群脚本

./kk-start.sh

kafka启动脚本内容:

#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka starting....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties"
done

kafka 关闭集群 脚本内容:

#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka stopping....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties"
done

3.6. 启动kafka eagle

cd /app/kafka-eagle-web-1.4.3/bin
./ke.sh start

注:低版本号好像需要赋予权限

chmod u+x ke.sh

运行脚本后截图

四、登录web页面

4.1. 浏览器访问

http://192.168.43.32:8048/ke

4.2. 登录

账号/密码:admin/123456

4.2. 登录后页面

在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/521288.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

arcgis python实例_ArcGIS Python编程案例(14)-五个常用Python处理任务

我们将在本章介绍以下案例&#xff1a; 从分隔符文本文件中读取数据 发送电子邮件 访问FTP服务器中的文件 创建ZIP文件 读取XML文件 引言 在本章中&#xff0c;你将学习如何编写Python脚本来执行常用的处理任务。这些任务包括读写分隔符文本文件&#xff0c;发送电子邮件&#…

c 最大子序列和_最大连续子序列

最大连续子序列&#xff1a;是指序列中所有子序列中元素和最大的一个例如{-2,11&#xff0c;-4,13&#xff0c;-5.-2}中最大连续子序列为{11&#xff0c;-4,13}其和为20若所有k个元素都为负数&#xff0c;则定义其最大和为0&#xff0c;输出整个序列的首尾元素#include<iost…

【只有光头才能变强,文末有xx】分享一波Lambda表达式

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | Java3y责编 | 阿秃前言只有光头才能变强。学了一下Java的函数式编程&#xff0c;给大家整理了一下&#xff0c;一起学习&#xff01;一、Lambda用法之前写Optional这个类的时候&#xff0c;简单说了一下Lambda是怎么用的&am…

因为阿里,他们成了“杭漂”

摘要&#xff1a; 这是你吗——有人在回北京的飞机上赶时间写周报&#xff1b;有人全家在美国&#xff0c;孤身从硅谷回杭州工作&#xff1b;有人每周回北京为了赶末班飞机快速过安检&#xff0c;周末从不系皮带。 阿里正在从杭州走向全世界&#xff0c;也有越来越多的人才&am…

如何提高一个研发团队的“代码速度”?

摘要&#xff1a; 蚂蚁金服国际事业群技术风险部研究员南门&#xff0c;将和大家聊聊Code Velocity&#xff0c;希望能在团队效率问题方面&#xff0c;为你带来一些启发。 什么是代码速度&#xff08;Code Velocity&#xff09;&#xff1f; Code Velocity的定义是&#xff1…

多机器人路径规划的代码_知荐 | 地平线机器人算法工程师总结六大路径规划算法...

来源 | 知乎知圈 | 进“高精度地图社群”&#xff0c;请加微信15221054164&#xff0c;备注地图目录1 自主机器人近距离操作运动规划体系1.1 单个自主机器人的规划体系1.2 多自主机器人协同规划体系2 路径规划研究2.1 图搜索法2.1.1 可视图法2.1.2 Dijkstra算法2.1.3 A*算法2.2…

Kafka 监控 Kafka Eagle 图形化版本

文章目录一、Kafka Eagle 下载、编译流程1. Kafka Eagle下载2. 解压Kafka Eagle3. 进入解压的目录4. 编译项目5. 添加编译环境6. 运行脚本编译项目二、Kafka Eagle 正式配置流程2.1. 进入编译获得web目录2.2. 将编译后的tar解压到/app目录2.3. 在/app目录下面查看2.4. 配置文件…

一份关于如何为回归任务选择机器学习算法指南

摘要&#xff1a; 本文总结了一些针对于回归问题的机器学习方法&#xff0c;辩证地分析了其各自的优缺点&#xff0c;读者可以根据具体问题选择合适的机器学习算法以完成相应的任务。 当遇到任何类型的机器学习&#xff08;ML&#xff09;问题时&#xff0c;可能会有许多不同的…

博文强识|支付宝 App 是如何建设移动 DevOps 的?

作者 | 阿里云云栖社区转自 &#xff5c; CSDN企业博客责编 | 阿秃微软 MSDN 上的一篇文章有这样一段话&#xff1a;“移动应用的理想环境需要满足两个条件&#xff0c;一是可以确切知道客户脑海中立即浮现的需求&#xff0c;二是为了满足这些需求而编写的代码可以立即传递给这…

第一个将Palette Mode引入VVC(H.266),阿里云在JVET会议上引起关注

从应用需求出发&#xff0c;帮助标准组织制定出更贴近云端业务需求的标准 视频压缩标准是一个重要且深具挑战的研究方向。从过去的存储到当前的网络带宽&#xff0c;视频标准每一代的更新进步对科技应用都有很大的影响。但同时随着几十年来的发展&#xff0c;视频压缩标准的效…

kafka集群下载、启动、部署、测试

文章目录一、kafka基础操作1. kafka下载2. 解压3. 重命名4. 在kafka目录下创建 data 数据文件夹5. 修改配置文件6. 配置kafka环境变量7. 刷新环境变量&#xff0c;使之生效二、kafka集群操作2.1. 分发配置好的基础安装包2.2. 登录ly-02服务器&#xff0c;修改配置文件2.3. 登录…

零基础学python难_0基础学python有多难

相对于其他编程语言来说&#xff0c;Python并不是很难&#xff0c;入门简单&#xff0c;容易上手&#xff0c;对于零基础的人来说&#xff0c;入门Python是不难的&#xff0c;但是想要学精学通&#xff0c;则要花费一定的时间和精力。Python是主流的编程语言&#xff0c;应用性…

修改HBase的rowkey设计把应用的QPS从5W提升到50W

摘要&#xff1a; 正确设计Hbase的rowkey可以让你的应用飞起来&#xff0c;前提是你需要了解一些Hbase的存储机制。 UTT是Aliexpress的营销消息运营平台&#xff0c;运营希望促销活动时APP消息推送的QPS达到34W。 UTT刚接入APP消息推送时&#xff0c;QPS只能达到5W&#xff0…

BDTC 2019 | 15场分论坛,10分钟速览,5折票优惠,烧脑模式开启

2019中国大数据技术大会&#xff08;BDTC&#xff09;5折优惠票限时抢购啦&#xff0c;学生票仅售599元&#xff01;扫描上图二维码或登录官网&#xff08;https://t.csdnimg.cn/KSTh&#xff09;了解更多最新大会详情。近日&#xff0c;在组委会公布大会部分重磅讲师和前沿议题…

我需要一个高并发的架构,我的系统要改造成微服务吗

摘要&#xff1a; 最近大家都在谈微服务&#xff0c;随着越来越多的在线业务需要提供更大并发的scale-up 和 scale out能力&#xff0c;微服务确实提供了比较好分布式服务的解决方案。 阿里云高级解决方案架构师 杨旭 世界最大混合云的总架构师&#xff0c;4年前&#xff0c;开…

python工作目录_Python目录的基本操作

一、任务描述 本实验任务主要对Python目录进行一些基本操作&#xff0c;通过完成本实验任务&#xff0c;要求学生熟练掌握Python目录的基本操作&#xff0c;并对Python目录的基本操作进行整理并填写工作任务报告。 二、任务目标 1、掌握Python目录的操作 三、任务环境 Ubuntu16…

【建议收藏】数据中心服务器基础知识大全

戳蓝字“CSDN云计算”关注我们哦&#xff01;作者 | Hardy责编 | 阿秃服务器对每个从事IT工作的人来说并不陌生&#xff0c;但是服务器所涉及的各种知识细节&#xff0c;并非大家都十分清楚&#xff0c;为了让大家深入了解服务器的关键知识点&#xff0c;笔者特意抽时间总结了…

一文了解阿里云CDN HTTP2.0

摘要&#xff1a; 本文由阿里视频云高级技术专家空见撰写&#xff0c;主要介绍HTTP2.0的历史、特性、如何使用和使用之后的性能对比验证。 背景介绍 要了解HTTP2.0&#xff0c;先了解一下HTTP超文本传输协议的历史&#xff08;HyperText Transfer Protocol&#xff09;&#…

VMVare 虚拟机使用桥接模式

VMVare 虚拟机使用桥接模式&#xff0c;和物理机使用同一个物理网卡&#xff0c;和物理主机使用同一个段的ip。 文章目录1. VMware 编辑 > 虚拟网络编辑器2. 更改配置3. 编辑名称为VMnet0 的网络4. 编辑虚拟机的网络适配器5. 编辑虚拟机的网络适配器6. 再启动虚拟机1. VMwar…

阿里云基于NVM的持久化高性能Redis数据库

摘要&#xff1a; 背景 Redis作为一款简洁、高效的开源K/V数据库&#xff0c;可以被用于内存缓存、持久化存储等不同场景&#xff0c;大量服务于各类互联网应用。同时也提供了丰富的功能配置&#xff0c;客户可以根据各自业务需求&#xff0c;在读写性能、缓存容量、数据可靠性…