Kafka Eagle 安装教程

目录

前言

一、安装前的准备

1. 系统要求

2. 安装 JDK

3. 安装 Kafka 和 Zookeeper

4. MySQL 环境准备

二、下载并安装 Kafka Eagle

三、配置 Kafka Eagle

1. 编辑配置文件

2. 配置 Kafka 和 Zookeeper 信息

四、启动 Kafka Eagle

五、访问 Kafka Eagle

六、测试功能

七、总结


前言

Kafka Eagle 是一款开源的 Kafka 管理和监控工具,可以帮助用户管理 Kafka 集群、监控集群状态、管理 Topic、消费组等信息。本文将详细介绍如何在 Linux 系统上安装和配置 Kafka Eagle。

一、安装前的准备

1. 系统要求

  • 操作系统:本文以 CentOS 7 为例,其他 Linux 系统安装步骤类似。
  • Java 环境:Kafka Eagle 依赖 Java 环境,需要安装 JDK。
  • Kafka 环境:确保 Kafka 和 Zookeeper 已正确安装并运行。

2. 安装 JDK

Kafka Eagle 依赖 Java 运行环境,以下是安装 JDK 的步骤:

  1. 检查是否安装 JDK:java -version
  2. 如果没有安装,自行安装 JDK。

3. 安装 Kafka 和 Zookeeper

Kafka Eagle 依赖于 Kafka 和 Zookeeper 进行数据的管理和监控,请确保已正确安装并运行 Kafka 和 Zookeeper。如果尚未安装,可以参考 Kafka 和 Zookeeper 的安装教程。

修改Kafka的kafka-server-start.sh文件:

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
# 注意:修改之后在启动 Kafka 之前要分发之其他节点
xsync.sh kafka-server-start.sh

4. MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。如果集群中之前安装过 MySQL 可以跨过该步。

二、下载并安装 Kafka Eagle

  1. 进入 Kafka Eagle 官方 GitHub 页面:Kafka Eagle GitHub。
  2. 下载最新版本的 Kafka Eagle(例如 2.1.0 版本)。
  3. 解压文件:
    cd /opt/moudles
    tar -zxvf kafka-eagle-bin-2.0.8.tar.gz
    # 将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
    cd kafka-eagle-bin-2.0.8
    tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 
  4. 修改名称:
    mv efak-web-2.0.8/ efak 

三、配置 Kafka Eagle

Kafka Eagle 的配置文件位于 conf/system-config.properties,我们需要修改此文件以完成配置。

1. 编辑配置文件

使用文本编辑器打开配置文件:

vi /opt/install/efak/conf/system-config.properties

2. 配置 Kafka 和 Zookeeper 信息

找到以下配置项,并进行修改:

  • 配置 Zookeeper 连接

    efak.zk.cluster.alias=cluster1,cluster2
    cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
    cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
  • 配置 Kafka 集群名称

    # offset 保存在 kafka 
    cluster1.efak.offset.storage=kafka
  • MySQL 数据库配置:Kafka Eagle 支持将监控数据存储到 MySQL 中。(需要提前MySQL数据库中创建数据库ke)

    # 修改数据库连接:&serverTimezone=GMT  时区一定要写,否则报405错误!
    # 127.0.0.1 = localhost   hosts文件中定义的
    efak.driver=com.mysql.cj.jdbc.Driver
    efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
    efak.username=root
    efak.password=123456
  • 其他配置项:添加环境变量     

# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/binsource /etc/profile

四、启动 Kafka Eagle

进入 Kafka Eagle 的安装目录,并启动服务:

  1. 切换到安装目录:
    /opt/installs/efak
  2. 启动 Kafka Eagle:
    # 启动之前先启动Kafka和Zookeeper
    zk.sh start
    kf.sh start# 由于之前配置环境变量,也可以ke.sh start
    bin/ke.sh start
    
  3. 停止 Kafka Eagle:
    # 停止 efak,执行命令
    bin/ke.sh stop

五、访问 Kafka Eagle

Kafka Eagle 默认运行在 8048 端口上,打开浏览器,访问以下地址:

http://<服务器IP>:8048

首次访问会要求输入默认账户和密码:

  • 用户名:admin
  • 密码:admin123

六、测试功能

进入 Kafka Eagle 后,可以在界面中查看 Kafka 集群的状态、Topic、消费组等信息。Kafka Eagle 提供了图形化界面,可以直观地管理 Kafka 集群,包括:

  • Topic 和分区管理
  • 消费者组状态查看
  • 消息延迟监控
  • 集群健康状态监控

七、总结

至此,Kafka Eagle 已成功安装并配置完毕。使用 Kafka Eagle 可以更加方便地管理和监控 Kafka 集群,为运维和开发人员提供了极大的便利。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/60181.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

贪心算法-汽车加油

这道题目描述了一个汽车旅行场景&#xff0c;需要设计一个有效的算法来决定在哪几个加油站停车加油&#xff0c;以便最小化加油次数。题目给出了汽车加满油后的行驶距离n公里&#xff0c;以及沿途若干个加油站的位置。我们需要找出一个方案&#xff0c;使得汽车能够完成整个旅程…

yarn报错`warning ..\..\package.json: No license field`:已解决

出现这个报错有两个原因 1、项目中没有配置许可证 在项目根目录package.json添加 {"name": "next-starter","version": "1.0.0",# 添加这一行"license": "MIT", }或者配置私有防止发布到外部仓库 {"priv…

【电子通识】TINA-TI中仿真波形如何配置自动分离曲线?

在实际的TIAN-TI使用中,我们仿真后,输出的波形一般都是叠加的形式输出的。比如下图所示: 有一些更多条曲线且曲线内容不同的仿真,叠加后会更让我们看不清。导致很不方便。 一般这时我们会 选择View->Separate outputs( 分开输出),就可以将不同波形分…

【数据结构】线性表——顺序表

文章目录 一、线性表二、顺序表2.1概念及结构2.2、顺序表接口实现2.2.1、顺序表的动态存储2.2.2、顺序表初始化2.2.3、检查空间判断进行增容2.2.4、顺序表尾插、尾删2.2.5、顺序表头插、头删2.2.6、顺序表查找2.2.7、顺序表在pos位置插入x2.2.8、顺序表删除pos位置的值2.2.9、顺…

【Matlab算法】MATLAB实现基于小波变换的信号去噪(附MATLAB完整代码)

MATLAB实现基于小波变换的信号去噪 结果图前言正文1. 小波变换理论基础1.1 小波变换的数学模型1.2 离散小波变换原理2. 信号去噪方法2.1 去噪算法流程2.2 阈值处理方法3. 核心函数解析3.1 wavedec函数3.2 wthresh函数代码实现4.1 信号生成4.2 小波变换去噪完整代码总结参考文献…

神经网络基础--什么是正向传播??什么是方向传播??

前言 本专栏更新神经网络的一些基础知识&#xff1b;这个是本人初学神经网络做的笔记&#xff0c;仅仅堆正向传播、方向传播进行了讲解&#xff0c;更加系统的讲解&#xff0c;本人后面会更新《李沐动手学习深度学习》&#xff0c;会更有详细讲解;案例代码基于pytorch&#xf…

函数式编程Stream流(通俗易懂!!!)

目录 1.Lambda表达式 1.1 基本用法 1.2 省略规则 2.Stream流 2.1 常规操作 2.1.1 创建流 2.1.2 中间操作 filter map distinct sorted limit ​编辑skip flatMap 2.1.3 终结操作 foreach count max&min collect anyMatch allMatch noneMatch …

AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。

AMD-OLMo是一系列10亿参数语言模型&#xff0c;由AMD公司在AMD Instinct MI250 GPU上进行训练&#xff0c;AMD Instinct MI250 GPU是一个功能强大的图形处理器集群&#xff0c;它利用了OLMo这一公司开发的尖端语言模型。AMD 创建 OLMo 是为了突出其 Instinct GPU 在运行 “具有…

使用服务器时进行深度学习训练时,本地必须一直保持连接状态吗?

可以直接查看方法&#xff0c;不看背景 1.使用背景2. 方法2.1 screen命令介绍2.2 为什么要使用screen命令2.3 安装screen2.4 创建session2.5 查看session是否创建成功2.6 跳转进入session2.7 退出跑代码的session2.8 删除session 1.使用背景 我们在进行深度学习训练的时候&…

深入了解区块链:Web3的基础架构与发展

在数字时代的浪潮中&#xff0c;区块链技术正逐渐成为Web3的重要基础&#xff0c;重新定义互联网的结构和用户体验。Web3不仅是一个全新的网络阶段&#xff0c;更代表了一种去中心化的理念&#xff0c;强调用户主权和数据隐私。本文将深入探讨区块链在Web3中的基础架构、技术特…

华为大变革?仓颉编程语言会代替ArkTS吗?

在华为鸿蒙生态系统中&#xff0c;编程语言的选择一直是开发者关注的焦点。近期&#xff0c;华为推出了自研的通用编程语言——仓颉编程语言&#xff0c;这引发了关于仓颉是否会取代ArkTS的讨论。本文将从多个角度分析这两种语言的特点、应用场景及未来趋势&#xff0c;探讨仓颉…

【C++笔记】C++三大特性之继承

【C笔记】C三大特性之继承 &#x1f525;个人主页&#xff1a;大白的编程日记 &#x1f525;专栏&#xff1a;C笔记 文章目录 【C笔记】C三大特性之继承前言一.继承的概念及定义1.1 继承的概念1.2继承的定义1.3继承基类成员访问方式的变化1.4继承类模板 二.基类和派生类间的转…

Windows搭建流媒体服务并使用ffmpeg推流播放rtsp和rtmp流

文章目录 搭建流媒体服务方式一安装mediamtx启动meidamtx关闭meidamtx 方式二安装ZLMediaKit启动ZLMediaKit关闭ZLMediaKit 安装FFmpeg进行推流使用FFmpeg进行rtmp推流使用VLC播放rtmp流停止FFmpeg的rtmp推流使用FFmpeg进行rtsp推流使用VLC播放rtmp流停止FFmpeg的rtsp推流 本文…

Polybase要求安装orcale jre 7

在安装SQL SERVER时&#xff0c;遇到以下情况&#xff1a;polybase要求安装orcale jre 7更新 51或更高版本 不想安装JDK7。可通过不安装polybase的功能来实现下一步的安装。 1. 点击上一步&#xff0c;回到功能选择的设置界面中。 2. 然后在功能选择窗口中&#xff0c;取消勾选…

深入理解计算机系统 3.7 缓冲区溢出

3.7.1 数据对齐 许多计算机系统对基本数据类型的合法地址做出了一些限制&#xff0c;要求某种类型对象的地址必须是某个值K(通常是2、4或8)的倍数。这种对齐限制简化了形成处理器和内存系统之间接口的硬件设计。例如&#xff0c;假设一个处理器总是从内存中取8个字节&#xff…

代码随想录刷题记录(二十七)——55. 右旋字符串

&#xff08;一&#xff09;问题描述 55. 右旋字符串&#xff08;第八期模拟笔试&#xff09;https://kamacoder.com/problempage.php?pid1065字符串的右旋转操作是把字符串尾部的若干个字符转移到字符串的前面。给定一个字符串 s 和一个正整数 k&#xff0c;请编写一个函数&…

QT打包应用程序文件步骤

QT应用程序&#xff08;.exe&#xff09;打包复制到其他电脑 在QT程序在自己电脑编译好了后&#xff0c;需要打包给其他人。这里介绍一下详细步骤&#xff1a; 确定编译器 搜了很多相关的打包教程&#xff0c;但是还是会出现“应用程序无法正常启动(0xc000007b)”这类错误。经过…

我谈维纳(Wiener)复原滤波器

Rafael Gonzalez的《数字图像处理》中&#xff0c;图像复原这章内容几乎全错。上篇谈了图像去噪&#xff0c;这篇谈图像复原。 图像复原也称为盲解卷积&#xff0c;不处理点扩散函数&#xff08;光学传递函数&#xff09;的都不是图像复原。几何校正不属于图像复原&#xff0c…

10款音频剪辑推荐!!你的剪辑好帮手!!

在如今的数据化浪潮中&#xff0c;工作已经采用了线上线下相结合。我的工作就需要借助一些剪辑工具&#xff0c;来实现我对音频工具的剪辑。我初次接触到音频剪辑也是因为工作需求&#xff0c;从起初我只是一个音频剪辑的小白&#xff0c;这些工具的协助。吸引着我。对于这些工…

Rocky、Almalinux、CentOS、Ubuntu和Debian系统初始化脚本v9版

Rocky、Almalinux、CentOS、Ubuntu和Debian系统初始化脚本 Shell脚本源码地址&#xff1a; Gitee&#xff1a;https://gitee.com/raymond9/shell Github&#xff1a;https://github.com/raymond999999/shell脚本可以去上面的Gitee或Github代码仓库拉取。 支持的功能和系统&am…