Kafka Eagle 安装教程

目录

前言

一、安装前的准备

1. 系统要求

2. 安装 JDK

3. 安装 Kafka 和 Zookeeper

4. MySQL 环境准备

二、下载并安装 Kafka Eagle

三、配置 Kafka Eagle

1. 编辑配置文件

2. 配置 Kafka 和 Zookeeper 信息

四、启动 Kafka Eagle

五、访问 Kafka Eagle

六、测试功能

七、总结


前言

Kafka Eagle 是一款开源的 Kafka 管理和监控工具,可以帮助用户管理 Kafka 集群、监控集群状态、管理 Topic、消费组等信息。本文将详细介绍如何在 Linux 系统上安装和配置 Kafka Eagle。

一、安装前的准备

1. 系统要求

  • 操作系统:本文以 CentOS 7 为例,其他 Linux 系统安装步骤类似。
  • Java 环境:Kafka Eagle 依赖 Java 环境,需要安装 JDK。
  • Kafka 环境:确保 Kafka 和 Zookeeper 已正确安装并运行。

2. 安装 JDK

Kafka Eagle 依赖 Java 运行环境,以下是安装 JDK 的步骤:

  1. 检查是否安装 JDK:java -version
  2. 如果没有安装,自行安装 JDK。

3. 安装 Kafka 和 Zookeeper

Kafka Eagle 依赖于 Kafka 和 Zookeeper 进行数据的管理和监控,请确保已正确安装并运行 Kafka 和 Zookeeper。如果尚未安装,可以参考 Kafka 和 Zookeeper 的安装教程。

修改Kafka的kafka-server-start.sh文件:

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; thenexport KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"export JMX_PORT="9999"#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
# 注意:修改之后在启动 Kafka 之前要分发之其他节点
xsync.sh kafka-server-start.sh

4. MySQL 环境准备

Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。如果集群中之前安装过 MySQL 可以跨过该步。

二、下载并安装 Kafka Eagle

  1. 进入 Kafka Eagle 官方 GitHub 页面:Kafka Eagle GitHub。
  2. 下载最新版本的 Kafka Eagle(例如 2.1.0 版本)。
  3. 解压文件:
    cd /opt/moudles
    tar -zxvf kafka-eagle-bin-2.0.8.tar.gz
    # 将 efak-web-2.0.8-bin.tar.gz 解压至/opt/installs
    cd kafka-eagle-bin-2.0.8
    tar -zxvf efak-web-2.0.8-bin.tar.gz -C /opt/installs/ 
  4. 修改名称:
    mv efak-web-2.0.8/ efak 

三、配置 Kafka Eagle

Kafka Eagle 的配置文件位于 conf/system-config.properties,我们需要修改此文件以完成配置。

1. 编辑配置文件

使用文本编辑器打开配置文件:

vi /opt/install/efak/conf/system-config.properties

2. 配置 Kafka 和 Zookeeper 信息

找到以下配置项,并进行修改:

  • 配置 Zookeeper 连接

    efak.zk.cluster.alias=cluster1,cluster2
    cluster1.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
    cluster2.zk.list=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka
  • 配置 Kafka 集群名称

    # offset 保存在 kafka 
    cluster1.efak.offset.storage=kafka
  • MySQL 数据库配置:Kafka Eagle 支持将监控数据存储到 MySQL 中。(需要提前MySQL数据库中创建数据库ke)

    # 修改数据库连接:&serverTimezone=GMT  时区一定要写,否则报405错误!
    # 127.0.0.1 = localhost   hosts文件中定义的
    efak.driver=com.mysql.cj.jdbc.Driver
    efak.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull&serverTimezone=GMT
    efak.username=root
    efak.password=123456
  • 其他配置项:添加环境变量     

# kafkaEFAK
export KE_HOME=/opt/installs/efak
export PATH=$PATH:$KE_HOME/binsource /etc/profile

四、启动 Kafka Eagle

进入 Kafka Eagle 的安装目录,并启动服务:

  1. 切换到安装目录:
    /opt/installs/efak
  2. 启动 Kafka Eagle:
    # 启动之前先启动Kafka和Zookeeper
    zk.sh start
    kf.sh start# 由于之前配置环境变量,也可以ke.sh start
    bin/ke.sh start
    
  3. 停止 Kafka Eagle:
    # 停止 efak,执行命令
    bin/ke.sh stop

五、访问 Kafka Eagle

Kafka Eagle 默认运行在 8048 端口上,打开浏览器,访问以下地址:

http://<服务器IP>:8048

首次访问会要求输入默认账户和密码:

  • 用户名:admin
  • 密码:admin123

六、测试功能

进入 Kafka Eagle 后,可以在界面中查看 Kafka 集群的状态、Topic、消费组等信息。Kafka Eagle 提供了图形化界面,可以直观地管理 Kafka 集群,包括:

  • Topic 和分区管理
  • 消费者组状态查看
  • 消息延迟监控
  • 集群健康状态监控

七、总结

至此,Kafka Eagle 已成功安装并配置完毕。使用 Kafka Eagle 可以更加方便地管理和监控 Kafka 集群,为运维和开发人员提供了极大的便利。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/60181.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

贪心算法-汽车加油

这道题目描述了一个汽车旅行场景&#xff0c;需要设计一个有效的算法来决定在哪几个加油站停车加油&#xff0c;以便最小化加油次数。题目给出了汽车加满油后的行驶距离n公里&#xff0c;以及沿途若干个加油站的位置。我们需要找出一个方案&#xff0c;使得汽车能够完成整个旅程…

yarn报错`warning ..\..\package.json: No license field`:已解决

出现这个报错有两个原因 1、项目中没有配置许可证 在项目根目录package.json添加 {"name": "next-starter","version": "1.0.0",# 添加这一行"license": "MIT", }或者配置私有防止发布到外部仓库 {"priv…

Vue Cli的配置中configureWebpack和chainWebpack的主要作用及区别是什么?

直接区别&#xff1a; configureWebpack项直接覆盖同名配置&#xff1b;chainWebpack项直接修改默认配置。 configureWebpack配置&#xff1a; // vue.config.js module.exports {configureWebpack: {plugins: [new MyAwesomeWebpackPlugin()]} }该代码段中的对象将会被web…

【电子通识】TINA-TI中仿真波形如何配置自动分离曲线?

在实际的TIAN-TI使用中,我们仿真后,输出的波形一般都是叠加的形式输出的。比如下图所示: 有一些更多条曲线且曲线内容不同的仿真,叠加后会更让我们看不清。导致很不方便。 一般这时我们会 选择View->Separate outputs( 分开输出),就可以将不同波形分…

【数据结构】线性表——顺序表

文章目录 一、线性表二、顺序表2.1概念及结构2.2、顺序表接口实现2.2.1、顺序表的动态存储2.2.2、顺序表初始化2.2.3、检查空间判断进行增容2.2.4、顺序表尾插、尾删2.2.5、顺序表头插、头删2.2.6、顺序表查找2.2.7、顺序表在pos位置插入x2.2.8、顺序表删除pos位置的值2.2.9、顺…

Javascript高级—深浅拷贝

浅拷贝 浅拷贝是拷贝第一层的拷贝 使用Object.assign解决这个问题。 let a {age: 1 } let b Object.assign({}, a) a.age 2 console.log(b.age) // 1通过展开运算符 ... 来实现浅拷贝 let a {age: 1 } let b {...a}; a.age 2; console.log(b.age) // 1深拷贝 简单的…

【Matlab算法】MATLAB实现基于小波变换的信号去噪(附MATLAB完整代码)

MATLAB实现基于小波变换的信号去噪 结果图前言正文1. 小波变换理论基础1.1 小波变换的数学模型1.2 离散小波变换原理2. 信号去噪方法2.1 去噪算法流程2.2 阈值处理方法3. 核心函数解析3.1 wavedec函数3.2 wthresh函数代码实现4.1 信号生成4.2 小波变换去噪完整代码总结参考文献…

(十)Python字典基本操作

与列表和元组有所不同&#xff0c;字典是另一种可变容器模型&#xff0c;且可存储任意类型的对象。 一、字典对象常用操作 字典的对象使用大括号{}将元素列出。字典的元素排列并没有一定的顺序&#xff0c;因为可以使用键值来取得该元素。 hh{"名称":"葡萄&q…

神经网络基础--什么是正向传播??什么是方向传播??

前言 本专栏更新神经网络的一些基础知识&#xff1b;这个是本人初学神经网络做的笔记&#xff0c;仅仅堆正向传播、方向传播进行了讲解&#xff0c;更加系统的讲解&#xff0c;本人后面会更新《李沐动手学习深度学习》&#xff0c;会更有详细讲解;案例代码基于pytorch&#xf…

Oracle RAC的thread

参考文档&#xff1a; Real Application Clusters Administration and Deployment Guide 3 Administering Database Instances and Cluster Databases Initialization Parameter Use in Oracle RAC Table 3-3 Initialization Parameters Specific to Oracle RAC THREAD Sp…

Chat GPT英文学术写作指令

目录 Chat GPT英文学术写作指令 Chat GPT英文学术写作指令 1."为我捉供一些建议和技巧,以提高我的学术写作质最和风格" (Provide me with some suggestions andtips to improve the quality andstyleofmyacademic writing.) 2."帮我提写一个清晰而有逻辑的…

Springboot集成syslog+logstash收集日志到ES

Springboot集成sysloglogstash收集日志到ES 1、背景 Logstash 是一个实时数据收集引擎&#xff0c;可收集各类型数据并对其进行分析&#xff0c;过滤和归纳。按照自己条件分析过滤出符合的数据&#xff0c;导入到可视化界面。它可以实现多样化的数据源数据全量或增量传输&…

函数式编程Stream流(通俗易懂!!!)

目录 1.Lambda表达式 1.1 基本用法 1.2 省略规则 2.Stream流 2.1 常规操作 2.1.1 创建流 2.1.2 中间操作 filter map distinct sorted limit ​编辑skip flatMap 2.1.3 终结操作 foreach count max&min collect anyMatch allMatch noneMatch …

golang 泛型 middleware 设计模式: 一次只做一件事

golang 泛型 middleware 设计模式: 一次只做一件事 1. 前言 本文主要介绍 在使用 gRPC 和 Gin 框架中常用的 middleware 设计模式 还有几种叫法 装饰器模式Pipeline 模式 设计思想: 10 个 10 行函数, 而不是 1 个 100 行函数一次只做一件事, 而不一次做多件事单一职责 2…

AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。

AMD-OLMo是一系列10亿参数语言模型&#xff0c;由AMD公司在AMD Instinct MI250 GPU上进行训练&#xff0c;AMD Instinct MI250 GPU是一个功能强大的图形处理器集群&#xff0c;它利用了OLMo这一公司开发的尖端语言模型。AMD 创建 OLMo 是为了突出其 Instinct GPU 在运行 “具有…

使用服务器时进行深度学习训练时,本地必须一直保持连接状态吗?

可以直接查看方法&#xff0c;不看背景 1.使用背景2. 方法2.1 screen命令介绍2.2 为什么要使用screen命令2.3 安装screen2.4 创建session2.5 查看session是否创建成功2.6 跳转进入session2.7 退出跑代码的session2.8 删除session 1.使用背景 我们在进行深度学习训练的时候&…

「Mac玩转仓颉内测版3」入门篇3 - Cangjie的基本语法与结构

本篇将深入探讨Cangjie语言的基本语法与结构。这些基础知识为编写高效、可维护的代码奠定了坚实基础。通过理解语句结构、表达式、注释及数据类型&#xff0c;能够更自信地使用Cangjie进行编程。 关键词 Cangjie基本语法语句结构表达式注释数据类型控制结构 一、基本语法 1.…

深入了解区块链:Web3的基础架构与发展

在数字时代的浪潮中&#xff0c;区块链技术正逐渐成为Web3的重要基础&#xff0c;重新定义互联网的结构和用户体验。Web3不仅是一个全新的网络阶段&#xff0c;更代表了一种去中心化的理念&#xff0c;强调用户主权和数据隐私。本文将深入探讨区块链在Web3中的基础架构、技术特…

华为大变革?仓颉编程语言会代替ArkTS吗?

在华为鸿蒙生态系统中&#xff0c;编程语言的选择一直是开发者关注的焦点。近期&#xff0c;华为推出了自研的通用编程语言——仓颉编程语言&#xff0c;这引发了关于仓颉是否会取代ArkTS的讨论。本文将从多个角度分析这两种语言的特点、应用场景及未来趋势&#xff0c;探讨仓颉…

使用Golang实现开发中常用的【实例设计模式】

使用Golang实现开发中常用的【实例设计模式】 设计模式是解决常见问题的模板&#xff0c;可以帮助我们提升思维能力&#xff0c;编写更高效、可维护性更强的代码。 单例模式&#xff1a; 描述&#xff1a;确保一个类只有一个实例&#xff0c;并提供一个全局访问点。 优点&…