【Kafka-Eagle】EFAK告警配置与实践

Kafka-Eagle是一个开源的Kafka集群监控与告警系统,可以帮助用户实现对Kafka集群的实时监控、性能指标收集以及异常告警等功能。下面是关于Kafka-Eagle的告警配置和实践的一般步骤:

  1. 安装和配置Kafka-Eagle:

    • 下载最新版本的Kafka-Eagle安装包,并解压到一个合适的目录中。
    • 进入Kafka-Eagle的解压目录,编辑conf/system-config.properties文件,配置Kafka集群的相关信息。
      • 修改kafka.eagle.zk.cluster.alias属性来设置ZooKeeper集群的别名。
      • 修改kafka.eagle.zk.list属性来设置ZooKeeper的地址,支持多个地址用逗号分隔。
      • 修改kafka.eagle.bootstrap.servers属性来设置Kafka集群的Bootstrap Servers,支持多个地址用逗号分隔。
  2. 配置告警规则:

    • 在Kafka-Eagle的解压目录下,找到conf/alarm.properties文件,该文件用于配置告警规则。
    • 告警规则由JSON数组表示,可以添加多个告警规则。
    • 每个告警规则由以下字段组成:
      • cluster:指定Kafka集群的别名,与system-config.properties文件中的kafka.eagle.zk.cluster.alias对应。
      • topic:定义要监控的Topic名称,可以使用通配符(*)匹配多个Topic。
      • alarmLevel:设置告警级别,可选值为CRITICALWARNINGINFO
      • expression:定义告警的触发条件,可以使用Kafka-Eagle提供的表达式语法,例如brokerMetrics.get(1).get('HeapMemoryUsed') > 1000000000表示当Broker的堆内存使用量超过1GB时触发告警。
      • notificationGroups:指定通知组,用于发送告警通知。
  3. 配置告警通知方式:

    • conf/alarm.properties文件中,配置告警通知方式。
    • Kafka-Eagle支持多种告警通知方式,包括邮件、短信、Webhook等。
    • 配置相应的通知方式参数,如SMTP服务器信息(如果使用邮件通知)或其他通知方式的相关参数。
  4. 启动Kafka-Eagle:

    • 执行Kafka-Eagle的启动脚本,例如执行./bin/ke.sh start(Linux/Mac)或bin\ke.bat start(Windows)来启动Kafka-Eagle服务。
    • 等待一段时间,确保Kafka-Eagle成功连接到Kafka集群并开始收集监控数据。
  5. 监控与告警查看:

    • 打开Web浏览器,访问Kafka-Eagle的Web界面,默认地址为http://<Kafka-Eagle服务器IP>:8048/ke
    • 在登录页面输入用户名和密码,默认用户名为admin,密码为admin(可以在conf/system-config.properties文件中修改)。
    • 登录后,可以查看Kafka集群的实时监控数据、告警信息和历史记录。
    • 在"Topics"选项卡下,可以查看Topic的分区情况、消息堆积数量等指标。
    • 在"Brokers"选项卡下,可以查看Broker的性能指标、副本状态等信息。
    • 当触发告警规则时,Kafka-Eagle会发送相应的告警通知。

请注意,以上步骤仅为基本配置和使用Kafka-Eagle进行告警的指导。Kafka-Eagle还提供了更多功能,如消费者组监控、消息查询等。你可以参考官方文档获取更详细的配置和使用说明,并根据实际需求进行适当调整和优化。

当配置Kafka-Eagle的告警规则时,你可以根据实际需求定义更详细的规则。以下是一些常见的告警规则配置选项:

1. `cluster`:指定要监控的Kafka集群的别名。

2. `topic`:定义要监控的Topic名称。你可以使用通配符(*)来匹配多个Topic,例如`topic: "my_topic_*"`。

3. `alarmLevel`:设置告警级别,可选值包括:
   - `CRITICAL`:关键级别的告警,表示存在严重问题。
   - `WARNING`:警告级别的告警,表示存在潜在问题。
   - `INFO`:信息级别的告警,表示一般的监控信息。

4. `expression`:定义告警触发条件的表达式。你可以使用Kafka-Eagle提供的表达式语法来构建条件。以下是一些常用的表达式语法:
   - 监控Broker的Heap Memory使用量是否超过阈值:`brokerMetrics.get(<brokerId>).get('HeapMemoryUsed') > <threshold>`。
   - 监控Topic的消息堆积数量是否超过阈值:`topicMetrics.get('<topicName>').get('MessagesIn') > <threshold>`。
   - 监控Topic的副本数量是否低于期望值:`topicMetadata.get('<topicName>').get('ReplicaCount') < <expectedReplicaCount>`。

5. `notificationGroups`:指定用于发送告警通知的通知组。你可以在Kafka-Eagle的Web界面中配置通知组,包括邮件、短信、Webhook等方式。

下面是一个示例告警规则的配置:

```json
[
  {
    "cluster": "my_cluster",
    "topic": "my_topic",
    "alarmLevel": "CRITICAL",
    "expression": "topicMetrics.get('my_topic').get('MessagesIn') > 1000",
    "notificationGroups": ["group1", "group2"]
  },
  {
    "cluster": "my_cluster",
    "topic": "another_topic",
    "alarmLevel": "WARNING",
    "expression": "brokerMetrics.get(1).get('HeapMemoryUsed') > 1000000000",
    "notificationGroups": ["group1"]
  }
]
```

以上示例中定义了两个告警规则:
- 第一个规则监控名为`my_topic`的Topic,当其消息堆积数量超过1000时触发关键级别的告警,并发送通知给`group1`和`group2`。
- 第二个规则监控名为`another_topic`的Topic,当Broker 1的堆内存使用量超过1GB时触发警告级别的告警,并发送通知给`group1`。

你可以根据实际需求调整告警规则中的参数和表达式,以满足你的监控和告警需求。同时,Kafka-Eagle还提供了更多的表达式函数和变量,你可以查阅官方文档获取更详细的表达式语法和使用说明。

参考资料

3.快速入门 - Kafka Eagle (kafka-eagle.org)

使用kafka-eagle监控kafka_kafka-eagle告警-CSDN博客 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/238149.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Docker 文件和卷 权限拒绝

一 创作背景 再复制Docker影像文件或访问Docker容器内已安装卷上的文件时我们常常会遇到&#xff1a;“权限被拒绝”的错误&#xff0c;在此&#xff0c;您将了解到为什么会出现“权限被拒绝”的错误以及如何解决这个问题。 二 目的 在深入探讨 Docker 容器中的 Permission De…

Python实验报告十一、自定义类模拟三维向量及其运算

一、实验目的&#xff1a; 1、了解如何定义一个类。 2、了解如何定义类的私有数据成员和成员方法。 3、了解如何使用自定义类实例化对象。 二、实验内容&#xff1a; 定义一个三维向量类&#xff0c;并定义相应的特殊方法实现两个该类对象之间的加、减运算&#xff08;要…

YOLOv5涨点技巧:一种新颖的多尺度特征融合方法iAFF

💡💡💡本文全网独家改进:1)引入了一种新颖的多尺度特征融合iAFF;2)为了轻量级部署,和GhostConv有效结合在边缘端具有竞争力的准确性 💡💡💡在YOLOv5中如何使用 1)iAFF加入Neck替代Concat; 💡💡💡Yolov5/Yolov7魔术师,独家首发创新(原创),适用于Y…

回顾丨2023 SpeechHome 第三届语音技术研讨会

下面是整体会议的内容回顾&#xff1a; 18日线上直播回顾 18日上午9:30&#xff0c;AISHELL & SpeechHome CEO卜辉宣布研讨会开始&#xff0c;并简要介绍本次研讨会的筹备情况以及报告内容。随后&#xff0c;CCF语音对话与听觉专委会副主任、清华大学教授郑方&#xff0c…

Linux 一键部署TeamCity

前言 TeamCity 是一个通用的 CI/CD 软件平台,可实现灵活的工作流程、协作和开发实践。允许在您的 DevOps 流程中成功实现持续集成、持续交付和持续部署。 系统支持Centos7,8,9/Redhat7,8,9及复刻系列download TeamCity TeamCity 文档参考TeamCity downloaddownloadTeamCi…

[Unity]接入Firebase 并且关联支付埋点

首先 在这个下一下FireBase的资源 firebase11.0.6 然后导入Analytics Auth Crashlytics 其他的看着加就行 然后直接丢到Unity里面 接下来需要去Firebase里面下载 Google json 丢到 这个下面 然后就是脚本代码了 using System.Collections; using System.Collection…

一键批量管理HTML文档,轻松删除无用内容,提升网站性能!

随着互联网的快速发展&#xff0c;网站性能优化已经成为每个站长和开发者必须面对的问题。为了提升网站性能&#xff0c;我们需要对HTML文档进行高效的管理和优化。但是&#xff0c;手动管理大量HTML文件不仅效率低下&#xff0c;还容易出错。那么&#xff0c;有没有一种简单、…

2023 年人工智能研究与技术排名前 10 的国家

人工智能研究是一项全球性的工作。虽然美国和中国因其对人工智能的贡献而备受关注&#xff0c;但事实是&#xff0c;世界各国都在涉足这项技术&#xff0c;尝试新的突破&#xff0c;并吸引投资者的关注。 斯坦福大学的《2023年人工智能报告》估计&#xff0c;到 2022 年&#…

Leetcod面试经典150题刷题记录 —— 滑动窗口篇

滑动窗口篇 1. 长度最小的子数组Python3 2. 无重复字符的最长子串3. 串联所有单词的子串3.1 *(本题前导题)* 找到字符串中所有字母异位词本题 4. 最小覆盖子串官方解法优化解法(我写的不太成功&#xff0c;并未加速) 滑动窗口就像一只蠕动的蚯蚓&#xff0c;头部前进&#xff0…

05-垃圾收集器ParNewCMS与底层三色标记算法详解

文章目录 垃圾收集算法分代收集理论标记-复制算法标记-清除算法标记-整理算法 垃圾收集器Serial收集器Parallel Scavenge收集器ParNew收集器CMS收集器 CMS的相关核心参数亿级流量电商系统如何优化JVM参数设置(ParNewCMS) 垃圾收集底层算法实现三色标记多标-浮动垃圾漏标-读写屏…

歌曲春节回家:李白的诗意与荆涛的歌声

歌曲春节回家&#xff1a;李白的诗意与荆涛的歌声 “春节回家&#xff0c;春节回家&#xff0c;又是一个春节到&#xff0c;漫天雪花飘。”随着歌手荆涛深情的嗓音&#xff0c;我们仿佛置身于那漫天飞雪的冬日&#xff0c;期待着与家人团聚的温馨时刻。这首歌曲不仅是对春节回…

【Stable Diffusion】在windows环境下部署并使用Stable Diffusion----通过星空整合包一键安装

本专栏主要记录人工智能的应用方面的内容,包括chatGPT、AI绘图等等; 在当今AI的热潮下,不学习AI,就要被AI淘汰;所以欢迎小伙伴加入本专栏和我一起探索AI的应用,通过AI来帮助自己提升生产力; 订阅后可私聊我获取 《从零注册并登录使用ChatGPT》《从零开始使用chatGPT的AP…

数学建模笔记-拟合算法

内容&#xff1a;拟合算法 一.概念&#xff1a; 拟合的结果就是找到一个确定的曲线 二.最小二乘法&#xff1a; 1. 2.最小二乘法的二表示的是平方的那个2 3.求解最小二乘法&#xff1a; 三.评价拟合的好坏 1.总体评分和SST&#xff1a; 2.误差平方和SSE&#xff1a; 3.回…

机器学习:手撕 AlphaGo(一)

图 1-1: AphaGo 结构概览 1. 前言 AlphaGo 是一个非常经典的模型&#xff0c;不论从影响力还是模型设计上。它的技术迭代演进路径&#xff1a;AlphaGo&#xff0c;AlphaGoZero&#xff0c;AlphaZero&#xff0c;MuZero 更是十分精彩。相信有很多同学因为听了 AlphaGo 的故事对…

在Portainer创建Nginx容器并部署Web静态站点实现公网访问

&#x1f525;博客主页&#xff1a; 小羊失眠啦. &#x1f3a5;系列专栏&#xff1a;《C语言》 《数据结构》 《Linux》《Cpolar》 ❤️感谢大家点赞&#x1f44d;收藏⭐评论✍️ 前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;…

Leetcod面试经典150题刷题记录 —— 矩阵篇

矩阵篇 1. 有效的数独2. 螺旋矩阵Python 3. 旋转图像Python额外开辟数组空间原地置换法 4. 矩阵置零5. 生命游戏Python 1. 有效的数独 题目链接&#xff1a;有效的数独 - leetcode 题目描述&#xff1a; 请你判断一个 9 x 9 的数独是否有效。只需要 根据以下规则 &#xff0c;验…

Android13 Wifi启动流程分析

Android13 Wifi启动流程分析 文章目录 Android13 Wifi启动流程分析一、正常开关wifi 启动流程1、WifiManager2、WifiServiceImpl3、ActiveModeWarden4、ConcreteClientModeManager5、WifiNative6、WifiVendorHal7、HalDeviceManager8、wifi.cpp 二、重启设备时自动开启wifi流程…

centos(linux)安装jenkins

官网&#xff1a;https://pkg.jenkins.io/redhat/ jdk版本要和jenkins对上&#xff01; 安装官网进行操作&#xff1a; sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat/jenkins.reposudo rpm --import https://pkg.jenkins.io/redhat/jenkins.io-…

LeetCode刷题笔记之哈希表

一、字母异位词-判断两个参数内容出现的次数是否相等 滑动窗口、数组排序、计数法、哈希表 1. 242【有效的字母异位词】 题目&#xff1a; 给定两个字符串 s 和 t &#xff0c;编写一个函数来判断 t 是否是 s 的字母异位词。 注意&#xff1a;若 s 和 t 中每个字符出现的次数都…

自定义ORM(mybatis)源码(六)-类型处理器

自定义ORM(mybatis)源码(六)-类型处理器 模仿mybatis 用于处理 sql 设置参数类型和 执行 sql 后响应字段的类型处理 TypeHandler public interface TypeHandler<T> {/*** sql 设置参数值* param pstmt* param i* param value* throws SQLException*/void setParamete…