Skywalking告警配置

背景

  • skywalking 9.7.0，地址：Backend setup | Apache SkyWalking

  • helm：skywalking-helm:4.5.0，地址：skywalking-helm/chart/skywalking/values.yaml at v4.5.0

首先来说一下为什么使用skywalking告警？

在我们目前的架构体系中:

  • prometheus：通过node exporter监控硬件级的监控，通过grafana来做告警（注意：grafana仅部分图支持告警）

    当然也可以监控业务级别的，但是这些指标需要业务人员提供，而业务人员又需要额外开发自定义指标，是一种双向配合的方式，比较麻烦

  • ELK：通过日志埋点，在grafana配置ES数据源，通过捕获关键字类型，从而到达一种监控告警，但是这种局限很明显，需要将业务数据采集到es里面，不够方便快捷

目前时间比较紧，开发人员较少，再加上我们已经使用上了skywalking，需要快速告警下面几个指标：

  • 接口成功率；
  • 接口响应时间；
  • 响应时间百分比

等等一些指标，来保证我们系统的稳定性，

由于上述指标对于skywalking都是现成的，想快速实现我们的需求，所以打算先通过skywalking告警来实现我们的需求

但这对于专业的监控告警系统，这样做不太好，因为告警的应该统一收口，在一个地方来配置，比如grafana；

因为告警的本质是通过采集日志，然后通过这些日志来进行定制告警，后续可以进行优化，这些不是本文章的主题

实践

k8s部署skywalking看看这个：k8s部署skywalking(helm)

本地实践的话，需要去官方下载一个APM，地址：Downloads | Apache SkyWalking
9.7.0本地玩的话，默认配置是JDK17哈，各位校验一下自己的Java环境

注意，这里的告警是在skywalking-oap服务端的，不是客户端哈

在这里插入图片描述

告警配置属性

告警模块相关配置文件路径：

在这里插入图片描述

打开之后官方默认了一些规则，官方查看：Alerting | Apache SkyWalking

接下来来解释一些这些属性的含义

Rule name：规则名称。需要保证唯一，必须以 _rule 结尾

Expression：告警表达式。

Include names：告警规则生效包含的实体名列表。本质是一个array，可以配置多个，但需要注意的是，这个是全匹配

我们在集成 Agent 的时候，一般都会设置 Service group。举个栗子： SW_AGENT_NAMESPACE："dev" SW_AGENT_NAME："dev::example-name" 当我这样定义时，service name 应该写成 dev::example-name|dev|，参考：Table of Agent Configuration Properties | Apache SkyWalking

Exclude names：告警规则不生效包含的实体名列表，本质是一个array，可以配置多个，但需要注意的是，这个是全匹配

Include names regex：和 Include names 一样。只不过是正则表达式字符串

Exclude names regex：和 Exclude names 一样。只不过是正则表达式字符串

Tags：自定义的 k-v 对（这个目前感觉只是增加一个自定义的提示信息的）

Period：表达式计算结果的缓存时间，也可以理解为没隔多长时间采集一次数据；

Silence Period：静默时间。例如我有一个规则，1分钟会触发一次，当我把Silence Period配置为 3 时。那就是3分钟内，不会发送一次请求到 hook

Hooks：向外界发送通知的方式 ，本质上都是 WebHook。

告警表达式

以下列示例解释：

rules:# service_sla 代表的是服务响应成功率service_sla_rule:# sum(service_sla < 8000) 该表达式表示的是 服务的响应成功率低于80%的次数# >= 2 是关键，表达式每分钟算一次（这是我看了文档后猜的，应该没问题）, 那这里就表示最近2分钟服务SLA都低于90%expression: sum(service_sla < 8000) >= 2# 字符串匹配写法include-names:- 'dev::example|dev|'# 正则写法：所有dev组的include-names-regex: '^dev::.*' # 表达式计算结果缓存时长，表达式每一分钟计算一次，我表达式中设置了>=2# 所以period 应该设置一个大于2的值，这样能避免重复计算period: 10# 静默时间，如果服务有10分钟SLA是低于90的，那么m2的时候会提醒。# 下一次本来是m3提醒的，我设置了2，所以等到m5再次计算表达式的时候才会在提醒silence-period: 3# 自定义 tags,key-value形式tags:level: ERROR# 告警文本，{name} 是内置变量，代表服务名称，本地实际测试还有一个id，用来表示告警id，用法{id}message: '服务{name}成功率小于100%'
hooks:webhook:default:# 是否默认is-default: true# 配置urlurls:- http://127.0.0.1/notify/- http://127.0.0.1/go-wechat/

实际例子

service维度

所有服务SLA在最近3分钟内小于100

service_success_rule:expression: sum((service_success / 100) < 100) >= 3period: 5silence-period: 5message: '服务 SLA 低于 100%'

prod分组下，所有服务SLA在最近3分钟小于100

service_success_rule:expression: sum((service_success / 100) < 100) >= 3include-names-regex: '^prod::.*'period: 5silence-period: 5message: '服务 SLA 低于 100%'
endpoint维度

endpoint跟service不同的是，它的规则为：

xxx接口   in   group::服务

单接口SLA在最近3分钟内小于100

endpoint_sla_rule:expression: sum((endpoint_sla / 100) < 100) >= 3include-names: - 'GET:/test/custom1 in dev::example|dev|'period: 5message: '此接口 SLA 低于 100%'

prod分组下，所有接口（排除指定接口）SLA在最近3分钟内小于100

endpoint_sla_rule:expression: sum((endpoint_sla / 100) < 100) >= 3exclude-names:- 'GET:/test/custom1 in dev::example|dev|'include-names-regex: '.* in prod::.*'period: 5message: '此接口 SLA 低于 100%'
DB维度

所有DB SLA 最近1分钟内小于100

database_access_sla_rule:expression: sum((database_access_sla / 100) < 100) >= 1period: 3message: 'DB SLA 低于 100%'

配置webhook

飞书
hooks:feishu:default:is-default: truetext-template: |{"msg_type":"text","content": {"text": "Apache SkyWalking Alarm: \n %s."}}webhooks:- url: https://open.feishu.cn/open-apis/bot/v2/hook/axxxxxxx

skywalking默认提供的指标

目前skywalking定义的指标存在与下列目录下，以*.oal为结尾的文件

在这里插入图片描述

部分指标释义如下：

code解释备注
service维度
service_resp_time服务的平均响应时间
service_sla服务的成功率
service_cpm服务每分钟调用次数
服务实例指标
service_instance_sla服务实例的成功率
service_instance_resp_time服务实例的平均响应时间
service_instance_cpm服务实例每分钟调用次数
endpoint维度
endpoint_cpm端点每分钟调用次数
endpoint_avg端点平均响应时间
endpoint_sla端点成功率
JVM 指标, JVM 相关的指标, 只有当 javaagent 启用时才有效
instance_jvm_cpu
instance_jvm_memory_heap
instance_jvm_memory_noheap
instance_jvm_memory_heap_max
instance_jvm_memory_noheap_max
instance_jvm_young_gc_time
instance_jvm_old_gc_time
instance_jvm_young_gc_count
instance_jvm_old_gc_count
服务关系指标, 代表服务之间调用的指标 指标的 ID 只能在拓扑图查询中获取
service_relation_client_cpm在客户端每分钟检测到的调用次数
service_relation_server_cpm在服务端每分钟检测到的调用次数
service_relation_client_call_sla在客户端检测到的成功率
service_relation_server_call_sla在服务端检测到的成功率
service_relation_client_resp_time在客户端检测到的平均响应时间
service_relation_server_resp_time在服务端检测到的平均响应时间
端点关系指标, 代表相互依赖的端点之间的指标. 只有在追踪代理启用时有效. 指标 ID 只能在拓扑查询中获得.
endpoint_relation_cpm
endpoint_relation_resp_time

拓展

skywalking什么类型的信息会触发报警

默认情况下，当你Http status为非200的时候，skywalking会识别到这是一个失败的请求；

在实际场景中，我们业务可能会遇到这种情况，就是响应码为200，但是项目中做了异常全局处理，这种情况应该告警的。针对这种情况，想要让skywalking不触发告警，需要使用ActiveSpan.error()

引入pom

<dependency><groupId>org.apache.skywalking</groupId><artifactId>apm-toolkit-trace</artifactId><version>9.2.0</version>
</dependency>

示例代码：

import org.apache.skywalking.apm.toolkit.trace.ActiveSpan;
import org.springframework.web.bind.annotation.ExceptionHandler;
import org.springframework.web.bind.annotation.RestControllerAdvice;@RestControllerAdvice
public class GlobalExceptionHandler {@ExceptionHandler({MyCustomException.class})public ResponseEntity<String> handleMyCustomException(MyCustomException e) {// 使用ActiveSpan.error()标记异常ActiveSpan.error(e);// 返回正常的响应，但SkyWalking会记录异常return new ResponseEntity<>("Handled MyCustomException: " + e.getMessage(), HttpStatus.OK);}
}

这种情况状态码是200，但是skywalking也会告警的。

忽略指定异常告警

这种方式是基本skywalking客户端的方式进行修改！！！！！！！

场景：

在业务使用过程中，我们会添加全局异常处理，当程序错误的时候，统一返回处理。

但是我们也会有这种场景：我们可能会抛出一些自定义的异常，而这些异常，并不是程序错误或者未知的错误，而是非常明确的终态，用来告知调用方一些信息，这种的我们想让skywalking不要报警，该怎么做呢？

在下述示例中，SkyException为我们要忽略报警的异常，MyCustomException为全局处理异常

SkyException

@Slf4j
public class SkyException extends RuntimeException{public SkyException(String message) {super(message);}
}

MycustomException

@Slf4j
public class MycustomException extends RuntimeException{public MycustomException(String message) {super(message);}
}

接口：

@GetMapping("/test")
public Integer pay(@RequestParam("id") Integer id) {throw new SkyException("skywalking忽略告警异常");
}@GetMapping("/test2")
public Integer pay(@RequestParam("id") Integer id) {return 1/0;
}

全局异常处理

@RestControllerAdvice
public class GlobalExceptionHandlers {@ExceptionHandler(SkyException.class)public Integer skyException(SixException e) {// 使用ActiveSpan.error()标记异常ActiveSpan.error(e);return 1;}@ExceptionHandler(MycustomException.class)public Integer mycustomException(SevenException e) {// 使用ActiveSpan.error()标记异常ActiveSpan.error(e);return 1;}
}

在上述情况下，访问/test1和/test2都会触发skywalking告警，如果我们想让SkyException不告警的话，有两种方式

  • skywalking默认的环境变量
  • 引入jar包，采用注解方式
环境变量的方式

修改jvm启动参数，当需要忽略多个异常时，使用逗号“,”分隔。如下所示。

-javaagent:/opt/skywalking-agent-9.2.0/skywalking-agent.jar
-Dskywalking.agent.service_name=sky-demo
-Dskywalking.collector.backend_service=127.0.0.1:11800
-Dskywalking.statuscheck.ignored_exceptions=com.xx.xxx.SkyException

修改完成后重新启动服务即可

如果是k8s的方式，注入环境变量: SW_STATUSCHECK_IGNORED_EXCEPTIONS：com.xx.xxx.SkyException

注解方式

引入pom

<dependency><groupId>org.apache.skywalking</groupId><artifactId>apm-toolkit-trace</artifactId><version>8.9.0</version>
</dependency>

在要忽略的异常上添加注解@IgnoredException，等同于添加配置statuscheck.ignored_exceptions。

@Slf4j
@IgnoredException
public class SkyException extends RuntimeException{public SkyException(String message) {super(message);}
}

忽略链路插件

在skywalking控制台显示页面上，我们想让一些调用不显示链路，比如健康心跳显示，机器人巡检等功能，这些对于我们业务使用来说，不怎么关注，而且他们的触发频率很高，会有大量的链路，有时候直接把我们真正关心的链路给耍没了，那么这种场景，该怎么处理呢？

比如我不想让Lettuce/INFO在skywalking链路中显示

在这里插入图片描述

这种方式需要一个插件，进入optional-plugins文件夹，将jar包apm-trace-ignore-plugin-8.16.0.jar复制到plugins文件夹中

配置

忽略调用链路的配置有两种：

  1. 系统变量；
  2. 配置文件。

系统变量优先级大于文件。

其配置的路径应匹配Ant Path规则，如/path/*、/path/**、/path/?。

  • 系统变量

    在系统变量中添加skywalking.trace.ignore_path来配置要忽略的接口，多个接口之间用逗号“,”分隔。

  • 配置文件

    在config文件夹中添加配置文件apm-trace-ignore-plugin.config，在该配置文件中添加以下配置

    trace.ignore_path=/your/path/1/,/your/path/2/

我们要忽略掉eureka心跳检测的接口，则在配置文件中添加以下配置

trace.ignore_path=Lettuce/INFO

这样设置后，skywalking链路中不会在有该接口了

参考文献

skywalking中表字段的信息

skywalking全链路追踪

Skywalking(9.7.0) 告警配置

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/53994.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

创客匠人第二期“老蒋面对面”交流会圆满收官！

创客匠人第二期“老蒋面对面”交流会圆满收官！

磅礴的大雨浇不灭奋斗的激情。9月24日&#xff0c;创客匠人第二期老蒋面对面—“创客匠人让知识变现不走弯路”内部大会在集美隆重举行。 本次内部大会旨在传递公司战略精神&#xff0c;深度探讨公司品牌传播的价值、方向和策略。这不仅是一次内部的交流与分享&#xff0c;更是…
阅读更多...
linux 内核代码学习（十）--Linux内核启动和文件系统

linux 内核代码学习（十）--Linux内核启动和文件系统

前面第九章介绍了linux内核文件系统从软盘启动的几种方式&#xff1a;1、从软盘直接启动的linux&#xff0c;软盘上包括内核及简单文件系统&#xff1b;2、从软盘直接启动的linux&#xff0c;将内核与文件系统分别放置在一张软盘上&#xff1b;3、Grub做为引导程序&#xff0c;…
阅读更多...
了解针对基座大语言模型（类似 ChatGPT 的架构，Decoder-only）的重头预训练和微调训练

了解针对基座大语言模型（类似 ChatGPT 的架构，Decoder-only）的重头预训练和微调训练

&#x1f349; CSDN 叶庭云&#xff1a;https://yetingyun.blog.csdn.net/ 随着自然语言处理&#xff08;NLP&#xff09;技术的飞速进步&#xff0c;基于 Transformer 架构的大语言模型在众多任务中取得了显著成就。特别是 Decoder-only 架构&#xff0c;如 GPT 系列模型&…
阅读更多...
【UI】Vue3 + Naive-ui 使用表格Data Table 以及分页页码显示不全问题解决

【UI】Vue3 + Naive-ui 使用表格Data Table 以及分页页码显示不全问题解决

参考文章&#xff1a; Vue3 Naive-ui Data Table 分页页码显示不全 Naive UI之数据表格分页pagination 数据列表分页全部代码: <n-data-tableref"tableRef"striped:columns"columns":pagination"pagination":bordered"false":d…
阅读更多...
Java必修课——Spring框架

Java必修课——Spring框架

目录 一、Spring框架概述二、IOC概念和原理2.1、什么是IOC2.2、IOC接口 三、深入理解Java基础中的集合框架3.1、Collection3.2、Map3.3、集合工具类 四、练习写一个SpringMVC框架1、介绍2、程序实践3、总结 五、Java开发者必备10大数据工具和框架 一、Spring框架概述 Spring是…
阅读更多...
Javase学习day1-前置知识

Javase学习day1-前置知识

1、什么是计算机 2、 硬件及冯诺依曼结构 3、软件及软件开发 4、常用的快捷键 5、常用的Dos命令 常用的Dos命令&#xff1a;(基本都是在cmd里面写的) #盘符切换&#xff1a;直接输入那个盘符的名字加一个冒号就行。 #切换目录&#xff1a; cd change directory&#xff08;这是…
阅读更多...
STM32编码器接口笔记

STM32编码器接口笔记

1. 引言 在现代控制系统中&#xff0c;编码器扮演着非常重要的角色。它就像一个精密的测量工具&#xff0c;可以告诉我们机械部件的位置和运动状态。在STM32微控制器中&#xff0c;编码器接口可以轻松地与各种编码器连接&#xff0c;实现精确的控制。我将在这里探讨STM32编码器…
阅读更多...
ISA-95制造业中企业和控制系统的集成的国际标准-(2)

ISA-95制造业中企业和控制系统的集成的国际标准-(2)

ISA-95 文章目录 ISA-95ISA-95企业层和制造运营管理层信息模型一、企业层和制造运营管理层信息模型内容二、企业层和制造运营管理层信息模型分类 ISA-95企业层和制造运营管理层信息模型 ISA-95信息模型是指ISA-95制造业中企业和控制系统集成的国际标准定义了企业层和制造运营层…
阅读更多...
心觉：运用吸引力法则和开发潜意识的核心中的核心是什么？

心觉：运用吸引力法则和开发潜意识的核心中的核心是什么？

吸引力法则的核心在于 思想的力量 和 频率的匹配。你所思考和感受的会吸引与你频率相匹配的事物和经历到你的生活中。具体来说&#xff1a; 明确意图和目标&#xff1a;清晰地知道你想要什么&#xff0c;并且用详细的方式描述它。这可以是通过写下目标、制作愿景板&#xff08;…
阅读更多...
MySQL_视图

MySQL_视图

课 程 推 荐我 的 个 人 主 页&#xff1a;&#x1f449;&#x1f449; 失心疯的个人主页 &#x1f448;&#x1f448;入 门 教 程 推 荐 &#xff1a;&#x1f449;&#x1f449; Python零基础入门教程合集 &#x1f448;&#x1f448;虚 拟 环 境 搭 建 &#xff1a;&#x1…
阅读更多...
鸿蒙harmonyos next flutter通信之MethodChannel获取设备信息

鸿蒙harmonyos next flutter通信之MethodChannel获取设备信息

本文将通过MethodChannel获取设备信息&#xff0c;以此来演练MethodChannel用法。 建立channel flutter代码&#xff1a; MethodChannel methodChannel MethodChannel("com.xmg.test"); ohos代码&#xff1a; private channel: MethodChannel | null nullthis.c…
阅读更多...
PostgreSQL数据库与PostGIS在Windows中的部署与运行

PostgreSQL数据库与PostGIS在Windows中的部署与运行

本文介绍在Windows电脑中&#xff0c;下载、安装、部署并运行PostgreSQL与PostGIS数据库服务的方法。 PostgreSQL是一种功能强大的开源关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;以其稳定性、可靠性和丰富的功能而闻名&#xff1b;其支持多种高级特性&…
阅读更多...
新能源汽车储充机器人：能源高效与智能调度

新能源汽车储充机器人：能源高效与智能调度

新能源汽车储充机器人&#xff1a;开启能源高效利用与智能调度的未来之门 随着全球能源危机的日益加剧和环境污染问题的不断恶化&#xff0c;新能源汽车成为了未来交通领域的重要发展方向。然而&#xff0c;新能源汽车的普及不仅需要解决电池技术的瓶颈&#xff0c;还需要构建一…
阅读更多...
【预备理论知识——1】深度学习：概率论概述

【预备理论知识——1】深度学习：概率论概述

简单地说&#xff0c;机器学习就是做出预测。 概率论 掷骰子 假设我们掷骰子&#xff0c;想知道看到1的几率有多大&#xff0c;而不是看到另一个数字。 如果骰子是公平的&#xff0c;那么所有六个结果{1,…, 6}都有相同的可能发生&#xff0c; 因此我们可以说 1 发生的概率为1…
阅读更多...
基于开源WQ装备知识图谱的智能问答优化2

基于开源WQ装备知识图谱的智能问答优化2

基于笔者之前写的博客基础上&#xff1a;https://blog.csdn.net/zhanghan11366/article/details/142139488【基于开源WQ装备知识图谱的智能问答全流程构建】进行优化。新增处理基于特定格式下的WQ文档&#xff0c;抽取文档的WQ属性和关系&#xff0c;并抽取对应WQt图片存储至mi…
阅读更多...
AIGC教程：如何用Stable Diffusion+ControlNet做角色设计？

AIGC教程：如何用Stable Diffusion+ControlNet做角色设计？

前言 对于生成型AI的画图能力&#xff0c;尤其是AI画美女的能力&#xff0c;相信同行们已经有了充分的了解。然而&#xff0c;对于游戏开发者而言&#xff0c;仅仅是漂亮的二维图片实际上很难直接用于角色设计&#xff0c;因为&#xff0c;除了设计风格之外&#xff0c;角色设…
阅读更多...
大数据开发--1.2 Linux介绍及虚拟机网络配置

大数据开发--1.2 Linux介绍及虚拟机网络配置

目录 一. 计算机入门知识介绍 软件和硬件的概述 硬件 软件 操作系统概述 简单介绍 常见的系统操作 学习Linux系统 二. Linux系统介绍 简单介绍 发行版介绍 常用的发行版 三. Linux系统的安装和体验 Linux系统的安装 介绍 虚拟机原理 常见的虚拟机软件 体验Li…
阅读更多...
RocketMQ消息发送之广播模式

RocketMQ消息发送之广播模式

前言 在前面的文章中我们回顾了RocketMQ的顺序消息和乱序消息&#xff0c;以及里面包含的乱序消息和全局消息&#xff0c;RocketMQ支持多种消息类型和消费模式 今天这篇文章主要介绍RocketMQ的广播消息。希望文章能为正在学习RocketMQ相关知识的大佬们提供帮助&#xff01; 广…
阅读更多...
万博智云CEO王嘉在华为全联接大会：以创新云应用场景，把握增长机遇

万博智云CEO王嘉在华为全联接大会：以创新云应用场景，把握增长机遇

一、大会背景 2024年9月19-21日&#xff0c;第九届华为全联接大会将在上海世博展览馆和上海世博中心举办。作为华为的旗舰盛会&#xff0c;本次大会以“共赢行业智能化”为主题邀请了众多思想领袖、商业精英、技术专家、合作伙伴、开发者等业界同仁&#xff0c;从战略、产业、…
阅读更多...
【Y004】基于springboot+vue实现的图书管理系统

【Y004】基于springboot+vue实现的图书管理系统

主营内容&#xff1a;SpringBoot、Vue、SSM、HLMT、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、小程序、安卓app等设计与开发。 收藏点赞不迷路&#xff0c;关注作者有好处 项目描述 (1) 图书信息的管理&#xff0c;包括图书信息的条件查询、录入、修改和删除。 (2) 图书类…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023