Skywalking告警配置

背景

  • skywalking 9.7.0，地址：Backend setup | Apache SkyWalking

  • helm：skywalking-helm:4.5.0，地址：skywalking-helm/chart/skywalking/values.yaml at v4.5.0

首先来说一下为什么使用skywalking告警？

在我们目前的架构体系中:

  • prometheus：通过node exporter监控硬件级的监控，通过grafana来做告警（注意：grafana仅部分图支持告警）

    当然也可以监控业务级别的，但是这些指标需要业务人员提供，而业务人员又需要额外开发自定义指标，是一种双向配合的方式，比较麻烦

  • ELK：通过日志埋点，在grafana配置ES数据源，通过捕获关键字类型，从而到达一种监控告警，但是这种局限很明显，需要将业务数据采集到es里面，不够方便快捷

目前时间比较紧，开发人员较少，再加上我们已经使用上了skywalking，需要快速告警下面几个指标：

  • 接口成功率；
  • 接口响应时间；
  • 响应时间百分比

等等一些指标，来保证我们系统的稳定性，

由于上述指标对于skywalking都是现成的，想快速实现我们的需求，所以打算先通过skywalking告警来实现我们的需求

但这对于专业的监控告警系统，这样做不太好，因为告警的应该统一收口，在一个地方来配置，比如grafana；

因为告警的本质是通过采集日志，然后通过这些日志来进行定制告警，后续可以进行优化，这些不是本文章的主题

实践

k8s部署skywalking看看这个：k8s部署skywalking(helm)

本地实践的话，需要去官方下载一个APM，地址：Downloads | Apache SkyWalking
9.7.0本地玩的话，默认配置是JDK17哈，各位校验一下自己的Java环境

注意，这里的告警是在skywalking-oap服务端的，不是客户端哈

在这里插入图片描述

告警配置属性

告警模块相关配置文件路径：

在这里插入图片描述

打开之后官方默认了一些规则，官方查看：Alerting | Apache SkyWalking

接下来来解释一些这些属性的含义

Rule name：规则名称。需要保证唯一，必须以 _rule 结尾

Expression：告警表达式。

Include names：告警规则生效包含的实体名列表。本质是一个array，可以配置多个，但需要注意的是，这个是全匹配

我们在集成 Agent 的时候，一般都会设置 Service group。举个栗子： SW_AGENT_NAMESPACE："dev" SW_AGENT_NAME："dev::example-name" 当我这样定义时，service name 应该写成 dev::example-name|dev|，参考：Table of Agent Configuration Properties | Apache SkyWalking

Exclude names：告警规则不生效包含的实体名列表，本质是一个array，可以配置多个，但需要注意的是，这个是全匹配

Include names regex：和 Include names 一样。只不过是正则表达式字符串

Exclude names regex：和 Exclude names 一样。只不过是正则表达式字符串

Tags：自定义的 k-v 对（这个目前感觉只是增加一个自定义的提示信息的）

Period：表达式计算结果的缓存时间，也可以理解为没隔多长时间采集一次数据；

Silence Period：静默时间。例如我有一个规则，1分钟会触发一次，当我把Silence Period配置为 3 时。那就是3分钟内，不会发送一次请求到 hook

Hooks：向外界发送通知的方式 ，本质上都是 WebHook。

告警表达式

以下列示例解释：

rules:# service_sla 代表的是服务响应成功率service_sla_rule:# sum(service_sla < 8000) 该表达式表示的是 服务的响应成功率低于80%的次数# >= 2 是关键，表达式每分钟算一次（这是我看了文档后猜的，应该没问题）, 那这里就表示最近2分钟服务SLA都低于90%expression: sum(service_sla < 8000) >= 2# 字符串匹配写法include-names:- 'dev::example|dev|'# 正则写法：所有dev组的include-names-regex: '^dev::.*' # 表达式计算结果缓存时长，表达式每一分钟计算一次，我表达式中设置了>=2# 所以period 应该设置一个大于2的值，这样能避免重复计算period: 10# 静默时间，如果服务有10分钟SLA是低于90的，那么m2的时候会提醒。# 下一次本来是m3提醒的，我设置了2，所以等到m5再次计算表达式的时候才会在提醒silence-period: 3# 自定义 tags,key-value形式tags:level: ERROR# 告警文本，{name} 是内置变量，代表服务名称，本地实际测试还有一个id，用来表示告警id，用法{id}message: '服务{name}成功率小于100%'
hooks:webhook:default:# 是否默认is-default: true# 配置urlurls:- http://127.0.0.1/notify/- http://127.0.0.1/go-wechat/

实际例子

service维度

所有服务SLA在最近3分钟内小于100

service_success_rule:expression: sum((service_success / 100) < 100) >= 3period: 5silence-period: 5message: '服务 SLA 低于 100%'

prod分组下，所有服务SLA在最近3分钟小于100

service_success_rule:expression: sum((service_success / 100) < 100) >= 3include-names-regex: '^prod::.*'period: 5silence-period: 5message: '服务 SLA 低于 100%'
endpoint维度

endpoint跟service不同的是，它的规则为：

xxx接口   in   group::服务

单接口SLA在最近3分钟内小于100

endpoint_sla_rule:expression: sum((endpoint_sla / 100) < 100) >= 3include-names: - 'GET:/test/custom1 in dev::example|dev|'period: 5message: '此接口 SLA 低于 100%'

prod分组下，所有接口（排除指定接口）SLA在最近3分钟内小于100

endpoint_sla_rule:expression: sum((endpoint_sla / 100) < 100) >= 3exclude-names:- 'GET:/test/custom1 in dev::example|dev|'include-names-regex: '.* in prod::.*'period: 5message: '此接口 SLA 低于 100%'
DB维度

所有DB SLA 最近1分钟内小于100

database_access_sla_rule:expression: sum((database_access_sla / 100) < 100) >= 1period: 3message: 'DB SLA 低于 100%'

配置webhook

飞书
hooks:feishu:default:is-default: truetext-template: |{"msg_type":"text","content": {"text": "Apache SkyWalking Alarm: \n %s."}}webhooks:- url: https://open.feishu.cn/open-apis/bot/v2/hook/axxxxxxx

skywalking默认提供的指标

目前skywalking定义的指标存在与下列目录下，以*.oal为结尾的文件

在这里插入图片描述

部分指标释义如下：

code解释备注
service维度
service_resp_time服务的平均响应时间
service_sla服务的成功率
service_cpm服务每分钟调用次数
服务实例指标
service_instance_sla服务实例的成功率
service_instance_resp_time服务实例的平均响应时间
service_instance_cpm服务实例每分钟调用次数
endpoint维度
endpoint_cpm端点每分钟调用次数
endpoint_avg端点平均响应时间
endpoint_sla端点成功率
JVM 指标, JVM 相关的指标, 只有当 javaagent 启用时才有效
instance_jvm_cpu
instance_jvm_memory_heap
instance_jvm_memory_noheap
instance_jvm_memory_heap_max
instance_jvm_memory_noheap_max
instance_jvm_young_gc_time
instance_jvm_old_gc_time
instance_jvm_young_gc_count
instance_jvm_old_gc_count
服务关系指标, 代表服务之间调用的指标 指标的 ID 只能在拓扑图查询中获取
service_relation_client_cpm在客户端每分钟检测到的调用次数
service_relation_server_cpm在服务端每分钟检测到的调用次数
service_relation_client_call_sla在客户端检测到的成功率
service_relation_server_call_sla在服务端检测到的成功率
service_relation_client_resp_time在客户端检测到的平均响应时间
service_relation_server_resp_time在服务端检测到的平均响应时间
端点关系指标, 代表相互依赖的端点之间的指标. 只有在追踪代理启用时有效. 指标 ID 只能在拓扑查询中获得.
endpoint_relation_cpm
endpoint_relation_resp_time

拓展

skywalking什么类型的信息会触发报警

默认情况下，当你Http status为非200的时候，skywalking会识别到这是一个失败的请求；

在实际场景中，我们业务可能会遇到这种情况，就是响应码为200，但是项目中做了异常全局处理，这种情况应该告警的。针对这种情况，想要让skywalking不触发告警，需要使用ActiveSpan.error()

引入pom

<dependency><groupId>org.apache.skywalking</groupId><artifactId>apm-toolkit-trace</artifactId><version>9.2.0</version>
</dependency>

示例代码：

import org.apache.skywalking.apm.toolkit.trace.ActiveSpan;
import org.springframework.web.bind.annotation.ExceptionHandler;
import org.springframework.web.bind.annotation.RestControllerAdvice;@RestControllerAdvice
public class GlobalExceptionHandler {@ExceptionHandler({MyCustomException.class})public ResponseEntity<String> handleMyCustomException(MyCustomException e) {// 使用ActiveSpan.error()标记异常ActiveSpan.error(e);// 返回正常的响应，但SkyWalking会记录异常return new ResponseEntity<>("Handled MyCustomException: " + e.getMessage(), HttpStatus.OK);}
}

这种情况状态码是200，但是skywalking也会告警的。

忽略指定异常告警

这种方式是基本skywalking客户端的方式进行修改！！！！！！！

场景：

在业务使用过程中，我们会添加全局异常处理，当程序错误的时候，统一返回处理。

但是我们也会有这种场景：我们可能会抛出一些自定义的异常，而这些异常，并不是程序错误或者未知的错误，而是非常明确的终态，用来告知调用方一些信息，这种的我们想让skywalking不要报警，该怎么做呢？

在下述示例中，SkyException为我们要忽略报警的异常，MyCustomException为全局处理异常

SkyException

@Slf4j
public class SkyException extends RuntimeException{public SkyException(String message) {super(message);}
}

MycustomException

@Slf4j
public class MycustomException extends RuntimeException{public MycustomException(String message) {super(message);}
}

接口：

@GetMapping("/test")
public Integer pay(@RequestParam("id") Integer id) {throw new SkyException("skywalking忽略告警异常");
}@GetMapping("/test2")
public Integer pay(@RequestParam("id") Integer id) {return 1/0;
}

全局异常处理

@RestControllerAdvice
public class GlobalExceptionHandlers {@ExceptionHandler(SkyException.class)public Integer skyException(SixException e) {// 使用ActiveSpan.error()标记异常ActiveSpan.error(e);return 1;}@ExceptionHandler(MycustomException.class)public Integer mycustomException(SevenException e) {// 使用ActiveSpan.error()标记异常ActiveSpan.error(e);return 1;}
}

在上述情况下，访问/test1和/test2都会触发skywalking告警，如果我们想让SkyException不告警的话，有两种方式

  • skywalking默认的环境变量
  • 引入jar包，采用注解方式
环境变量的方式

修改jvm启动参数，当需要忽略多个异常时，使用逗号“,”分隔。如下所示。

-javaagent:/opt/skywalking-agent-9.2.0/skywalking-agent.jar
-Dskywalking.agent.service_name=sky-demo
-Dskywalking.collector.backend_service=127.0.0.1:11800
-Dskywalking.statuscheck.ignored_exceptions=com.xx.xxx.SkyException

修改完成后重新启动服务即可

如果是k8s的方式，注入环境变量: SW_STATUSCHECK_IGNORED_EXCEPTIONS：com.xx.xxx.SkyException

注解方式

引入pom

<dependency><groupId>org.apache.skywalking</groupId><artifactId>apm-toolkit-trace</artifactId><version>8.9.0</version>
</dependency>

在要忽略的异常上添加注解@IgnoredException，等同于添加配置statuscheck.ignored_exceptions。

@Slf4j
@IgnoredException
public class SkyException extends RuntimeException{public SkyException(String message) {super(message);}
}

忽略链路插件

在skywalking控制台显示页面上，我们想让一些调用不显示链路，比如健康心跳显示，机器人巡检等功能，这些对于我们业务使用来说，不怎么关注，而且他们的触发频率很高，会有大量的链路，有时候直接把我们真正关心的链路给耍没了，那么这种场景，该怎么处理呢？

比如我不想让Lettuce/INFO在skywalking链路中显示

在这里插入图片描述

这种方式需要一个插件，进入optional-plugins文件夹，将jar包apm-trace-ignore-plugin-8.16.0.jar复制到plugins文件夹中

配置

忽略调用链路的配置有两种：

  1. 系统变量；
  2. 配置文件。

系统变量优先级大于文件。

其配置的路径应匹配Ant Path规则，如/path/*、/path/**、/path/?。

  • 系统变量

    在系统变量中添加skywalking.trace.ignore_path来配置要忽略的接口，多个接口之间用逗号“,”分隔。

  • 配置文件

    在config文件夹中添加配置文件apm-trace-ignore-plugin.config，在该配置文件中添加以下配置

    trace.ignore_path=/your/path/1/,/your/path/2/

我们要忽略掉eureka心跳检测的接口，则在配置文件中添加以下配置

trace.ignore_path=Lettuce/INFO

这样设置后，skywalking链路中不会在有该接口了

参考文献

skywalking中表字段的信息

skywalking全链路追踪

Skywalking(9.7.0) 告警配置

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/53994.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

创客匠人第二期“老蒋面对面”交流会圆满收官！

创客匠人第二期“老蒋面对面”交流会圆满收官！

磅礴的大雨浇不灭奋斗的激情。9月24日&#xff0c;创客匠人第二期老蒋面对面—“创客匠人让知识变现不走弯路”内部大会在集美隆重举行。 本次内部大会旨在传递公司战略精神&#xff0c;深度探讨公司品牌传播的价值、方向和策略。这不仅是一次内部的交流与分享&#xff0c;更是…
阅读更多...
[Day 79] 區塊鏈與人工智能的聯動應用：理論、技術與實踐

[Day 79] 區塊鏈與人工智能的聯動應用：理論、技術與實踐

區塊鏈在遊戲產業中的應用 區塊鏈技術已經開始在遊戲產業中引發革命&#xff0c;這項技術的分散化、透明性和安全性為遊戲世界帶來了許多創新應用。從虛擬物品的擁有權到去中心化市場、NFT遊戲資產交易&#xff0c;以及遊戲內經濟系統的構建&#xff0c;區塊鏈提供了強大的工具…
阅读更多...
Spark 性能优化高频面试题及答案

Spark 性能优化高频面试题及答案

目录 高频面试题及答案1. 如何通过调整内存管理来优化 Spark 性能？2. 如何通过数据持久化优化性能？3. 如何通过减少数据倾斜（Data Skew）问题来优化性能？4. 如何通过优化 Shuffle 操作提升性能？5. 如何通过广播变量（Broadcast Variables）优化性能？6. 如何通过序列化机制…
阅读更多...
确保从IP池提取的IP是可用的对于数据抓取或其他网络活动至关重要。以下是一些确保IP可用性的有效方法：

确保从IP池提取的IP是可用的对于数据抓取或其他网络活动至关重要。以下是一些确保IP可用性的有效方法：

1. IP验证 Ping测试&#xff1a;使用Ping命令来检查IP地址的响应情况。可用的IP地址应该能够成功响应Ping请求。 端口扫描&#xff1a;使用工具&#xff08;如Nmap&#xff09;扫描IP地址上的特定端口&#xff0c;以确认目标服务是否正常运行。例如&#xff0c;HTTP端口&#…
阅读更多...
linux 内核代码学习（十）--Linux内核启动和文件系统

linux 内核代码学习（十）--Linux内核启动和文件系统

前面第九章介绍了linux内核文件系统从软盘启动的几种方式&#xff1a;1、从软盘直接启动的linux&#xff0c;软盘上包括内核及简单文件系统&#xff1b;2、从软盘直接启动的linux&#xff0c;将内核与文件系统分别放置在一张软盘上&#xff1b;3、Grub做为引导程序&#xff0c;…
阅读更多...
银行管理系统

银行管理系统

摘 要 伴随着信息技术与互联网技术的不断发展&#xff0c;人们进到了一个新的信息化时代&#xff0c;传统管理技术性没法高效率、容易地管理信息内容。为了实现时代的发展必须&#xff0c;提升管理高效率&#xff0c;各种各样管理管理体系应时而生&#xff0c;各个领域陆续进到…
阅读更多...
了解针对基座大语言模型（类似 ChatGPT 的架构，Decoder-only）的重头预训练和微调训练

了解针对基座大语言模型（类似 ChatGPT 的架构，Decoder-only）的重头预训练和微调训练

&#x1f349; CSDN 叶庭云&#xff1a;https://yetingyun.blog.csdn.net/ 随着自然语言处理&#xff08;NLP&#xff09;技术的飞速进步&#xff0c;基于 Transformer 架构的大语言模型在众多任务中取得了显著成就。特别是 Decoder-only 架构&#xff0c;如 GPT 系列模型&…
阅读更多...
【UI】Vue3 + Naive-ui 使用表格Data Table 以及分页页码显示不全问题解决

【UI】Vue3 + Naive-ui 使用表格Data Table 以及分页页码显示不全问题解决

参考文章&#xff1a; Vue3 Naive-ui Data Table 分页页码显示不全 Naive UI之数据表格分页pagination 数据列表分页全部代码: <n-data-tableref"tableRef"striped:columns"columns":pagination"pagination":bordered"false":d…
阅读更多...
JSON字符串转换成Java集合对象

JSON字符串转换成Java集合对象

在Java中&#xff0c;将JSON字符串转换成Java集合对象通常涉及到使用JSON处理库&#xff0c;如Jackson或Google的Gson。以下是使用这两个库的示例&#xff1a; 使用Jackson 添加Jackson依赖&#xff1a;如果你使用Maven&#xff0c;可以在pom.xml文件中添加以下依赖&#xff1…
阅读更多...
Java必修课——Spring框架

Java必修课——Spring框架

目录 一、Spring框架概述二、IOC概念和原理2.1、什么是IOC2.2、IOC接口 三、深入理解Java基础中的集合框架3.1、Collection3.2、Map3.3、集合工具类 四、练习写一个SpringMVC框架1、介绍2、程序实践3、总结 五、Java开发者必备10大数据工具和框架 一、Spring框架概述 Spring是…
阅读更多...
Javase学习day1-前置知识

Javase学习day1-前置知识

1、什么是计算机 2、 硬件及冯诺依曼结构 3、软件及软件开发 4、常用的快捷键 5、常用的Dos命令 常用的Dos命令&#xff1a;(基本都是在cmd里面写的) #盘符切换&#xff1a;直接输入那个盘符的名字加一个冒号就行。 #切换目录&#xff1a; cd change directory&#xff08;这是…
阅读更多...
STM32编码器接口笔记

STM32编码器接口笔记

1. 引言 在现代控制系统中&#xff0c;编码器扮演着非常重要的角色。它就像一个精密的测量工具&#xff0c;可以告诉我们机械部件的位置和运动状态。在STM32微控制器中&#xff0c;编码器接口可以轻松地与各种编码器连接&#xff0c;实现精确的控制。我将在这里探讨STM32编码器…
阅读更多...
Python中的私有属性与方法：保护你的代码，提升开发效率

Python中的私有属性与方法：保护你的代码，提升开发效率

引言 在面向对象编程中&#xff0c;封装使得我们可以隐藏对象的具体实现细节&#xff0c;只暴露必要的接口给外部调用者。这不仅有助于提高代码的安全性&#xff0c;还能简化外部对对象的操作。在Python中&#xff0c;虽然没有严格意义上的“私有”成员&#xff0c;但可以通过…
阅读更多...
ISA-95制造业中企业和控制系统的集成的国际标准-(2)

ISA-95制造业中企业和控制系统的集成的国际标准-(2)

ISA-95 文章目录 ISA-95ISA-95企业层和制造运营管理层信息模型一、企业层和制造运营管理层信息模型内容二、企业层和制造运营管理层信息模型分类 ISA-95企业层和制造运营管理层信息模型 ISA-95信息模型是指ISA-95制造业中企业和控制系统集成的国际标准定义了企业层和制造运营层…
阅读更多...
谷神后端$vs.proc.invoke.stock.loadMap

谷神后端$vs.proc.invoke.stock.loadMap

loadMap // 调用 loadMap($src, $field, $strTableName, $key, $target, $other, $systemId)/*** loadMap* 加载map。** param $src:list:列表。* param $field:string:参数域。* param $strTableName:string:表名。* param $key:string:键。* param $target:string:落地属性。…
阅读更多...
心觉：运用吸引力法则和开发潜意识的核心中的核心是什么？

心觉：运用吸引力法则和开发潜意识的核心中的核心是什么？

吸引力法则的核心在于 思想的力量 和 频率的匹配。你所思考和感受的会吸引与你频率相匹配的事物和经历到你的生活中。具体来说&#xff1a; 明确意图和目标&#xff1a;清晰地知道你想要什么&#xff0c;并且用详细的方式描述它。这可以是通过写下目标、制作愿景板&#xff08;…
阅读更多...
分享国产RISC-V单片机通用

分享国产RISC-V单片机通用

开源已经成为构建新技术生态的主流趋势。基于开源指令集 RISC-V 的软硬件生态正在飞速扩增&#xff0c;并且已经迅速扩展至个人 PC、服务器和人工智能等领域。RISC-V 的灵活性和可扩展性使其能够在应用处理器和AI加速领域迅速发展。 RAMSUN提供的RISC-V单片机&#xff0c;开源…
阅读更多...
MySQL_视图

MySQL_视图

课 程 推 荐我 的 个 人 主 页&#xff1a;&#x1f449;&#x1f449; 失心疯的个人主页 &#x1f448;&#x1f448;入 门 教 程 推 荐 &#xff1a;&#x1f449;&#x1f449; Python零基础入门教程合集 &#x1f448;&#x1f448;虚 拟 环 境 搭 建 &#xff1a;&#x1…
阅读更多...
鸿蒙harmonyos next flutter通信之MethodChannel获取设备信息

鸿蒙harmonyos next flutter通信之MethodChannel获取设备信息

本文将通过MethodChannel获取设备信息&#xff0c;以此来演练MethodChannel用法。 建立channel flutter代码&#xff1a; MethodChannel methodChannel MethodChannel("com.xmg.test"); ohos代码&#xff1a; private channel: MethodChannel | null nullthis.c…
阅读更多...
PostgreSQL数据库与PostGIS在Windows中的部署与运行

PostgreSQL数据库与PostGIS在Windows中的部署与运行

本文介绍在Windows电脑中&#xff0c;下载、安装、部署并运行PostgreSQL与PostGIS数据库服务的方法。 PostgreSQL是一种功能强大的开源关系型数据库管理系统&#xff08;RDBMS&#xff09;&#xff0c;以其稳定性、可靠性和丰富的功能而闻名&#xff1b;其支持多种高级特性&…
阅读更多...
最新文章

Copyright @ 2022~2023