Jmeter+Grafana+Prometheus搭建压测监控平台

本文不介绍压测的规范与技术指标,本文是演示针对Jmeter如何将压测过程中的数据指标,通过Prometheus采集存储,并在Granfan平台进行仪表盘展示;

介绍

系统压测属于日常项目开发中的一个测试环节,使用测试工具模拟真实用户行为,在已知的软硬件资源下,通过批量压测对项目的服务性能进行检验,从而了解系统接口稳定性、每秒并发瓶颈、错误率多少、响应时间、QPS、流量大小等等;也是为了项目上线后,通过对未来可能达到的系统上限与并发问题,提前进行预测与检验;防止真实上线后未经压力测试,无足够的性能压测评估,当大量请求到来时,可能引起未知的系统崩溃;通过压测,可以撑握系统峰值能力与并发能力,并提前通过风险策略与技术干预,降低系统宕机风险;因此对于企业来说,压测是系统测试与验收过程中必不可少的要求;

常见压测场景:

  • 业务系统上线前压测检验
  • 服务线上遇到性能瓶颈或问题,需要压测复现
  • 对业务接口进行响应测试与并发测试,评估接口响应性能
  • 对不同硬件资源条件下进行系统压测,评估服务软硬件性能
  • 企业或合作方明确要求对系统软件验收压测

压测集成工具

Jmeter

JMeter 是一个开源的负载测试和性能测量工具,由Apache软件基金会开发。JMeter采用JAVA开发,它主要用于测试Web应用程序,但也可以测试各种服务。JMeter可以模拟多个用户同时发送请求到服务器,以测试其负载能力和性能。

JMeter 是一个强大的工具,适用于开发者和测试工程师用来确保他们的应用程序可以承受预期的用户负载。

主要特点:

  • 多协议支持:支持HTTP, HTTPS, FTP, SOAP, REST, TCP等。
  • 可扩展:可以通过插件扩展功能。
  • 友好的GUI:提供图形用户界面,便于设计和执行测试。
  • 结果分析:可以生成图形报告,帮助分析测试结果。
  • 多线程框架:允许并发和同时抽样多个函数。

使用场景:

  • 性能测试:测试应用程序在高负载下的表现。
  • 负载测试:确定应用程序的最大操作能力。
  • 压力测试:测试应用程序在超过正常负载条件下的表现。

官方网站:Apache JMeter - Apache JMeter™

Prometheus

Prometheus 是云原生计算基金会项目,是一个系统和服务监控系统。它以给定的时间间隔从配置的目标收集指标,评估规则表达式,显示结果,并可以在观察到指定条件时触发警报。

Prometheus监控系统包括丰富的多维数据模型、简洁而强大的PromQL查询语言、高效的嵌入式时间序列数据库以及与第三方系统的150多个集成;

Prometheus 与其他指标和监控系统的区别在于:

  • 多维数据模型(由指标名称和键/值维度集定义的时间序列)
  • PromQL,一种强大而灵活的查询语言,可以利用这种维度
  • 不依赖分布式存储;单个服务器节点是自治的
  • 用于时间序列收集的HTTP拉模型
  • 通过批处理作业的中间网关支持推送时间序列
  • 通过服务发现或静态配置发现目标
  • 多种图形和仪表板支持模式
  • 支持分层和水平联合

Github地址:GitHub - prometheus/prometheus: The Prometheus monitoring system and time series database.

Grafana

Grafana 开源是开源可视化和分析软件。它允许您查询、可视化、警报和探索您的指标、日志和跟踪,无论它们存储在何处。它为您提供了将时间序列数据库 (TSDB) 数据转换为富有洞察力的图表和可视化的工具。

Grafana支持非常多的数据源,同时又有强大的可视化、告警等非常强大的功能,因此在数据分析、指标追踪和数据查询等方面,需多的公司在运维指标、日志分析、大屏展示等有实际应用;在项目监控、运维、服务器指标等业务上,是一个强大可靠的分析平台;

官网:http://grafana.com

注:相关软件从各自平台或官网下载即可。Jmeter安装比较简单,下载压测包后解压即可用(需安装jdk1.8+),Grafana和Prometheus安装过程参考《Grafana,Loki,Tempo,Prometheus,Agent搭建日志链路监控平台》,此处不在重述;

Jmeter集成插件

待上述软件安装后,我们通过一个简单示例演示Jmeter工具如何配置Prometheus插件与Prometheus采集指标;

Jmeter配置插件

启动Jmeter后,通过菜单:选项》Plugins Manager,进入插件管理窗口,安装Prometheus Listener Plugin插件

在弹出的插件管理窗口中,点击"Available Plugins"选项卡,在搜索框中输出Prometheus查找Prometheus Listener Plugin插件

此处我已提前安装过,在“Installed Plugins”选项卡中,已存在Prometheus Listener Plugin插,注意:安装后如果在线程组上右键找不到“添加》监听器》Prometheus Listener”选项,可能需要重启一下jmeter 即可,或在Jmeter安装目录lib\ext下是否有jmeter-prometheus-plugin-0.6.0.jar,如果没有需重新安装,或通过github开源项目上下载最新jar放到lib\ext目录下即可;

Prometheus Listener Plugin插件介绍:

Prometheus Listener Plugin是JMeter中的一个开源插件,通过可配置的监听器(和配置元素),允许用户定义他们自己的指标(名称、类型等),并通过 Prometheus /metrics API 公开它们,以供 Prometheus 服务器抓取。

Github地址:GitHub - johrstrom/jmeter-prometheus-plugin: A Prometheus Listener for Apache JMeter that exposes results in an http API

在线程组上使用Prometheus Listener 监听器后,启动Jmeter压测,即会自动监听本机默认9270端口,也可通过Jmeter安装目录bin/jmeter.properties属性配置文件进行修改,添加如下配置(默认无以下配置),相关配置说明请参考Github项目文档说明;

#---------------------------------------------------------------------------
# Documentation jmeter-prometheus-plugin插件配置 
#---------------------------------------------------------------------------# http服务器将绑定到的端口
prometheus.port=9270
# http服务器将绑定到的ip
prometheus.ip=0.0.0.0
# http服务器在被销毁之前等待的延迟(以秒为单位)
prometheus.delay=3
# 保存和收集 jmeter 线程指标的True或false值
prometheus.save.threads=true
# 描述jmeter线程的指标名称
prometheus.save.threads.name=jmeter_threads
# 从JVM收集指标
prometheus.save.jvm=true

如上,已完成Jmeter prometheus plugin插件安装与配置;

创建Jmeter压测线程

压测线程组

选择根Test Plan右键:添加》(线程)用户》线程组,新建一个线程组,命名:Prometheus指标压测

配置线程数:6000

Ramp-Up时间(秒):3000

循环次数:1

表示整个Jmeter压测过程中共创建6000个线程在3000秒内请求完毕,并只执行1轮(循环次数为1);

此配置目的是为了让Jmeter保持较长时间的请求,从而在Grafana上展示较长的仪表线条;

注:实际压测会根据真实需求配置线程数和时间,此处只做演示用;

添加取样器

HTTP请求:发起http协议请求,用于向指定WEB服务URL发起请求(注意:将名称更改为"HTTP Request",因为默认jmeter对中文输出没做处理,prometheus采集过程中会乱码,导制数据不显示);

HTTP请求配置如下:

在路径上配置任务WEB服务请求接口,此处示例路径为:http://127.0.0.1:8080/hello

添加监听器

聚合报告:展示每一轮压测的性能数据指标,如:样本数、平均值、中位数、90%百分人头、95%百分位、99%百分位、最小值、最大值、异常率、吞吐量、接收大小、发送大小等;

用表格查看结果:用于展示每个线程请求的列表

Prometheus Listener:配置Jmeter压测过程中,prometheus plugin插件可采集的指标;

Prometheus Listener配置如下:

指标说明:jmeter_summary(响应时间)、jmeter_count_total(取样器总数)、jmeter_success_total(成功总数)、jmeter_response_size(响应大小)、jmeter_success_ratio(成功率)、jmeter_latency_as_hist(网络延迟)、jmeter_idle_time(空闲时间)、jmeter_failure_total(错误总数)、jmeter_connect_time(链接时间)

列表头字段说明

  • Name(名称):指标的名称。
  • Help(帮助):指标的帮助消息。
  • Labels(标签):要应用于指标的以逗号分隔的标签列表。

         label是一个关键字。在 JMeter 中,它表示采样器的名称。

         code是一个关键字。这是结果的响应代码。

         此处可以使用 JMeter 变量。请参阅下面的部分。

  • Type(类型):您正在创建的指标类型。

        有关指标类型的信息,请参阅Prometheus 文档:Metric types | Prometheus

        SUCCESS_RATION(成功率)是该插件特有的内容。

  • Buckets or Quantiles(分位数桶):

        桶是逗号分隔的数字列表。可以是整数或小数。

        分位数是,用竖线分隔的逗号分隔的小数对|。第一个小数是分位数,第二个小数是错误等级。或者可以在分隔符之后指定用于计算分位数的窗口长度。样本:0.8,0.01|0.9,0.01|0.95,0.005|0.99,0.001;60

  • Listen To:用于收听示例或断言的下拉列表。这仅适用于 Counters 和 SuccessRatio 类型指标。
  • Measuring(测量):可以测量的所有内容的下拉菜单:响应时间、响应大小、空闲时间、连接时间、总数、失败总数、成功总数、成功率

压测示例

运行SpringBoot服务

此处不在额外演示工程创建过程,以《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】

在SprinbBoot项目启动类中新增一个后台HTTP接口;

@RestController
@SpringBootApplication
public class ApplicationStart {public static void main(String[] args) {SpringApplication.run(ApplicationStart.class, args);}@RequestMapping("/hello")public String hello(){//为了演示指标显示的更全,每30s人为抛出一个异常Calendar calendar = Calendar.getInstance();if (calendar.get(Calendar.SECOND)  == 30) {throw new RuntimeException("error");}}
}

右键》Run...,启动SpringBoog项目;

运行Jmeter压测

SpringBoog项目运行后,回到Jmeter工具中,点击绿色三角形,启动压测线程组,向已配置Http请求路径发起持续一段时间的压测请求;

点击聚合报告监听器,此时已有统计指标数据展示在列表中;

指标采集

Prometheus配置

在Prometheus安装目录下,找到prometheus.yml,添加Jmeter采集配置后(如下所示),重新启动Prometheus服务;

scrape_configs:- job_name: "prometheus"static_configs:- targets: ["localhost:9090"]- job_name: "spring"metrics_path: "/actuator/prometheus"static_configs:- targets: ["localhost:8080"]- job_name: "jmeter"static_configs:- targets: ["localhost:9270"]
  • prometheus:为自身采集指标连接配置
  • spring:为测试项目SpringBoot服务采集指标连接配置
  • jmeter:为Jmeter压测工具采集指标连接配置

采集服务查看

浏览器访问:http://localhost:9090/targets打开Prometheus管理平台Status》Targets菜单,Jemeter和SpringBoot服务已显示为up(上线状态);到此,Prometheus已成功对Jemeter服务和SpringBoot服务端访问与指标采集;

指标可视化

Grafana配置Dashboard

在Grafana中配置Prometheus为数据源后,此处省略安装过程.......(可参考《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】),通过Grafana官网的dashboards共享仪表盘资源页面,找到“JMeter_Promethius_Grafana”,资源ID:14927

在Grafana》Dashboards页面,点击右上角“New”下拉按钮,找到“Import”选项;

进入仪表资源导入界面,在Import via grafana.com下文本框中输入:14927,点击Load加载即可;

在回到Dashboards页面,找到我们导入的仪表盘Jmeter_promethius_Grafana,点击即可展示完整的指标仪表;

Dashboard压测仪表盘

进入Grafana平台,点击菜单Dashboards,打开列表中的仪表盘“Jmeter_promethius_Grafana”,通过仪表盘清析的看见jmeter指标数据通过Prometheus已采集入库,通过动态或实时查询Prometheus刷新页面可视化仪表数据;

实际采集的指标比较多,并且Jmeter也支持扩展自定义指标,如果缺少需观测的指标仪表盘,可以直接在当前界面点击右上角的Add链接创建,此处不做详述,有兴趣可自行摸索;

再一次回到Dashboards菜单主页,点击通过《SpringBoot+Prometheus采集Metrics指标数据》为例【连接:SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客】,导入的SpringBoot共享仪表盘”SpringBoot APM Dashboard“,进入仪表盘页面,查看压测过程中Prometheus动态采集的SpringBoot服务指标数据;

到此已为项目建立了一套完整的压测监控平台,让系统服务压测过程变的更丝滑与指标可视化;

Prometheus远程写入

细心的朋友,可能会问到:Jmeter部署在本机,而Prometheus部署在远程公共服务上,让Prometheus访问本机服务拉取指标数据先不说可不可行,运维大佬也不会同意,那该怎么办?不用担心,Prometheus支持远程存储集成。

Prometheus远程存储

通过启用Prometheus公共服务远程写入接收器(启动过程中加入--web.enable-remote-write-receiver命令参数),开启写入接收器端点:/api/v1/write;

再在本机安装一个Prometheus来采集Jmeter指标,通过remote_write配置远程输出到Prometheus公共服务接收器端点上完成数据存储写入;

Prometheus官方文档关于remote_write(远程存储)介绍:

Configuration | Prometheus

Prometheus官方文档关于Remote storage integrations(远程存储集成)介绍:

Storage | Prometheus

-- 启用远程写入--web.enable-remote-write-receiver
./prometheus --config.file=./prometheus.yml --web.enable-remote-write-receiver

Prometheus本地推送

修改本地prometheus.yml文件在,末尾加上remote_write配置,写入到远程Prometheus服务存储里;重启本地Prometheus服务后,相当于本地Prometheus成为一个采集和转发服务;

remote_write:- url: http://192.168.1.100:9090/api/v1/write

如下,在远程公共Prometheus服务上查询本地jmeter压测指标数据在仪表上展示;

公共Prometheus服务成功将本地Prometheus推送的采集数据写入到远程存储中,剩下的就是在Grafana上导入上述Jmeter仪表大盘和SpringBoot仪表大盘;

结束

上述演示如何使用Jmeter+Prometheus+Grafana的集成过程,实际开发测试过程中,对于Jmeter压测中的配置、线池数、指标等,需要根据真实情况而定;本文只是演示讲解压测集成平台,不具有真实项目代表性,仅作参考;

通过前面的文章《SpringBoot+Prometheus采集Metrics指标数据》,演示了如何通过Prometheus采集SpringBoot项目的指标数据,对系统服务的运行进行监控;

再通过本文介绍Jmeter压测工具集成Prometheus插件,利用Prometheus采集Jmeter压测过程中的数据指标,输出到Grafana的Dashboard仪表盘中实时与动态展示,让开发人员与测试人员,对系统服务监控指标有清晰了解,能让服务管理者快速定位系统程序运行过程中的突发指标问题与性能瓶颈;从此以后,再也不怕甲方强烈要求你提供压测性能报告了,只需将相关压测指标数据一查,再将仪表大盘截份图,整成报告文档直接甩对方面前潇洒离场;

参考:

SpringBoot+Prometheus采集Metrics指标数据_prometheus metrics-CSDN博客

GitHub - johrstrom/jmeter-prometheus-plugin: A Prometheus Listener for Apache JMeter that exposes results in an http API

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/12225.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Springboot+MybatisPlus如何实现分页和模糊查询

实现分页查询的时候我们需要创建一个config配置类 1、创建MybatisPlusConfig类 Configuration //表明这是一个配置类 ConditionalOnClass(Value{PaginationInterceptor.class} //ConditionalOnClass:当指定的类存在时,才会创建对应的Bean // 这里当PaginationInt…

Go-Zero定义API实战:探索API语法规范与最佳实践(五)

前言 上一篇文章带你实现了Go-Zero模板定制化,本文将继续分享如何使用GO-ZERO进行业务开发。 通过编写API层,我们能够对外进行接口的暴露,因此学习规范的API层编写姿势是很重要的。 通过本文的分享,你将能够学习到Go-Zero的API…

测试项目实战--安享理财2(Jmeter接口测试)

说明: 1.访问地址: 本项目实战使用的是传智播客的安享理财项目(找了半天这个项目能免费用且能够满足测试实战需求) 前台:http://121.43.169.97:8081/ 后台:http://121.43.169.97:8082/ (点赞收藏…

前端工程化 - 快速通关 - vue

目录 npm 2.1环境 2.2命令 2.3使用流程 Vite 3.1简介 3.2实战 Vue3 4.1组件化 4.2SFC 4.3Vue工程 4.4基础使用 4.5进阶用法 4.6总结 npm npm 是 nodejs 中进行 包管理 的工具; 下载:Node.js — Run JavaScript Everywhere 2.1环境 ●安…

使用DBeaver的第2天-使用sql导入数据

使用sql导入数据这块我会仔细的说一下 首先位置一定要放在库上(实例),放在表上可不好使用哦 然后点击工具-再点击执行脚本 这样就执行成功了 但是如果你执行失败了,多半可能是因为本地没有部署mysql,记住只有本地有…

【强训笔记】day23

NO.1 思路:直接计算结果,先计算怪物可以抗几次攻击,再计算勇士受到的伤害,如果勇士的攻击力大于等于怪物的血量,那么就可以击杀无数只,如果勇士的血量正好是受到攻击的整数倍,那么击杀的怪物数…

ubuntu编译pcl时报错

报错如下 cc1plus: warning: -Wabi wont warn about anything [-Wabi] cc1plus: note: -Wabi warns about differences from the most up-to-date ABI, which is also used by default cc1plus: note: use e.g. -Wabi11 to warn about changes from GCC 7 在网上找到了一封邮件…

国外新闻媒体投放:多元化媒体分发投稿平台-大舍传媒

引言 随着全球信息传播的加速和全球化的发展,国外新闻媒体的推广变得越来越重要。在这个数字化时代,多元化的媒体分发投放成为了有效推广的关键。本文将介绍大舍传媒在国外新闻媒体推广中的经验与策略。 国外新闻媒体的重要性 国外新闻媒体是获取国际…

网页转长图插件html2canvas【前端】

网页转长图插件html2canvas【前端】 前言版权开源推荐网页转长图插件html2canvas【前端】wkImageStorage流程使用后端application.propertiesWkConfigShareControllerImageCleanupTask 前端html2canvas.jsshare.htmlshare.jsgetShare.jsgetShare.html 最后 前言 2024-5-10 18:…

超分辨率重建——CAMixerSR网络训练与推理测试(详细图文教程)

💪 专业从事且热爱图像处理,图像处理专栏更新如下👇: 📝《图像去噪》 📝《超分辨率重建》 📝《语义分割》 📝《风格迁移》 📝《目标检测》 📝《暗光增强》 &a…

在做题中学习(56):二维前缀和模板

【模板】二维前缀和_牛客题霸_牛客网 (nowcoder.com) 理解题意: 要求的是(x1,y1) - (x2,y2)这段区间的和。 解法:二维前缀和 1. 和一维前缀和一样,需要有一个同等规模的dp数组,用来保存一段连续区域的和。 在二维dp中&#xff0…

客户案例:CACTER云网关为企业O365系统提供安全新护盾

一、客户背景 某智能驾驶企业是一家国际性的高科技创新型企业,其智能驾驶领域处于全球领先地位,专注于为广大客户提供个性化的智能驾驶解决方案,共建美好智能新时代。 使用产品:CACTER邮件安全云网关 二、痛点难点问题 根据…

最强特征点检测算法 DeDoDe v1/v2

论文地址v1:https://arxiv.org/pdf/2308.08479 论文地址v1:https://arxiv.org/pdf/2404.08928 代码地址:GitHub - Parskatt/DeDoDe: [3DV 2024 Oral] DeDoDe 🎶 Detect, Dont Describe --- Describe, Dont Detect, for Local Feature Matching 实测确实牛X! DeDoDeV1 关…

网安热议 | 中小企面临什么网络安全困扰?中小企网络安全是不是智商税?

近日,Coro 公司表示,许多中小型企业的 IT 人员被开发安全工作中多工具操作的复杂性和安全需求,压得“喘不过气”,导致其可能错过很多关键安全事件告警信息,从而将公司的网络安全置于危险之地。 研究机构采访了美国多行…

比大小(打擂台)(C语言)

一、运行结果&#xff1b; 二、源代码&#xff1b; # define _CRT_SECURE_NO_WARNINGS # include <stdio.h>//声明比较大小函数max; int max(int a, int b);int main() {//初始化变量值&#xff1b;int i, n, m, a[10];//填充数组&#xff1b;printf("请输入10个数…

数据结构选择题(期末)

1.给定NN的二维数组A&#xff0c;则在不改变数组的前提下&#xff0c;查找最大元素的时间复杂度是&#xff08;A&#xff09;&#xff1a; A.O(N2) B.O(NlogN) C.O(N) D.O(N2logN) 两重循环即O(N2)的时间复杂度 2.与数据元素本身的形式、内容、相对位置、个数无关的是数据的…

MIT 6.5840(6.824) Lab1:MapReduce 设计实现

1 介绍 本次实验是实现一个简易版本的MapReduce&#xff0c;你需要实现一个工作程序&#xff08;worker process&#xff09;和一个调度程序&#xff08;coordinator process&#xff09;。工作程序用来调用Map和Reduce函数&#xff0c;并处理文件的读取和写入。调度程序用来协…

晶振在电子设备中的作用是什么?

在无源晶振电路中&#xff0c;并联电阻起着至关重要的作用。无源晶振本身不能自行产生振荡&#xff0c;因此需要借助外部电路来实现。并联在晶振两端的电阻&#xff0c;通常称为负载电阻&#xff0c;对电路的稳定性和振荡性能有着重要影响。 晶振电路的核心是皮尔斯振荡器&…

mysql根据字段值关联查不同表

mysql根据字段值关联查不同表&#xff1a; 实现&#xff1a; 使用left join 结合case when 判断直接取值&#xff1a; select mp.member_id ,mp.store_id, case mp.store_type when 1 then bs.store_namewhen 2 then sc.store_namewhen 3 then be.store_name end as store_na…

string类篇超超超详解,40余个成员函数详细解释(图文)!看完包会!!

本篇目标 constructoroperatorElements accessIteratorsCapacityModifiersString operationsmember contants其他函数 一、constructor(对象的创建) void StrTest1() {string s1;//直接构造cout << s1 << endl;//string里内置了流插入、流提取的函数重载&#xf…