Prometheus运维监控平台之监控指标注册到consul脚本开发、自定义监控项采集配置调试(三)

系列文章目录

运维监控平台搭建
运维监控平台监控标签
golang_Consul代码实现Prometheus监控目标的注册以及动态发现与配置V1版本


文章目录

  • 系列文章目录
  • 目的
  • 一、监控指标注册到consul的golang脚本开发
    • 1、修改settings.yaml文件
    • 2、修改config/ocnsul,go文件
    • 3、修改core/consul.go文件
    • 4、脚本演示
      • 4.1、准备整理好的监控指标文件xlsx格式
      • 4.2、注册上述监控指标到consul 中
  • 二、Prometheus使用consul服务发现配置
    • 1.修改prometheus.yml文件
    • 2、telegraf配置自定义监控项
      • 2.1、示例1: 监控内核参数
  • 三、监控接口配置示例


目的

1、在面临多个监控指标时,实现快速的将指标注册到consul中,Prometheus使用consul服务发现实现监控
2、编写脚本实现自定义监控指标
3、自定监控项监控配置调试


提示:以下是本篇文章正文内容,下面案例可供参考

一、监控指标注册到consul的golang脚本开发

在之前就已经发布过golang_Consul代码实现Prometheus监控目标的注册以及动态发现与配置脚本。如顶部第三个文章链接。
虽然之前写的脚本已经实现了注册服务器ip、微服务ip和端口、url等到consul中,但是只能适用于无密码、无token的consul
但是现在的运维平台consul是开启了ACL认证的,因此需要对脚本做出部分修改。修改部分如下所示

因为之前在https://blog.csdn.net/weixin_50902636/article/details/139903589文章中已经对该注册脚本进行了分析讲解及使用示例,因此在本篇文章中不做过多描述,只对修改部分示例。同时更新后的脚本已上传至csdn资源中,需要的自行下载即可

1、修改settings.yaml文件

consul:ip: "192.168.56.131"port: 8500acl_status: true                                 #新添加字段,判断是否开启了acl认证token: "a0de7f26-127b-cd67-f01e-477c212d7c48"    #新添加字段,consul开启acl后的认证token。其余字段保持不变service_name:- "Host_Status"- "ICMP"- "Telegraf"- "Service_TCP"- "Service_URL"xlsx:xlsxfile_path: "/export/wxd/prometheus_import_consul/host_monitor_datasource.xlsx"sheet_name:- "hostinfo"- "serviceinfo"- "serviceurlInfo"jsonfile:hostjson_path: "/export/wxd/prometheus_import_consul/jsonfile/host.json"servicejson_path: "/export/wxd/prometheus_import_consul/jsonfile/service.json"serviceurljson_path: "/export/wxd/prometheus_import_consul/jsonfile/serviceUrl.json"

2、修改config/ocnsul,go文件

package configimport "fmt"//连接consul的ip、端口
type Consul struct {IP          string   `yaml:"ip"`Port        int      `yaml:"port"`Acl_Status  bool     `yaml:"acl_status"`  #将yaml文件中新增加的字段 添加到结构体中,用于字段解析初始化Token       string   `yaml:"token"`       #将yaml文件中新增加的字段 添加到结构体中,用于字段解析初始化ServiceName []string `yaml:"service_name"`
}func (c *Consul) URL() string {return fmt.Sprintf("%s:%d", c.IP, c.Port)
}

3、修改core/consul.go文件

package coreimport ("log""prometheus_import_consul/global""github.com/hashicorp/consul/api"
)// consul 初始化
func ConsulConnect() (*api.Client, error) {config := api.DefaultConfig()// 新添加 根据 acl_status 判断是否使用 acl_Tokenif global.Config.Consul.Acl_Status {config.Token = global.Config.Consul.Tokenlog.Printf("consul ACL authentication is enabled. Using token: %s", config.Token)} else {log.Println("consul ACL authentication is disabled. Not using any token.")}config.Address = global.Config.Consul.URL()if client, err := api.NewClient(config); err != nil {return nil, err} else {return client, nil}
}

其余代码不变,如果有需要新增其他类型的监控,在修改代码即可

4、脚本演示

4.1、准备整理好的监控指标文件xlsx格式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

4.2、注册上述监控指标到consul 中

代码构建为二进制程序

[root@python2 prometheus_import_consul]# sh scripts/launch.sh build prometheus_consul 
[root@python2 prometheus_import_consul]# cat scripts/nohup.out

在这里插入图片描述
解析xlsx文件中所有sheet页为json文件

[root@python2 prometheus_import_consul]# sh scripts/launch.sh run-execToAllJson prometheus_consul

在这里插入图片描述
在这里插入图片描述
将转换为json格式的文件注册到consul中

[root@python2 prometheus_import_consul]# sh scripts/launch.sh run-all prometheus_consul

在这里插入图片描述
检查consul web中是否已有上述注册信息
在这里插入图片描述
如上图所示,golang脚本已完美的实现监控指标注册功能。具体的脚本功能请自行下载查看

二、Prometheus使用consul服务发现配置

修改prometheus.yml文件,使其监控已经注册到consul中的监控指标

1.修改prometheus.yml文件

文件如下(示例):

  - job_name: "consul-prometheus"consul_sd_configs:- server: '192.168.56.131:8500'token: "a0de7f26-127b-cd67-f01e-477c212d7c48"relabel_configs:- source_labels: ['__meta_consul_service']regex: .*monitor_agent.*action: keep- source_labels: ['__meta_consul_service_address']target_label: ip- source_labels: ['__meta_consul_service_port']target_label: port- job_name: 'Host_Status'metrics_path: /probeparams:module: [icmp]scrape_interval: 60sscrape_timeout: 2sconsul_sd_configs:- server: '192.168.56.131:8500'services: []token: "a0de7f26-127b-cd67-f01e-477c212d7c48"relabel_configs:- source_labels: [__meta_consul_tags]regex: .*Host_Status.*action: keep- source_labels: [__meta_consul_service_address]target_label: __param_target- target_label: __address__replacement: 192.168.56.131:9115- regex: __meta_consul_service_metadata_(.+)action: labelmap- job_name: 'Service_tcp'scrape_interval: 60sscrape_timeout: 5smetrics_path: /probeparams:module: [tcp_connect]consul_sd_configs:- server: '192.168.56.131:8500'services: []token: "a0de7f26-127b-cd67-f01e-477c212d7c48"relabel_configs:- source_labels: [__meta_consul_tags]regex: .*Service_TCP.*action: keep- source_labels: [__address__]target_label: __param_target- target_label: __address__replacement: 192.168.56.131:9115- regex: __meta_consul_service_metadata_(.+)action: labelmap- job_name: 'Service_url'scrape_interval: 60sscrape_timeout: 5smetrics_path: /probeparams:module: [http_2xx]  consul_sd_configs:- server: '192.168.56.131:8500'services: []token: "a0de7f26-127b-cd67-f01e-477c212d7c48"relabel_configs:- source_labels: [__meta_consul_tags]regex: .*Service_URL.*action: keep- source_labels: [__meta_consul_service_metadata_url]target_label: __param_target- target_label: __address__replacement: 192.168.56.131:9115- regex: __meta_consul_service_metadata_(.+)action: labelmap- job_name: icmpparams:module:- icmpscrape_interval: 60sscrape_timeout: 2smetrics_path: /probeconsul_sd_configs:- server: 192.168.56.131:8500token: "a0de7f26-127b-cd67-f01e-477c212d7c48"relabel_configs:- source_labels: [__meta_consul_tags]regex: .*,prometheus-icmp,.* # 扫描对应的组的信息action: keep- source_labels: [__meta_consul_tags]regex: .*,ICMP:([^,]+),.*replacement: '${1}'target_label: __param_target- source_labels: [__param_target]target_label: instance- regex: __meta_consul_service_metadata_(.+)action: labelmap- target_label: __address__replacement: localhost:9115

在这里插入图片描述

2、telegraf配置自定义监控项

2.1、示例1: 监控内核参数

代码如下(示例):

当在https://github.com/influxdata/telegraf/tree/release-1.30/plugins/inputs中不到对应的服务监控配置时,则可以使用自定义监控项的方式实现监控。在github中可以找到大部分开源组件的telegraf的监控配置,粘贴修改后即可使用。

先看结果
在这里插入图片描述
实现过程

需求:需要通过监控telegraf组件实现对10.192.10.14服务器的/etc/sysctl.conf中配置的内核参数进行监控实现过程:1、联想到zabbix监控可以通过agent端编辑相关的conf文件,且conf文件中编写脚本或者其他采集发送,实现某个时刻组件的监控,因此再telegraf/scripts目录下也用同样方式测试是否能实现2、在10.192.10.14机器的/opt/monitor/telegraf/scripts/目录下,增加一个探测的脚本文件check_tcp_timesmaps.sh,并授权执行权限。脚本内容如下#!/bin/bash
# 读取net.ipv4.tcp_timestamps的值value=$(sysctl net.ipv4.tcp_timestamps | awk '{print $3}')
# 输出为InfluxDB格式的指标echo "tcp_timestamps value=$value"  #其中tcp_timestamps为监控项,也就是使用它可以在prometheus的web界面中查看对应的数据,即它就是一个自定义的PromQL.3、在10.192.10.14机器的/opt/monitor/telegraf/etc/telegraf/telegraf.d/目录下新增类似zabbix中的conf文件,配置如下[[inputs.exec]] #使用telegraf的exec插件,它还有inputs.中间件名 的插件#指定脚本位置commands = ["/opt/monitor/telegraf/scripts/check_tcp_timestamps.sh"]#探测超时时间timeout = "5s"#数据格式,通常为influx类型data_format = "influx"4、在10.192.10.14机器的/opt/monitor/telegraf/etc/telegraf/telegraf.conf主配置文件中,必须添加以下配置.配置Prometheus从Telegraf抓取对应的指标[[outputs.prometheus_client]]listen = ":9273"5、在监控机器中配置对应的yml告警规则增加 /opt/monitor/prometheus/rules/sysctl_tcp_timesamps.yml文件,配置文件如下groups:- name: tcp_timestamps_checkrules:- alert: TCPTimestampsDisabledexpr: tcp_timestamps != 0for: 1mlabels:severity: warningannotations:summary: "TCP Timestamps is not disabled (host {{ $labels.instance }})"description: "net.ipv4.tcp_timestamps is expected to be 0 but is {{ $value }} on {{ $labels.instance }}"

三、监控接口配置示例

将接口以静态服务发现方式添加到prometheus.yml中

- job_name: 'V3getActivityInfo'metrics_path: /probeparams:module: [v3getActivityInfo] #等价于blackbox.yml文件中定义的名称static_configs:- targets: ['https://xxxx/activity/V3/getActivityInfo']labels:servicetype: '活动查询接口V3POST'monitortype: 'business_monitor'relabel_configs:- source_labels: [__address__]target_label: __param_target- source_labels: [__param_target]target_label: instance- target_label: __address__replacement: localhost:9115

通过黑盒监控,修改balckbox_exporter.yml文件中添加该接口的请求方式、请求体及返回值

V3getActivityInfo:prober: httptimeout: 5shttp:method: POST  #可以替换为对应的请求方式preferred_ip_protocol: "ip4" #defaults to "ip6"valid_http_versions: ["HTTP/1.1","HTTP/2.0"]valid_status_codes: [200] #defaults to 2xx 如果返回的 HTTP 状态码不在 valid_status_codes 指定的范围内,则会被认为是探测失败headers: #配置post请求的header头Content-Type: application/jsonClientId: xxxxxxxxxxbody: '{"data": {"signData": "72KFee7x9izEYwvrmOfh/KgzzdjNjf6Ud1Wk19BJZnClY/Q79/rEt9wkspsY/uQYleg9igJ1R5xUTEPWAoRdT111A=="}}'fail_if_body_not_matches_regexp: #如果响应体中不包含匹配该正则表达式的内容,则探测被视为失败- '30001'

至此,接口监控已完成


本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/882029.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

让你的MacOS剪切板变得更加强大,如何解决复制内容覆盖的问题

MacOS的日常使用过程中,肯定少不了复制粘贴,不论是文本内容还是文件,复制粘贴是避不开的操作,如果需要复制粘贴的内容不多,那么普通的复制粘贴就可以完成了,但是当有同样的内容需要输入不同的地方的时候&am…

C++的魔法世界:类和对象的终章

文章目录 一、再探构造函数二、类型转换2.1隐式类型转换2.2内置类型的类型转化2.3explicit关键字2.4多参数构造 三、static成员四、友元五、内部类内部类的特性 六、匿名对象 一、再探构造函数 类和对象(中)里介绍的构造函数,使用的是赋值实现成员变量的初始化。而…

出现接地故障电流现象,安科瑞ASJ剩余电流继电器可以避免吗?

什么是ASJ剩余电流继电器 剩余电流继电器是检测剩余电流,并将剩余电流值与基准值相比较的电器。当剩余电流值超过基准值时,它会发出一个机械开闭信号,使机械开关电器脱扣或声光报警装置发出报警。这种继电器通常基于漏电保护原理工作&#x…

【QAMISRA】解决导入commands.json时报错问题

【更多软件使用问题请点击亿道电子官方网站】 1、 文档目标 解决导入commands.json时报错“Could not obtain system-wide includes and defines”的问题。 2、 问题场景 客户导入commands.json时报错“Could not obtain system-wide includes and defines”。 3、软硬件环境…

【保姆级教程】DolphinScheduler本地部署与远程访问详细步骤解析

文章目录 前言1. 安装部署DolphinScheduler1.1 启动服务 2. 登录DolphinScheduler界面3. 安装内网穿透工具4. 配置Dolphin Scheduler公网地址5. 固定DolphinScheduler公网地址 前言 本篇教程和大家分享一下DolphinScheduler的安装部署及如何实现公网远程访问,结合内…

海思hi3536c配置内核支持USB摄像头

linux内核版本:linux-3.18.20 配置步骤 进入Device Drivers 选择Multimedia support,并进入 选择Media USB Adapters,并进入 如下图,选择这几项: 保存退出,重新编译内核下载 内核更新后&#xff0c…

家里有宠物想去异味,希喂、米家、范罗士宠物空气净化器哪款去异味好?

宠物的便臭和体臭,其臭味浓度和持续性,相比于正常家居的其他臭味,祛除难度更大,建议就是选使用真正能高效除臭、分解异味分子的化学分解法除臭的宠物空气净化器。比如:光触媒分解除臭的。 不踩坑前置推荐 我从2020年…

docker-compose 部属netcore

一、准备镜像 编写:dockercompose.yml version: "3.4"services: saas.demo.api: image: harbor.net.com/demos/saas.demo.api:latestcontainer_name: saas.demo.apienvironment:- ASPNETCORE_ENVIRONMENTProductionports: - "5001:80" 部属&am…

【Matlab算法】基于MATLAB的A*算法路径规划实现(附MATLAB完整代码)

基于MATLAB的A*算法路径规划实现 前言正文代码实现结果与说明结果图结果说明总结前言 路径规划是机器人导航和自主移动中的一个关键问题。其中,A算法是一种广泛应用的最短路径搜索算法,因其高效和最优性而备受关注。本文将介绍如何在MATLAB环境下实现A算法,并在2D网格地图上进…

Java和Python的不同

1. 语法差异 Java: - Java是一种强类型语言,要求在编译时明确变量的数据类型。 - Java代码块由大括号 {} 包围,如方法体、循环和条件语句。 - Java使用分号 ; 作为语句的结束符。 public class HelloWorld {public static void main(String[] args) {S…

CTFHUB技能树之HTTP协议——响应包源代码

开启靶场,打开链接: 是个贪吃蛇小游戏,看不出来有什么特别的地方 用burp抓包看看情况: 嗯?点击“开始”没有抓取到报文,先看看网页源代码是什么情况 居然直接给出flag了,不知道这题的意义何在 …

计算机网络 2024 11 10

计算机网络 - 知乎计算机网络(四)—— 网络层(1、2):网络层概述、网络层提供的两种服务_以下属于网络层范畴的是a透明传输比特流b媒体接入控制c ip地址d-CSDN博客 湖科大教书匠的个人空间-湖科大教书匠个人主页-哔哩哔…

UE4 材质学习笔记06(布料着色器/体积冰着色器)

一.布料着色器 要编写一个着色器首先是看一些参考图片,我们需要找出一些布料特有的特征,下面是一个棉织物,可以看到布料边缘的纤维可以捕捉光线使得边缘看起来更亮 下面是缎子和丝绸的图片,与棉织物有几乎相反的效果,…

Docker 容器 数据卷 使用

目录 常用 命令 什么是数据卷以及特点 如何挂载数据卷 数据卷容器 数据覆盖问题 修改已经建立的数据卷关系 博主wx:yuanlai45_csdn 博主qq:2777137742 想要 深入学习 5GC IMS 等通信知识(加入 51学通信),或者想要 cpp 方向修改简历&…

Linux——用户/用户组

创建用户组groupadd groupadd 用户组 删除用户组groupdel groupdel 用户组 创建用户useradd useradd 用户名 - g 用户组 useradd 用户名 -d HOME路径 删除用户userdel userdel 用户 userdel -r 用户 (删除用户的 HOME 目录,不使用 -r &#xff0…

java项目之纺织品企业财务管理系统源码(springboot+vue+mysql)

风定落花生,歌声逐流水,大家好我是风歌,混迹在java圈的辛苦码农。今天要和大家聊的是一款基于springboot的纺织品企业财务管理系统。项目源码以及部署相关请联系风歌,文末附上联系信息 。 项目简介: 基于spring boot…

Postgresql开启SQL执行语句收集

修改配置文件 1.打开Postgresql配置文件,如:C:\Program Files\PostgreSQL\14\data\postgresql.conf 2.修改如下,如果字段被#注释,则去掉# log_directory log log_filename postgresql-%Y-%m-%d_%H%M%S.log log_statement all …

西门子网络程序传输,无需开通网络驱动器直接接入底层,支持各类数控 如发那科、三菱 、新代、海德汉、广数、精雕、马扎克等等

有关西门子的程序传输问题,大家一般是通过文件共享、ftp、网络驱动器等方式,其中828D还需要授权开通网络启动器 下面介绍一种方式直接进入西门子Linux底层系统实现和NCK的文件交互功能 软件截图如下 功能表如下 机床程序上载至电脑 电脑程序下传…

什么是 Spring 引导的执行器?

大家好,我是锋哥。今天分享关于【什么是 Spring 引导的执行器?】面试题?希望对大家有帮助; 什么是 Spring 引导的执行器? 1000道 互联网大厂Java工程师 精选面试题-Java资源分享网 Spring Boot 的执行器(…

Unity 从零开始搭建一套简单易用的UGUI小框架 基础分析篇

一套UGUI的小框架用一篇文章显然是不够的,因为会很长很长大约有上万字,想必读者也没有那个耐心一点点读完(主要是我也懒),所以我就将其分为三个部分 基础分析篇 功能撰写与优化篇 扩展与总结篇 我将其都放在了同一个专…