Prometheus通过consul实现自动服务发现

环境,软件准备

本次演示环境，我是在虚拟机上安装 Linux 系统来执行操作，以下是安装的软件及版本：

  • System: CentOS Linux release 7.6
  • Docker: 24.0.5
  • Prometheus: v2.37.6
  • Consul: 1.6.1

注意：这里为了方便启动 Prometheus、Consul服务，我使用 Docker 方式启动，所以本机需要安装好 Docker 环境，这里忽略 Docker 的安装过程。其中 Prometheus 安装配置，可以参照之前文章 Prometheus 监控报警系统 AlertManager 之邮件告警，这里着重介绍一下如何启动并配置 Consul 并配置 Prometheus 基于 Consul 实现自动服务发现。

Consul 安装配置

Docker 安装

使用 Docker 启动 Consul 单节点服务，直接获取最新版官方镜像 consul:latest 命令如下：

$ docker run --name consul -d -p 8500:8500 consul

启动完毕后，同上方法验证是否启动成功，这里为了方便演示，我采用 Docker 方式启动 Consul，这里的访问地址为:http://192.168.75.42:8500

API 注册服务到 Consul

接下来，我们要注册服务到 Consul 中，可以通过其提供的 API 标准接口来添加。那么先注册一个测试服务，该测试数据为本机 node-exporter 服务信息，服务地址及端口为 node-exporter 默认提供指标数据的地址，执行如下命令：

$curl -X PUT -d '{"id": "node-exporter","name": "node-exporter-192.168.75.42","address": "192.168.75.42","port": 9100,"tags": ["test"],"checks": [{"http": "http://192.168.75.42:9100/metrics", "interval": "5s"}]}'  http://192.168.75.41:8500/v1/agent/service/register

提一下，如果要注销掉某个服务，可以通过如下 API 命令操作，例如注销上边添加的 node-exporter 服务.这里的node-exporter事这个注册服务的ID

$curl -X PUT http://192.168.75.41:8500/v1/agent/service/deregister/node-exporter

配置 Prometheus 实现自动服务发现

现在 Consul 服务已经启动完毕，并成功注册了一个服务，接下来，我们需要配置 Prometheus 来使用 Consul 自动服务发现，目的就是能够将上边添加的服务自动发现到 Prometheus 的 Targets 中，增加 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'consul_sd_configs:- server: '192.168.75.41:8500'services: []#重新加载prometheus服务
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus]$curl -X POST http://localhost:9090/-/reload

说明一下：这里需要使用 consul_sd_configs 来配置使用 Consul 服务发现类型，server 为 Consul 的服务地址，这里跟上边要对应上。 配置完毕后，重启 Prometheus 服务，此时可以通过 Prometheus UI 页面的 Targets 下查看是否配置成功。

这里说明下,在进行服务注册的时候ID是不可以重复出现的,如果重复出现的话那么这个ID要么会被替换成新的,要么会注册不成功.

可以看到，在 Targets 中能够成功的自动发现 Consul 中的 Services 信息，后期需要添加新的 Targets 时，只需要通过 API 往 Consul 中注册服务即可，Prometheus 就能自动发现该服务，是不是很方便。

不过，我们会发现有如下几个问题：

  1. 会发现 Prometheus 同时加载出来了默认服务 consul，这个是不需要的。
  2. 默认只显示 job 及 instance 两个标签，其他标签都默认属于 before relabeling 下，有些必要的服务信息，也想要在标签中展示，该如何操作呢？
  3. 如果需要自定义一些标签，例如 team、group、project 等关键分组信息，方便后边 alertmanager 进行告警规则匹配，该如何处理呢？
  4. 所有 Consul 中注册的 Service 都会默认加载到 Prometheus 下配置的 consul_prometheus 组，如果有多种类型的 exporter，如何在 Prometheus 中配置分配给指定类型的组，方便直观的区别它们？

以上问题，我们可以通过 Prometheus 配置中的 relabel_configs 参数来解决。

配置 relabel_configs 实现自定义标签及分类

我们先来普及一下 relabel_configs 的功能， Prometheus 允许用户在采集任务设置中，通过 relabel_configs 来添加自定义的 Relabeling 的额过程，来对标签进行指定规则的重写。 Prometheus 加载 Targets 后，这些 Targets 会自动包含一些默认的标签，Target 以 __ 作为前置的标签是在系统内部使用的，这些标签不会被写入到样本数据中。眼尖的会发现，每次增加 Target 时会自动增加一个 instance 标签，而 instance 标签的内容刚好对应 Target 实例的 __address__ 值，这是因为实际上 Prometheus 内部做了一次标签重写处理，默认 __address__ 标签设置为 <host>:<port> 地址，经过标签重写后，默认会自动将该值设置为 instance 标签，所以我们能够在页面看到该标签。

详细 relabel_configs 配置及说明可以参考 relabel_config 官网说明，这里我简单列举一下里面每个 relabel_action 的作用，方便下边演示。

  • replace: 根据 regex 的配置匹配 source_labels 标签的值（注意：多个 source_label 的值会按照 separator 进行拼接），并且将匹配到的值写入到 target_label 当中，如果有多个匹配组，则可以使用 1,1,{2} 确定写入的内容。如果没匹配到任何内容则不对 target_label 进行重新， 默认为 replace。
  • keep: 丢弃 source_labels 的值中没有匹配到 regex 正则表达式内容的 Target 实例
  • drop: 丢弃 source_labels 的值中匹配到 regex 正则表达式内容的 Target 实例
  • hashmod: 将 target_label 设置为关联的 source_label 的哈希模块
  • labelmap: 根据 regex 去匹配 Target 实例所有标签的名称（注意是名称），并且将捕获到的内容作为为新的标签名称，regex 匹配到标签的的值作为新标签的值
  • labeldrop: 对 Target 标签进行过滤，会移除匹配过滤条件的所有标签
  • labelkeep: 对 Target 标签进行过滤，会移除不匹配过滤条件的所有标签

接下来，我们来挨个处理上述问题。

问题一，我们可以配置 relabel_configs 来实现标签过滤，只加载符合规则的服务。

以上边为例，可以通过过滤 __meta_consul_tags 标签为 test 的服务，relabel_config 向 Consul 注册服务的时候，只加载匹配 regex 表达式的标签的服务到自己的配置文件。修改 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'consul_sd_configs:- server: '192.168.75.41:8500'services: []relabel_configs:- source_labels: [__meta_consul_tags]regex: .*test.*action: keep

解释下，这里的 relabel_configs 配置作用为丢弃源标签中 __meta_consul_tags 不包含 test 标签的服务，__meta_consul_tags 对应到 Consul 服务中的值为 "tags": ["test"]，默认 consul 服务是不带该标签的，从而实现过滤。重启 Prometheus 可以看到现在只获取了 node-exporter-75.42 这个服务了,

问题二和问题三

可以归为一类，就是将系统默认标签或者用户自定义标签转换成可视化标签，

方便查看及后续 Alertmanager 进行告警规则匹配分组。不过要实现给服务添加自定义标签，我们还得做一下修改，就是在注册服务时，将自定义标签信息添加到 Meta Data 数据中，具体可以参考 [这里](Consul Service - Agent HTTP API) 官网说明，下边来演示一下如何操作。

新建 consul-0.json 如下：

[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$cat consul-0.json
{"ID": "node-exporter","Name": "node-exporter-192.168.75.41","Tags": ["test"],"Address": "192.168.75.41","Port": 9100,"Meta": {"app": "spring-boot","team": "appgroup","project": "bigdata"},"EnableTagOverride": false,"Check": {"HTTP": "http://192.168.75.41:9100/metrics","Interval": "10s"},"Weights": {"Passing": 10,"Warning": 1}
}
说明一下：该 Json 文件为要注册的服务信息，同时往 Meta 信息中添加了 app=spring-boot，team=appgroup，project=bigdata 三组标签，目的就是为了方便告警分组使用。执行如下命令进行注册：
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$curl --request PUT --data @consul-0.json http://192.168.75.41:8500/v1/agent/service/register?replace-existing-checks=1

注册完毕，通过 Consul Web 管理页面可以查看到已注册成功，并且包含了 Meta 信息。

 然后修改 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'consul_sd_configs:- server: '192.168.75.41:8500'services: []relabel_configs:- source_labels: [__meta_consul_tags]regex: .*test.*action: keep- regex: __meta_consul_service_metadata_(.+)action: labelmap#重新加载prometheus配置
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus]$curl -X POST http://localhost:9090/-/reload

解释一下，增加的配置作用为匹配 __meta_consul_service_metadata_ 开头的标签，将捕获到的内容作为新的标签名称，匹配到标签的的值作为新标签的值，而我们刚添加的三个自定义标签，系统会自动添加 __meta_consul_service_metadata_app=spring-boot、__meta_consul_service_metadata_team=appgroup、__meta_consul_service_metadata_project=bigdata 三个标签，经过 relabel 后，Prometheus 将会新增 app=spring-boot、team=appgroup、project=bigdata 三个标签。重启 Prometheus 服务，可以看到新增了对应了三个自定义标签。

问题四，将自动发现的服务进行分类，

本质上跟上边的处理方式一致，可以添加自定义的标签方式，通过标签来区分，二可以通过服务 Tag 来进行匹配来创建不同的类型 exporter 分组。这里我以第二种为例，通过给每个服务标记不同的 Tag，然后通过 relabel_configs 来进行匹配区分。我们来更新一下原 node-exporter-192.168.75.42 服务标签，同时注册一个其他类型 exporter 的服务如下：

[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$cat consul-0.json
{"ID": "node-exporter","Name": "node-exporter-192.168.75.41","Tags": ["node-exporter"],"Address": "192.168.75.41","Port": 9100,"Meta": {"app": "spring-boot","team": "appgroup","project": "bigdata"},"EnableTagOverride": false,"Check": {"HTTP": "http://192.168.75.41:9100/metrics","Interval": "10s"},"Weights": {"Passing": 10,"Warning": 1}
}
#更新注册服务
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$curl --request PUT --data @consul-0.json http://192.168.75.41:8500/v1/agent/service/register?replace-existing-checks=1
这里说明下,最后的checks参数表示如果重复那么就覆盖更新
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$cat consul2.json
{"ID": "cadvisor-exporter-test","Name": "cadvisor-exporter-192.168.75.42","Tags": ["cadvisor-exporter"],"Address": "192.168.75.42","Port": 8080,"Meta": {"app": "docker","team": "cloudgroup","project": "docker-service"},"EnableTagOverride": false,"Check": {"HTTP": "http://192.168.75.42:8080/metrics","Interval": "10s"},"Weights": {"Passing": 10,"Warning": 1}
}[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus/test]$curl --request PUT --data @consul2.json http://192.168.75.41:8500/v1/agent/service/register?replace-existing-checks=1

 查看注册情况

最后，我们修改 prometheus.yml 配置如下：

  - job_name: 'consul_exporter'consul_sd_configs:- server: '192.168.75.41:8500'services: []relabel_configs:- source_labels: [__meta_consul_tags]regex: .*node-exporter.*action: keep- regex: __meta_consul_service_metadata_(.+)action: labelmap- job_name: 'cadvisor-exporter-test'consul_sd_configs:- server: '192.168.75.41:8500'services: []relabel_configs:- source_labels: [__meta_consul_tags]regex: .*cadvisor-exporter.*action: keep- regex: __meta_consul_service_metadata_(.+)action: labelmap
#重新加载prometheus配置
[root@node1-prome /zpf/k8s/prometheus/docker-prometheus/prometheus]$curl -X POST http://localhost:9090/-/reload

这里需要根据每种类型的 exporter 新增一个关联 job，同时 relabel_configs 中配置以 Tag 来做匹配区分。重启 Prometheus 服务，可以看到服务已经按照类型分类了，方便查看。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/585454.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Vue Tinymce富文本组件自定义带下拉框的操作按钮

Vue Tinymce富文本组件自定义带下拉框的操作按钮

想实现如下效果 首先在init方法中的props&#xff0c;toolbar属性增加一个自定义按钮 增加一个setup方法 代码 setup: function(editor) { editor.ui.registry.addSplitButton(myDateButton, {text: 日期时间,onAction: (_) > editor.insertContent(getJsMonthDay(getNowDat…
阅读更多...
算法训练第五十一天|300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组

算法训练第五十一天|300. 最长递增子序列、674. 最长连续递增序列、718. 最长重复子数组

300. 最长递增子序列&#xff1a; 题目链接 给你一个整数数组 nums &#xff0c;找到其中最长严格递增子序列的长度。 子序列 是由数组派生而来的序列&#xff0c;删除&#xff08;或不删除&#xff09;数组中的元素而不改变其余元素的顺序。例如&#xff0c;[3,6,2,7] 是数组…
阅读更多...
Spring 是如何解决循环依赖的

Spring 是如何解决循环依赖的

1.什么是循环依赖? 所谓的循环依赖是指&#xff0c;A 依赖 B&#xff0c;B 又依赖 A&#xff0c;它们之间形成了循环依赖。或者是 A 依赖 B&#xff0c;B 依赖 C&#xff0c;C 又依赖 A。它们之间的依赖关系如下&#xff1a; 2.通过手写代码演示理解Spring循环依赖 DEMO: pu…
阅读更多...
tmpfs文件系统介绍

tmpfs文件系统介绍

一、概述 tmpfs是一种基于内存的文件系统&#xff0c;它将一部分系统内存用作临时存储空间。在Linux系统中&#xff0c;tmpfs常用于挂载临时目录&#xff0c;如/run、/tmp和var等目录&#xff0c;用于存储临时文件、进程运行时数据和其他临时性数据。 tmpfs的优点&#xff1a;…
阅读更多...
【机器学习】深度学习概论（二）

【机器学习】深度学习概论（二）

五、受限玻尔兹曼机&#xff08;Restricted Boltzmann Machine&#xff0c;RBM&#xff09; 5.1 RBM介绍 示例代码&#xff1a; Python 编写了一个简单的 RBM 实现&#xff0c;并用一些假数据训练了它。然后&#xff0c;他展示了如何用 RBM 来解释用户的电影偏好&#xff0c;以…
阅读更多...
使用rust读取usb设备ACR122U的nfc卡片id

使用rust读取usb设备ACR122U的nfc卡片id

rust及其高效和安全著称&#xff0c;而且支持跨平台&#xff0c;所以就想使用这个rust开发一个桌面端程序&#xff0c;来读取nfc设备的nfc卡片的id信息&#xff0c;下面就做一个最简单的入门教程吧&#xff0c;也是我写的第三个rust应用。 当你电脑上安装好了rust环境之后&…
阅读更多...
MySql篇——MySql使用常见问题及解决办法

MySql篇——MySql使用常见问题及解决办法

这里汇总MySql使用常见问题及解决办法&#xff0c;会持续更新。 问题1.ERROR 1819 (HY000): Your password does not satisfy the current policy requirements。 含义&#xff1a;你设置的密码不符合当前的密码等级。 可使用 SHOW VARIABLES LIKE validate_password%; 查看…
阅读更多...
Spring-4-代理

Spring-4-代理

前面提到过&#xff0c;在Spring中有两种类型的代理&#xff1a;使用JDK Proxy类创建的JDK代理以及使用CGLIB Enhancer类创建的基于CGLIB的代理。 你可能想知道这两种代理之间有什么区别&#xff0c;以及为什么 Spring需要两种代理类型。 在本节中&#xff0c;将详细研究代理…
阅读更多...
count distinct在spark中的运行机制

count distinct在spark中的运行机制

文章目录 预备 数据和执行语句Expand第一次HashAggregateShuffle and Second HashAggregate最后结果性能原文 预备 数据和执行语句 SELECT COUNT(*), SUM(items), COUNT(DISTINCT product), COUNT(DISTINCT category) FROM orders;假设源数据分布在两个1核的结点上&#xff0…
阅读更多...
速盾cdn：ddos防护手段

速盾cdn：ddos防护手段

速盾CDN采用多种手段来进行DDoS防护&#xff0c;以确保网络和网站的正常运行。以下是速盾CDN可能采用的一些主要DDoS防护手段&#xff1a; 实时监测和分析&#xff1a; 速盾CDN实时监测网络流量&#xff0c;通过分析流量模式来检测异常行为&#xff0c;以迅速发现潜在的DDoS攻击…
阅读更多...
ElasticSearch 聚合统计

ElasticSearch 聚合统计

聚合统计 度量聚合&#xff1a;求字段的平均值&#xff0c;最小值&#xff0c;最大值&#xff0c;总和等 桶聚合&#xff1a;将文档分成不同的桶&#xff0c;桶的划分可以根据字段的值&#xff0c;范围&#xff0c;日期间隔 管道聚合&#xff1a;在桶聚合的结果上执行进一步计…
阅读更多...
【Java 进阶篇】Redis 缓存优化：提升应用性能的不二选择

【Java 进阶篇】Redis 缓存优化：提升应用性能的不二选择

在现代的软件开发中&#xff0c;性能一直是开发者们追求的目标之一。对于数据库访问频繁、数据读取较慢的场景&#xff0c;使用缓存是提升性能的有效手段之一。而 Redis 作为一款高性能的内存数据库&#xff0c;被广泛用作缓存工具。本文将围绕 Redis 缓存优化进行详解&#xf…
阅读更多...
swing快速入门（三十二）消息对话框

swing快速入门（三十二）消息对话框

注释很详细&#xff0c;直接上代码 上一篇 新增内容 1.自定义对话框前列图标 2.消息对话框的若干种形式 package swing21_30;import javax.swing.*; import java.awt.*; import java.awt.event.ActionEvent;public class swing_test_30 {// 定义一个JFrameJFrame jFrame n…
阅读更多...
Modbus，DNP3的理解

Modbus，DNP3的理解

Modbus&#xff0c;DNP3的理解 目录概述需求&#xff1a; 设计思路实现思路分析1.概念理解3.区别 参考资料和推荐阅读 Survive by day and develop by night. talk for import biz , show your perfect code,full busy&#xff0c;skip hardness,make a better result,wait for…
阅读更多...
B1007 素数对猜想

B1007 素数对猜想

description 让我们定义 dn 为&#xff1a;dn pn1 – pn&#xff0c;其中 pi 是第i个素数。显然有 d11 且对于n>1有 dn 是偶数。“素数对猜想”认为“存在无穷多对相邻且差为2的素数”。 现给定任意正整数N (< 105)&#xff0c;请计算不超过N的满足猜想的素数对的个数。…
阅读更多...
【远程开发】穿越跳板机和CLion远程开发——全面配置流程

【远程开发】穿越跳板机和CLion远程开发——全面配置流程

文章目录 穿越跳板机配置 ProxyJump 方案Cygwin上的配置 建立 SSH Tunneling 方案 代码映射目录映射方案配置Rsync加速 远程服务器方案(todo) 远程Debug tips&#xff1a;本文讲了两种穿越跳板机的方案(推荐ProxyJump方案)&#xff0c;和两种代码映射的方案。实际任选一对搭配即…
阅读更多...
python脚本监控日志文件并将匹配行内容发送给钉钉

python脚本监控日志文件并将匹配行内容发送给钉钉

筛选日志文件内最近一个小时内的日志并将匹配项及后三行编辑成内容发送给钉钉 import time import os import requests import re from datetime import datetime, timedelta# 监控的日志文件根路径 log_root_path /data/logs/# 钉钉机器人 Webhook URL dingding_webhook ht…
阅读更多...
【基础篇】七、线程上下文类加载器打破双亲委派机制

【基础篇】七、线程上下文类加载器打破双亲委派机制

文章目录 1、SPI机制2、JDBC案例之SPI机制3、打破双亲委派机制&#xff1a;线程上下文类加载器4、打破双亲委派机制&#xff1a;osgi模块化5、JDK9之后的类加载器6、小总结 1、SPI机制 SPI&#xff0c;Service Provider Interface&#xff0c;是JDK内置的一种服务提供发现机制…
阅读更多...
C语言通过指针访问数组元素介绍

C语言通过指针访问数组元素介绍

介绍 在编程中我们经常会遇到遍历数组&#xff0c;或者取数组中某一位置的值&#xff0c;采取数组索引的方式也是可以的&#xff0c;今天我介绍一个通过指针访问数组数据。 废话不多说&#xff0c;先上代码。 #include <stdio.h>int main() {// 定义一个整型数组并初始…
阅读更多...
Evidential Deep Learning to Quantify Classification Uncertainty

Evidential Deep Learning to Quantify Classification Uncertainty

本片文章发表于NeurIPS 2018。 文章链接&#xff1a;https://arxiv.org/abs/1806.01768 一、概述 近年来&#xff0c;神经网络在不同领域取得了革命性的进步&#xff0c;尤其是在dropout、normalization以及skip connection等方法被提出之后&#xff0c;撼动了整个机器学习领…
阅读更多...
最新文章

Copyright @ 2022~2023