监控系统Prometheus--入门

文章目录

  • Prometheus特点
    • 易于管理
    • 监控服务的内部运行状态
    • 强大的数据模型
    • 强大的查询语言PromQL
    • 高效
    • 可扩展
    • 易于集成
    • 可视化
    • 开放性
  • Prometheus架构
    • Prometheus 生态圈组件
    • 架构理解
  • Prometheus的安装
    • 安装Prometheus Server
      • 上传安装包
      • 解压安装包
      • 修改配置文件 prometheus.yml
    • 安装Pushgateway
      • 上传安装包
      • 解压安装包
    • 安装Alertmanager(选择性安装)
      • 上传安装包
      • 解压安装包
    • 安装Node Exporter(选择性安装)
      • 上传安装包
      • 解压安装包
      • 节点分发
      • 设置为开机自启
    • 启动 Prometheus Server 、 Pushgateway 和 Alertmanager
      • Prometheus Server 目录下执行启动命令
      • Pushgateway 目录下执行启动命令
      • 在 Alertmanager 目录下启动
      • 打开web 页面查看

Prometheus 安装包下载
链接:https://pan.baidu.com/s/1a3cUS3VF8NQyHF6xO7LKBQ?pwd=hxy2
提取码:hxy2

Prometheus 受启发于Google的Brogmon监控系统(相似的Kubernetes是从Google的Brog系统演变而来),从2012年开始由前Google工程师在Soundcloud以开源软件的形式进行研发,并且于2015年早期对外发布早期版本。

2016 年5月继Kubernetes之后成为第二个正式加入CNCF基金会的项目,同年6月正式发布1.0版本。2017年底发布了基于全新存储层的2.0版本,能更好地与容器平台、云平台配合。

Prometheus 作为新一代的云原生监控系统,目前已经有超过650+位贡献者参与到Prometheus 的研发工作上,并且超过120+项的第三方集成。

Prometheus特点

Prometheus 是一个开源的完整监控解决方案,其对传统监控系统的测试和告警模型进行了彻底的颠覆,形成了基于中央化的规则计算、统一分析和告警的新模型。 相比于传统监控系统,Prometheus具有以下优点:

易于管理

Prometheus核心部分只有一个单独的二进制文件,不存在任何的第三方依赖(数据库,缓存等等)。唯一需要的就是本地磁盘,因此不会有潜在级联故障的风险。

Prometheus 基于 Pull 模型的架构方式,可以在任何地方(本地电脑,开发环境,测试环境)搭建我们的监控系统。

对于一些复杂的情况,还可以使用Prometheus 服务发现(Service Discovery) 的能力动态管理监控目标。

监控服务的内部运行状态

Pometheus 鼓励用户监控服务的内部状态,基于Prometheus丰富的Client库,用户可以轻松的在应用程序中添加对Prometheus的支持,从而让用户可以获取服务和应用内部真正的运行状态。

强大的数据模型

所有采集的监控数据均以指标(metric)的形式保存在内置的时间序列数据库当中(TSDB)。所有的样本除了基本的指标名称以外,还包含一组用于描述该样本特征的标签。

强大的查询语言PromQL

Prometheus 内置了一个强大的数据查询语言PromQL。 通过PromQL可以实现对监控数据的查询、聚合。同时PromQL也被应用于数据可视化(如Grafana)以及告警当中。

  • 通过PromQL可以轻松回答类似于以下问题:
    • 在过去一段时间中95%应用延迟时间的分布范围?
    • 预测在4小时后,磁盘空间占用大致会是什么情况?
    • CPU占用率前5位的服务有哪些?(过滤)

高效

对于监控系统而言,大量的监控任务必然导致有大量的数据产生。而Prometheus可以高效地处理这些数据,对于单一Prometheus Server实例而言它可以处理:

  • 数以百万的监控指标
  • 秒处理数十万的数据点

可扩展

可以在每个数据中心、每个团队运行独立的Prometheus Sevrer。Prometheus对于联邦集群的支持,可以让多个Prometheus实例产生一个逻辑集群,当单实例Prometheus Server 处理的任务量过大时,通过使用功能分区(sharding)+联邦集群(federation)可以对
其进行扩展。

易于集成

使用Prometheus可以快速搭建监控服务,并且可以非常方便地在应用程序中进行集成。目前支持:Java,JMX,Python,Go,Ruby,.Net,Node.js等等语言的客户端SDK,基于这些SDK可以快速让应用程序纳入到 Prometheus的监控当中,或者开发自己的监控数据收集程序。

同时这些客户端收集的监控数据,不仅仅支持 Prometheus,还能支持Graphite这些
其他的监控工具。

同时Prometheus还支持与其他的监控系统进行集成:Graphite, Statsd, Collected, Scollector, muini, Nagios 等。 Prometheus社区还提供了大量第三方实现的监控数据采集支持:JMX,CloudWatch,EC2,MySQL,PostgresSQL,Haskell,Bash,SNMP,Consul,Haproxy,Mesos,Bind,CouchDB,Django,Memcached,RabbitMQ,Redis,RethinkDB,Rsyslog 等。

可视化

Prometheus Server 中自带的Prometheus UI,可以方便地直接对数据进行查询,并且支持直接以图形化的形式展示数据。同时 Prometheus 还提供了一个独立的基于Ruby On Rails 的 Dashboard解决方案 Promdash。

最新的Grafana可视化工具也已经提供了完整的Prometheus支持,基于Grafana可以创建更加精美的监控图标。

基于Prometheus提供的API还可以实现自己的监控可视化UI。

开放性

通常来说当我们需要监控一个应用程序时,一般需要该应用程序提供对相应监控系统协议的支持,因此应用程序会与所选择的监控系统进行绑定。为了减少这种绑定所带来的限制,对于决策者而言要么你就直接在应用中集成该监控系统的支持,要么就在外部创建单独的服务来适配不同的监控系统。

而对于Prometheus来说,使用Prometheus的client library的输出格式不止支持Prometheus 的格式化数据,也可以输出支持其它监控系统的格式化数据,比如Graphite。 因此你甚至可以在不使用Prometheus的情况下,采用Prometheus的client library来让你的应用程序支持监控数据采集。

Prometheus架构

在这里插入图片描述

Prometheus 生态圈组件

  • Prometheus Server:主服务器,负责收集和存储时间序列数据
  • client libraies:应用程序代码插桩,将监控指标嵌入到被监控应用程序中
  • Pushgateway:推送网关,为支持short-lived作业提供一个推送网关
  • exporter:专门为一些应用开发的数据摄取组件—exporter,例如:HAProxy、StatsD、
    Graphite 等等。
  • Alertmanager:专门用于处理alert的组件

架构理解

Prometheus 既然设计为一个维度存储模型,可以把它理解为一个OLAP系统。

  • 存储计算层

    • Prometheus Server,里面包含了存储引擎和计算引擎。
    • Retrieval组件为取数组件,它会主动从Pushgateway或者Exporter拉取指标数据。
    • Service discovery,可以动态发现要监控的目标。
    • TSDB,数据核心存储与查询。
    • HTTP server,对外提供HTTP服务。
  • 采集层
    采集层分为两类,一类是生命周期较短的作业,还有一类是生命周期较长的作业。

    • 短作业:直接通过API,在退出时间指标推送给Pushgateway。
    • 长作业:Retrieval组件直接从Job或者Exporter拉取数据。
  • 应用层
    应用层主要分为两种,一种是AlertManager,另一种是数据可视化。

    • AlertManager
      对接Pagerduty,是一套付费的监控报警系统。可实现短信报警、5分钟无人ack打
      电话通知、仍然无人ack,通知值班人员Manager…
      Emial,发送邮件
      … …
    • 数据可视化
      Prometheus build-in WebUI
      Grafana
      其他基于API开发的客户端

Prometheus的安装

官网:https://prometheus.io/

安装Prometheus Server

Prometheus 基于Golang编写,编译后的软件包,不依赖于任何的第三方依赖。只需要下载对应平台的二进制包,解压并且添加基本的配置即可正常启动Prometheus Server。

上传安装包

上传prometheus-2.29.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf prometheus-2.29.1.linux-amd64.tar.gz -C /opt/module

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv prometheus-2.29.1.linux-amd64 prometheus-2.29.1

修改配置文件 prometheus.yml

[yudan@hadoop102 prometheus-2.29.1]$ vim prometheus.yml

在scrape_configs 配置项下添加配置:

scrape_configs: - job_name: "prometheus"static_configs: - targets: ["hadoop102:9090"] # 添加 PushGateway 监控配置 - job_name: 'pushgateway' static_configs: - targets: ['hadoop102:9091'] labels:instance: pushgateway # 添加 Node Exporter 监控配置 - job_name: 'node exporter' static_configs: - targets: ['hadoop102:9100', 'hadoop103:9100', 'hadoop104:9100']

配置说明:

  • global 配置块:控制Prometheus服务器的全局配置
    • scrape_interval:配置拉取数据的时间间隔,默认为1分钟。
    • evaluation_interval:规则验证(生成alert)的时间间隔,默认为1分钟。
  • rule_files 配置块:规则配置文件
  • scrape_configs 配置块:配置采集目标相关, prometheus监视的目标。Prometheus
    自身的运行信息可以通过HTTP访问,所以Prometheus可以监控自己的运行数据。
    • job_name:监控作业的名称
    • static_configs:表示静态目标配置,就是固定从某个target拉取数据
    • targets:指定监控的目标,其实就是从哪儿拉取数据。Prometheus 会从http://hadoop202:9090/metrics 上拉取数据。
      Prometheus 是可以在运行时自动加载配置的。启动时需要添加:–web.enable-lifecycle

安装Pushgateway

Prometheus 在正常情况下是采用拉模式从产生metric的作业或者exporter(比如专门监控主机的NodeExporter)拉取监控数据。但是我们要监控的是Flink on YARN作业,想要让Prometheus自动发现作业的提交、结束以及自动拉取数据显然是比较困难的。PushGateway 就是一个中转组件,通过配置Flink on YARN作业将metric推到PushGateway,Prometheus 再从PushGateway拉取就可以了。

上传安装包

上传pushgateway-1.4.1.linux-amd64.tar.gz 到虚拟机的/opt/software 目录\

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf pushgateway-1.4.1.linux-amd64.tar.gz -C /opt/module

修改目录名

[yudan@hadoop202 ~] cd /opt/module 
[yudan@hadoop202 module] mv pushgateway-1.4.1.linux-amd64 pushgateway-1.4.1

安装Alertmanager(选择性安装)

上传安装包

上传alertmanager-0.23.0.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudana@hadoop102 software]$ tar -zxvf alertmanager-0.23.0.linux-amd64.tar.gz -C /opt/module 

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv alertmanager-0.23.0.linux-amd64 alertmanager-0.23.0

安装Node Exporter(选择性安装)

在Prometheus 的架构设计中,Prometheus Server主要负责数据的收集,存储并且对外提供数据查询支持,而实际的监控样本数据的收集则是由Exporter完成。因此为了能够监控到某些东西,如主机的CPU使用率,我们需要使用到Exporter。Prometheus周期性的从Exporter暴露的HTTP服务地址(通常是/metrics)拉取监控样本数据。

Exporter 可以是一个相对开放的概念,其可以是一个独立运行的程序独立于监控目标以外,也可以是直接内置在监控目标中。只要能够向Prometheus提供标准格式的监控样本数据即可。

为了能够采集到主机的运行指标如CPU, 内存,磁盘等信息。我们可以使用Node Exporter。Node Exporter 同样采用 Golang编写,并且不存在任何的第三方依赖,只需要下载,解压即可运行。可以从https://prometheus.io/download/ 获取最新的node exporter 版本的二进制包。

上传安装包

上传node_exporter-1.2.2.linux-amd64.tar.gz 到虚拟机的/opt/software 目录

解压安装包

解压到/opt/module目录下

[yudan@hadoop102 software]$ tar -zxvf node_exporter-1.2.2.linux-amd64.tar.gz -C /opt/module 

修改目录名

[yudan@hadoop102 ~] cd /opt/module 
[yudan@hadoop102 module] mv node_exporter-1.2.2.linux-amd64 node_exporter-1.2.2
  • 启动并通过页面查看是否成功
    • 执行./node_exporter
    • 浏览器输入:http://hadoop202:9100/metrics,可以看到当前node exporter 获取到的当前主机的所有监控数据。

节点分发

将解压后的目录分发到要监控的节点

[yudan@hadoop102 module] xsync node_exporter-1.2.2 

修改Prometheus配置文件prometheus.yml,在2.1.3的时候已经添加过配置

- targets: ['hadoop102:9100', 'hadoop103:9100', 'hadoop104:9100']

设置为开机自启

创建service文件

[yudan@hadoop102 module] sudo vim /usr/lib/systemd/system/node_exporter.service[Unit] 
Description=node_export 
Documentation=https://github.com/prometheus/node_exporter 
After=network.target [Service] 
Type=simple 
User=yudan
ExecStart= /opt/module/node_exporter-1.2.2/node_exporter 
Restart=on-failure [Install] 
WantedBy=multi-user.target

分发文件

[yudan@hadoop102 module] sudo /home/atguigu/bin/xsync /usr/lib/systemd/system/node_exporter.service

设为开机自启动(所有机器都执行)

[yudan@hadoop102 module] sudo systemctl enable node_exporter.service

启动服务(所有机器都执行)

[yudan@hadoop102 module] sudo systemctl start node_exporter.service

启动 Prometheus Server 、 Pushgateway 和 Alertmanager

Prometheus Server 目录下执行启动命令

[yudan@hadoop102 prometheus-2.29.1]$ nohup ./prometheus --config.file=prometheus.yml > ./prometheus.log 2>&1 & 

Pushgateway 目录下执行启动命令

[yudan@hadoop102 pushgateway-1.4.1]$ nohup ./pushgateway --web.listen-address :9091 > ./pushgateway.log 2>&1 &

在 Alertmanager 目录下启动

[yudan@hadoop102 alertmanager-0.23.0]$ nohup ./alertmanager --config.file=alertmanager.yml > ./alertmanager.log 2>&1 &

打开web 页面查看

  • 浏览器输入:http://hadoop202:9090/
  • 点击 Status,选中Targets:

在这里插入图片描述

  • prometheus、pushgateway和node exporter都是up状态,表示安装启动成功:

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/766996.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Halcon 3D 平面拟合(区域采样、Z值过滤、平面拟合、平面移动)

Halcon 3D 平面拟合(区域采样、Z值过滤、平面拟合、平面移动) 链接:https://pan.baidu.com/s/1UfFyZ6y-EFq9jy0T_DTJGA 提取码:ewdi * 1.读取图片 ****************

ThreadLocal的主要特点:

ThreadLocal的主要特点: ThreadLocal是Java中的一个类,它提供了线程局部变量的实现机制。ThreadLocal的实例可以为每个使用该变量的线程提供单独的变量副本,每个线程可以独立地改变自己的副本,而不会影响其他线程的副本。这种机制…

面试问答:能聊一聊MySQL聚簇索引和非聚簇索引吗?

文章目录 🐒个人主页:信计2102罗铠威🏅JavaEE系列专栏📖前言:🎀啥叫聚簇索引和非聚簇索引?🐕如果按特点来说:🐕如果按存储引擎来说: &#x1f415…

【CSS】实现文字描边

通过 -webkit-text-stroke 即可实现文字描边&#xff0c;这个复合属性接收两个参数&#xff0c;分别为描边宽度&#xff0c;以及描边颜色。 需要注意的是&#xff0c;-webkit-text-stroke是一个非标准属性&#xff0c;兼容性会出现问题。 <!DOCTYPE html> <html lang…

安卓Java面试题 196- 200

196. 简述Android Window的更新过程 ?说到Window的更新过程,个人认为其实也就是Window里面View的更新过程了,和创建/删除过程一样,最后照样也是到了WindowManagerGlobal里 面执行具体的操作了,具体来讲的话就是执行updateViewLayout方法了, 这个方法里面做了以下几件事:…

What is case-based reasoning (CBR)? 基于案例的推理

这个方向其实挺小众的&#xff0c;然后其实也很直觉&#xff0c;所以你可能其实一直在用这个技术&#xff0c;只不过你不知道这个技术有一个专业的名字《基于案例的推理》而已。 有人说&#xff0c;不知道名字有啥的&#xff0c;反正大家都会用&#xff0c;不需要学它叫什么名…

数组三(冒泡排序、二分查找)

目录 冒泡排序算法 冒泡排序的基础算法 冒泡排序的优化算法 二分法查找 冒泡排序算法 冒泡排序是最常用的排序算法&#xff0c;在笔试中也非常常见&#xff0c;能手写出冒泡排序算法可以说是 基本的素养。 冒泡排序的基础算法 冒泡排序算法重复地走访过要排序的数列&#…

eUICC鉴权的一般步骤

eUICC&#xff08;嵌入式通用集成电路卡&#xff09;的鉴权过程涉及多个步骤&#xff0c;主要目的是确保eUICC的安全操作和用户的身份验证。以下是eUICC鉴权过程的一般步骤&#xff1a; 1. **初始化**&#xff1a;当用户启动设备或尝试连接到移动网络时&#xff0c;eUICC会开始…

2024-03-22 问AI: 介绍一下深度学习中的 sigmoid函数

文心一言 Sigmoid函数是深度学习中常用的一种激活函数&#xff0c;主要用于将神经元的输出值压缩到0和1之间。这种特性使得sigmoid函数在二分类问题中特别有用&#xff0c;因为输出值可以被解释为属于某个类别的概率。 sigmoid函数的数学表达式为&#xff1a; σ(x) 1 / (1…

Pytorch CUDA Reflect Padding 算子实现详解

CUDA 简介 CUDA&#xff08;Compute Unified Device Architecture&#xff09;是由NVIDIA开发的一种并行计算平台和应用编程接口&#xff08;API&#xff09;&#xff0c;允许软件开发者和软件工程师使用NVIDIA的图形处理单元&#xff08;GPU&#xff09;进行通用计算。自2007…

为什么守护网络安全需要用高防IP

在数字化浪潮中&#xff0c;网络安全问题日益凸显&#xff0c;网络攻击事件频发&#xff0c;给企业的业务发展带来了严重威胁。面对这一挑战&#xff0c;高防IP应运而生&#xff0c;以其强大的防护能力和稳定的性能&#xff0c;成为企业网络安全的重要守护神。 高防IP&#xf…

NodeJS 集群模块: 为App创建集群实例

NodeJS 集群模块: 为App创建集群实例 目录 NodeJS 集群模块: 为App创建集群实例Node.js 集群介绍:终极扩展策略使用集群模块开始扩展 Node.js扩展 Node.js 的两种集群策略使用集群受益的 Node.js 应用程序示例没有集群的 Node.js:不可伸缩的原则集群操作:一个扩展的 Node.js…

Redis 配置与优化

目录 一、Redis 介绍 1.1、关系数据库与非关系型数据库 1&#xff09;关系型数据库 2&#xff09;非关系型数据库 3&#xff09;非关系型数据库产生背景 1.2、Redis 基础 1&#xff09;Redis 简介 2&#xff09;Redis 安装部署 3&#xff09;配置参数 1.3、Redi…

【聊一聊】三种工厂模式的创建

三种工厂模式的创建 今天终于星期五了,最近由于碰上一个需求,中间涉及Oracle改国产数据库的改造,好家伙,差点没把我忙坏了 不过今天终于有空啦!~哈哈哈 这篇本应该是上周就结束的,但是拖到今天,我们就今天进行结束 (还有一件快乐的事情,就是我遇见自己喜欢的人啦!嘻嘻) 好啦!~话…

【AI】发现一款运行成本较低的SelfHosting语言模型

【背景】 作为一个想构建局域网AI服务的屌丝,一直苦恼的自然是有限的资源下有没有对Spec要求低一点的SelfHosting的AI服务框架了。今天给大家介绍这款听起来有点希望,但是我也还没试验过,感兴趣的可以去尝试看看。 【介绍】 大模型生成式AI与别的技术不同,由于资源要求高…

Linux第83步_采用“Linux内核定时器”点灯以及相关API函数

“Linux内核定时器”是采用“系统时钟”来实现的。它不是周期性运行的&#xff0c;一旦发生超时就会自动关闭。如果想要实现周期性定时&#xff0c;那么就需要在定时处理函数中重新开启定时器。 Limux内核使用全局变量jiffies来记录“系统从启动以来的系统节拍数”&#xff0c…

路由器的端口映射能实现什么?

路由器的端口映射是一项重要的网络配置功能&#xff0c;它可以帮助实现局域网内外的设备之间的通信。通过端口映射&#xff0c;我们可以在公网上访问局域网内的设备&#xff0c;方便的进行远程访问、共享文件和资源等操作。 什么是端口映射&#xff1f; 在介绍端口映射之前&am…

C语言 字符串数组的输入输出

代码 #include <stdio.h>void main() {char arr[4];scanf("%s",arr);printf("%s\n",arr);for(int i 0 ; arr[i] ! \0 ; i){printf("%c\n",arr[i]);}char temp;for(int i 0;i < 3;i){for(int j 0;j < 3-i;j){if(arr[j]>arr[j…

近年C++面试题目

近年来&#xff0c;C面试题目主要涵盖了从基础知识到高级特性的各个方面。以下是一些常见的C面试题目&#xff1a; 1.基础知识&#xff1a; 解释C中的指针和引用&#xff0c;以及它们之间的区别。描述C中的内存管理&#xff0c;包括堆和栈的区别。阐述C中的面向对象编程概念&am…

Linux服务器在宝塔已经安装了node的前提下手动运行node项目

#一般情况&#xff0c;宝塔都可以正常启动node项目&#xff0c;正确安装依赖&#xff0c;但如果它出错了呢&#xff0c;死活安装不上&#xff0c; 这种情况可能就打算直接用ssh来安装了&#xff0c;但如果直接在ssh终端上输入npm install,会发现提示命令找不到&#xff0c;虽然…