的使用go_使用 Go 开发 Prometheus Exporter

f96d21f9004b1dd32d7c981df444b754.pngExporter 是 Prometheus 监控的核心,如果你遇到一些应用不存在相应的 Exporter,那么我们可以自己去编写 Exporter。下面我们简单介绍如何使用 Golang 来快速编写一个 Exporter。

1. 安装 GO 和依赖包

按照 https://golang.org/doc/install 上的步骤进行安装配置 GO 环境,创建一个名为 my_first_exporter 的文件夹。

$ go mod init my_first_exporter 
$ go get github.com/prometheus/client_golang 
$ go get github.com/joho/godotenv
--> creates go.mod file
--> Installs dependency into the go.mod file

2. 创建入口点和导入依赖包

package main

import (
 "github.com/joho/godotenv"
 "github.com/prometheus/client_golang/prometheus"
 "github.com/prometheus/client_golang/prometheus/promhttp"
)

3. 创建 main() 函数

func main()

4. 添加 prometheus metrics 端点,并在某个服务端口上监听

func main() {
   http.Handle("/metrics", promhttp.Handler())
   log.Fatal(http.ListenAndServe(":9101", nil))
}

5. 使用 curl 请求外部服务接口

比如我们这里监控的应用程序是 MirthConnect,所以我需要进行两个 API 接口调用:

  • 获取 channel 统计数据
  • 获取 channel id 和名称映射
curl -k --location --request GET 'https://apihost/api/channels/statistics' \
--user admin:admin

curl -k --location --request GET 'https://apihost/api/channels/idsAndNames' \
--user admin:admin

6. 将 curl 调用转换为 go http 调用,并解析结果

如果你是 Go 新手,这应该是最困难的一步。对于我这里的例子,端点返回的是 XML 格式的数据,所以我必须用 "encoding/xml" 包来反序列化 XML。转换成功后意味着我的 GO 程序可以执行和 curl 命令一样的 API 调用。

7. 声明 Prometheus metrics

在 Prometheus 中,每个 metric 指标都由以下几个部分组成:metric name/metric label values/metric help text/metric type/measurement ,例如:

Example:
# HELP promhttp_metric_handler_requests_total Total number of scrapes by HTTP status code.
# TYPE promhttp_metric_handler_requests_total counter
promhttp_metric_handler_requests_total{code=”200"} 1.829159e+06
promhttp_metric_handler_requests_total{code=”500"} 0
promhttp_metric_handler_requests_total{code=”503"} 0

对于应用 scrapers,我们将定义 Prometheus metrics 描述信息,其中包括 metric 名称、metric label 标签以及 metric 帮助信息。

messagesReceived = prometheus.NewDesc(
 prometheus.BuildFQName(namespace, "", "messages_received_total"),
 "How many messages have been received (per channel).",
 []string{"channel"}, nil,
)

8. 定义一个结构体实现 Prometheus 的 Collector 接口

Prometheus 的 client 库提供了实现自定义 Exportor 的接口,Collector 接口定义了两个方法 Describe 和 Collect,实现这两个方法就可以暴露自定义的数据:

  • Describe(chan
  • Collect(chan

如下所示:

type Exporter struct {
 mirthEndpoint, mirthUsername, mirthPassword string
}

func NewExporter(mirthEndpoint string, mirthUsername string, mirthPassword string) *Exporter {
 return &Exporter{
  mirthEndpoint: mirthEndpoint,
  mirthUsername: mirthUsername,
  mirthPassword: mirthPassword,
 }
}
func (e *Exporter) Describe(ch chan {
}func (e *Exporter) Collect(ch chan {
}

9. 在 Describe 函数中,把第7步的 metric 描述信息发送给它

func (e *Exporter) Describe(ch chan {
 ch  ch  ch  ch  ch  ch }

10. 将接口调用逻辑从第6步移到 Collect 函数中

直接将采集的数据发送到 prometheus.Metric 通道中。

func (e *Exporter) Collect(ch chan {
 channelIdNameMap, err := e.LoadChannelIdNameMap()if err != nil {
  ch    up, prometheus.GaugeValue, 0,
  )
  log.Println(err)return
 }
 ch   up, prometheus.GaugeValue, 1,
 )
 e.HitMirthRestApisAndUpdateMetrics(channelIdNameMap, ch)
}

当执行 api 调用时,确保使用prometheus.MustNewConstMetric(prometheus.Desc, metric type, measurement)发送测量值,如果你需要传入额外的标签,可以像下面这样在参数列表的后面加入:

channelError, _ := strconv.ParseFloat(channelStatsList.Channels[i].Error, 64)
ch  messagesErrored, prometheus.GaugeValue, channelError, channelName,
)

11. 在 main 函数中声明 exporter

exporter := NewExporter(mirthEndpoint, mirthUsername, mirthPassword)
prometheus.MustRegister(exporter)

到这里其实这个 Exporter 就可以使用了,每次访问 metrics 路由的时候,它会执行 api 调用,并以 Prometheus Text 文本格式返回数据。下面的步骤主要是方便部署了。

12. 将硬编码的 api 路径放到 flag 中

前面我们硬编码了好多参数,比如应用程序的网址、metrics 路由地址以及 exporter 端口,我们可以通过从命令行参数中来解析这些值使程序更加灵活。

var (
listenAddress = flag.String("web.listen-address", ":9141",
 "Address to listen on for telemetry")
metricsPath = flag.String("web.telemetry-path", "/metrics",
 "Path under which to expose metrics")
)
func main() {
   flag.Parse()
   ...
   http.Handle(*metricsPath, promhttp.Handler())
   log.Fatal(http.ListenAndServe(*listenAddress, nil))
}

13. 将凭证放入环境变量

如果应用端点改变了或者登录凭证改变了怎么办?我们可以从环境变量中来加载这些数据,在这个例子中,我们使用 godotenv 这个包来帮助将变量值存储在本地的一个目录中:

import (
  "os"
)
func main() {
 err := godotenv.Load()
 if err != nil {
  log.Println("Error loading .env file, assume env variables are set.")
 }
 mirthEndpoint := os.Getenv("MIRTH_ENDPOINT")
 mirthUsername := os.Getenv("MIRTH_USERNAME")
 mirthPassword := os.Getenv("MIRTH_PASSWORD")
}

整个 Exporter 完整的代码如下所示:

package main

import (
 "crypto/tls"
 "encoding/xml"
 "flag"
 "io/ioutil"
 "log"
 "net/http"
 "os"
 "strconv"

 "github.com/joho/godotenv"
 "github.com/prometheus/client_golang/prometheus"
 "github.com/prometheus/client_golang/prometheus/promhttp"
)

/*101af57f-f26c-40d3-86a3-309e74b93512Send-Email-Notification
*/
type ChannelIdNameMap struct {
 XMLName xml.Name       `xml:"map"`
 Entries []ChannelEntry `xml:"entry"`
}
type ChannelEntry struct {
 XMLName xml.Name `xml:"entry"`
 Values  []string `xml:"string"`
}

/*c5e6a736-0e88-46a7-bf32-5b4908c4d859101af57f-f26c-40d3-86a3-309e74b9351200000
*/
type ChannelStatsList struct {
 XMLName  xml.Name       `xml:"list"`
 Channels []ChannelStats `xml:"channelStatistics"`
}
type ChannelStats struct {
 XMLName   xml.Name `xml:"channelStatistics"`
 ServerId  string   `xml:"serverId"`
 ChannelId string   `xml:"channelId"`
 Received  string   `xml:"received"`
 Sent      string   `xml:"sent"`
 Error     string   `xml:"error"`
 Filtered  string   `xml:"filtered"`
 Queued    string   `xml:"queued"`
}

const namespace = "mirth"
const channelIdNameApi = "/api/channels/idsAndNames"
const channelStatsApi = "/api/channels/statistics"

var (
 tr = &http.Transport{
  TLSClientConfig: &tls.Config{InsecureSkipVerify: true},
 }
 client = &http.Client{Transport: tr}

 listenAddress = flag.String("web.listen-address", ":9141",
  "Address to listen on for telemetry")
 metricsPath = flag.String("web.telemetry-path", "/metrics",
  "Path under which to expose metrics")

 // Metrics
 up = prometheus.NewDesc(
  prometheus.BuildFQName(namespace, "", "up"),
  "Was the last Mirth query successful.",
  nil, nil,
 )
 messagesReceived = prometheus.NewDesc(
  prometheus.BuildFQName(namespace, "", "messages_received_total"),
  "How many messages have been received (per channel).",
  []string{"channel"}, nil,
 )
 messagesFiltered = prometheus.NewDesc(
  prometheus.BuildFQName(namespace, "", "messages_filtered_total"),
  "How many messages have been filtered (per channel).",
  []string{"channel"}, nil,
 )
 messagesQueued = prometheus.NewDesc(
  prometheus.BuildFQName(namespace, "", "messages_queued"),
  "How many messages are currently queued (per channel).",
  []string{"channel"}, nil,
 )
 messagesSent = prometheus.NewDesc(
  prometheus.BuildFQName(namespace, "", "messages_sent_total"),
  "How many messages have been sent (per channel).",
  []string{"channel"}, nil,
 )
 messagesErrored = prometheus.NewDesc(
  prometheus.BuildFQName(namespace, "", "messages_errored_total"),
  "How many messages have errored (per channel).",
  []string{"channel"}, nil,
 )
)

type Exporter struct {
 mirthEndpoint, mirthUsername, mirthPassword string
}

func NewExporter(mirthEndpoint string, mirthUsername string, mirthPassword string) *Exporter {
 return &Exporter{
  mirthEndpoint: mirthEndpoint,
  mirthUsername: mirthUsername,
  mirthPassword: mirthPassword,
 }
}

func (e *Exporter) Describe(ch chan {
 ch  ch  ch  ch  ch  ch }func (e *Exporter) Collect(ch chan {
 channelIdNameMap, err := e.LoadChannelIdNameMap()if err != nil {
  ch    up, prometheus.GaugeValue, 0,
  )
  log.Println(err)return
 }
 ch   up, prometheus.GaugeValue, 1,
 )
 e.HitMirthRestApisAndUpdateMetrics(channelIdNameMap, ch)
}func (e *Exporter) LoadChannelIdNameMap() (map[string]string, error) {// Create the map of channel id to names
 channelIdNameMap := make(map[string]string)
 req, err := http.NewRequest("GET", e.mirthEndpoint+channelIdNameApi, nil)if err != nil {return nil, err
 }// This one line implements the authentication required for the task.
 req.SetBasicAuth(e.mirthUsername, e.mirthPassword)// Make request and show output.
 resp, err := client.Do(req)if err != nil {return nil, err
 }
 body, err := ioutil.ReadAll(resp.Body)
 resp.Body.Close()if err != nil {return nil, err
 }// fmt.Println(string(body))// we initialize our arrayvar channelIdNameMapXML ChannelIdNameMap// we unmarshal our byteArray which contains our// xmlFiles content into 'users' which we defined above
 err = xml.Unmarshal(body, &channelIdNameMapXML)if err != nil {return nil, err
 }for i := 0; i len(channelIdNameMapXML.Entries); i++ {
  channelIdNameMap[channelIdNameMapXML.Entries[i].Values[0]] = channelIdNameMapXML.Entries[i].Values[1]
 }return channelIdNameMap, nil
}func (e *Exporter) HitMirthRestApisAndUpdateMetrics(channelIdNameMap map[string]string, ch chan {// Load channel stats
 req, err := http.NewRequest("GET", e.mirthEndpoint+channelStatsApi, nil)if err != nil {
  log.Fatal(err)
 }// This one line implements the authentication required for the task.
 req.SetBasicAuth(e.mirthUsername, e.mirthPassword)// Make request and show output.
 resp, err := client.Do(req)if err != nil {
  log.Fatal(err)
 }
 body, err := ioutil.ReadAll(resp.Body)
 resp.Body.Close()if err != nil {
  log.Fatal(err)
 }// fmt.Println(string(body))// we initialize our arrayvar channelStatsList ChannelStatsList// we unmarshal our byteArray which contains our// xmlFiles content into 'users' which we defined above
 err = xml.Unmarshal(body, &channelStatsList)if err != nil {
  log.Fatal(err)
 }for i := 0; i len(channelStatsList.Channels); i++ {
  channelName := channelIdNameMap[channelStatsList.Channels[i].ChannelId]
  channelReceived, _ := strconv.ParseFloat(channelStatsList.Channels[i].Received, 64)
  ch    messagesReceived, prometheus.GaugeValue, channelReceived, channelName,
  )
  channelSent, _ := strconv.ParseFloat(channelStatsList.Channels[i].Sent, 64)
  ch    messagesSent, prometheus.GaugeValue, channelSent, channelName,
  )
  channelError, _ := strconv.ParseFloat(channelStatsList.Channels[i].Error, 64)
  ch    messagesErrored, prometheus.GaugeValue, channelError, channelName,
  )
  channelFiltered, _ := strconv.ParseFloat(channelStatsList.Channels[i].Filtered, 64)
  ch    messagesFiltered, prometheus.GaugeValue, channelFiltered, channelName,
  )
  channelQueued, _ := strconv.ParseFloat(channelStatsList.Channels[i].Queued, 64)
  ch    messagesQueued, prometheus.GaugeValue, channelQueued, channelName,
  )
 }
 log.Println("Endpoint scraped")
}func main() {
 err := godotenv.Load()if err != nil {
  log.Println("Error loading .env file, assume env variables are set.")
 }
 flag.Parse()
 mirthEndpoint := os.Getenv("MIRTH_ENDPOINT")
 mirthUsername := os.Getenv("MIRTH_USERNAME")
 mirthPassword := os.Getenv("MIRTH_PASSWORD")
 exporter := NewExporter(mirthEndpoint, mirthUsername, mirthPassword)
 prometheus.MustRegister(exporter)
 http.Handle(*metricsPath, promhttp.Handler())
 http.HandleFunc("/", func(w http.ResponseWriter, r *http.Request) {
  w.Write([]byte(`Mirth Channel Exporter

Mirth Channel Exporter

 + *metricsPath + `'>Metrics


             `))
 })
 log.Fatal(http.ListenAndServe(*listenAddress, nil))
}

14. 编写一个 Makefile 文件,方便在不同平台上快速构建

Makefile 可以让你在开发过程中省去很多多余的操作,比如我们要构建多个平台的构建程序,可以创建如下所示的 Makefile 文件。

linux:
   GOOS=linux GOARCH=amd64 go build
mac:
   GOOS=darwin GOARCH=amd64 go build

只要调用 make macmake linux 命令就可以看到不同的可执行文件出现。

15. 编写一个 service 文件,将这个 go 应用作为守护进程运行

我们可以为这个 Exporter 编写一个 service 文件或者 Dockerfile 文件来管理该应用,比如这里我们直接在 Centos 7 上用 systemd 来管理该应用。这可以编写一个如下所示的 service 文件:

[Unit]
Description=mirth channel exporter
After=network.target
StartLimitIntervalSec=0
[Service]
Type=simple
Restart=always
RestartSec=1
WorkingDirectory=/mirth/mirthconnect
EnvironmentFile=/etc/sysconfig/mirth_channel_exporter
ExecStart=/mirth/mirthconnect/mirth_channel_exporter

[Install]
WantedBy=multi-user.target

到这里就完成了使用 Golang 编写一个简单的 Prometheus Exporter。

原文链接:https://medium.com/teamzerolabs/15-steps-to-write-an-application-prometheus-exporter-in-go-9746b4520e26

6018d8180b147c16c934ec08ebfcc590.gif 点击屏末  | 即刻学习a7ec5ad122542c5927cbc0dc5bd9d5f7.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/506452.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

tensorflow中的正则化函数在_tensorflow中的正则化及数据增强

正则化:一般可以通过减少特征或者惩罚不重要特征的权重来缓解过拟合,但是我们通常不知道该惩罚那些特征的权重,而正则化就是帮助我们惩罚特征权重的,即特征的权重也会成为模型的损失函数一部分。可以理解为, 为了使用某…

flask 获取前端form内容_flask 项目中使用 bootstrapFileInput(进阶篇)

bootstrap 为 flask 使用人员提供了一个非常优美且有效的前端页面组件,但是完美之处还存在些许缺陷,比如文件的上传功能.而 bootstrap-fileinput 是基于 bootstrap 的控件,非常完美的填补了这个空缺.注意: 本文是基于 bootstrap-fileinput v4.4.2. github 地址: https://github…

phpstudy能安装不带mysql的么_装了phpstudy还需要装mysql吗

phpStudy是一个PHP调试环境的程序集成包。该程序包集成最新的ApachePHPMySQLphpMyAdminZendOptimizer,一次性安装,无须配置即可使用,是非常方便、好用的PHP调试环境。该程序不仅包括PHP调试环境,还包括了开发工具、开发手册等。对…

mysql二进制备份配置_mysql针对于二进制数据的备份

由于这次项目文件存储部分数据是以二进制形式存储到mysql数据库中,这下移植开发环境的数据之前导出SQL的形式不行了,二进制的数据导出SQL没问题,但是导入就出现问题了。要是库中含有二进制数据,备份SQL这招肯定不行了,…

mysql 5.1.53_mysql 5.1.53免安装版的优化配备和精简

mysql 5.1.53免安装版的优化配置和精简[摘要]MySQL是一种关联数据库管理系统,关联数据库将数据保存在不同的表中,而不是将所有数据放在一个大仓库内。这样就增加了速度并提高了灵活性。本文介绍mysql-noinstall.zip免安装版的优化配置和精简。欢迎大家阅…

eomj表情 mysql_mysql 数据库支持emjoy表情

数据库支持emjoy表情对于emjoy表情,插入数据库的时候总是报错如下:Incorrect string value: \xF0\x9F\x98\x8D for column REAL_NAME at row 1从上面看出该字段不支持emjoy表情check查找发现emjoy表情采用的是utf8mb4存储,utf8mb4是utf8的超集(包含了一些…

linux c mysql教程_Linux c访问mysql 编写入门

一) 前置条件:(1) Linux 已经安装好 mysql 数据库;(2) Linux 已经安装了 gcc 编译器;(二)数据库准备:为了便于描述,假设数据库的 root 用户密码为 root_pwd 。(1) 以 root 用户登陆数据库#mysql -ur…

mysql性能优化 硬件优化_mysql性能优化学习笔记(6)数据库配置优化硬件优化...

一、操作系统配置优化:1. 网络方面,修改/etc/sysctl.conf文件,增加tcp支持的队列数,减少断开连接时,资源的回收。2. 打开文件数的限制。修改/etc/security/limits.conf文件,增加一下内容以修改打开文件数量…

mysql崩溃_mysql崩溃原因分析

最近开发人员那边总说他们的程序连接一台指定服务器的时候出现闪断的现象,有连接失败的日志生成.于是就登陆到这台机器上探查个究竟,看了下mysql的错误日志,发现有mysql崩溃的现象,数据目录下面生成好多的bin文件,错误日志里面的内容如下:090922 1:10:39 - mysqld got signal …

dataframe存到mysql中_pandas实现to_sql将DataFrame保存到数据库中

目的在数据分析时,我们有中间结果,或者最终的结果,需要保存到数据库中;或者我们有一个中间的结果,如果放到数据库中通过sql操作会更加的直观,处理后再将结果读取到DataFrame中。这两个场景,就需…

mysql用于放置可执行文件的目录_在 MySQL 安装目录中, bin 目录用于放置一些可执行文件。_面向对象程序设计(C#)答案_学小易找答案...

【单选题】形成通货膨胀的原因是( )【单选题】患者在就诊的过程中,其投入的最主要内容是( )。【多选题】25 、绝对剩余价值生产和相对剩余价值生产的区别和联系是( )【多选题】21 、劳动力成为商品的条件( )【单选题】所谓的内部服务指的是( )。【单选题】服务业主要对应的产业…

python 跳过计算错误_在python中计算分数时如何跳过被0除的错误?

我正在运行一个很长的CSV文件下面的函数。函数每50行计算列MFE的Z分数。这50行中有一些只包含零,因此在计算Zscore时,程序会停止,因为它不能被零除。如何解决这个问题,而不是停止程序运行打印这些行的z分数0?在def doZ…

python中的seed_Python seed() 函数 - Python 教程 - 自强学堂

Python seed() 函数描述seed() 方法改变随机数生成器的种子,可以在调用其他随机模块函数之前调用此函数。。语法以下是 seed(() 方法的语法:import randomrandom.seed ( [x] )注意:seed(()是不能直接访问的,需要导入 random 模块,…

ubuntu dpkg mysql_ubuntu-12.04 – 在Ubuntu 12.04上无法启动MySQL5.5 – “dpkg:依赖问题”...

这似乎是12.04上的一个常见问题。我在this thread尝试过,包括:sudo apt-get cleansudo apt-get autocleansudo apt-get remove --purge mysql-client-5.5 mysql-client-core-5.5 mysql-common mysql-server mysql-server-5.5 mysql-server-core-5.5sudo …

mysql 中caption_Django-Model操作数据库(增删改查、连表结构)(示例代码)

Django-Model操作数据库(增删改查、连表结构)一、数据库操作1、创建model表基本结构from django.db importmodelsclassuserinfo(models.Model):#如果没有models.AutoField,默认会创建一个id的自增列name models.CharField(max_length 30)emailmodels.EmailField()…

python中如何定义函数的传入参数是option的_python – 当使用@ click.option将命令行参数传递给函数时,如何返回值?...

我试图使用click python包将命令行参数传递给函数.官方文档中的示例如解释的那样工作.但是文档中没有提到如何返回值.文档中没有任何函数返回值,因此我不明白如何执行此操作.以文档为例:import clickclick.command()click.option(--count, default3, helpNumber of …

python牛顿法寻找极值_python使用梯度下降和牛顿法寻找Rosenbrock函数最小值实例...

Rosenbrock函数的定义如下:其函数图像如下:我分别使用梯度下降法和牛顿法做了寻找Rosenbrock函数的实验。梯度下降梯度下降的更新公式:图中蓝色的点为起点,橙色的曲线(实际上是折线)是寻找最小值点的轨迹,终点(最小值点…

借贷记账法下的账户对应关系_2017年会计基础考点之借贷记账法下的账户对应关系与会计分录...

2016年会计从业考试各省已接近尾声,中公会计考试网为帮助参加2017年会计从业资格考试的伙伴们备考,特推出会计从业资格考试各科目章节重难点知识点讲解,今天小编给大家带来的是会计基础考点之借贷记账法下的账户对应关系与会计分录&#xff0…

mysql报11004_使用mysqli扩展技术查看服务器连接错误报告的方法

使用mysqli扩展技术查看服务器连接错误报告的方法作为PHP的黄金搭档MySQL数据库,在PHP项目开发过程中有着举足轻重的作用,这不仅因为MySQL是完全免费的,而且和PHP一样都是完全跨平台的。但在实际项目开发过程中,PHP与MySQL数据库产…

_Linux进程信号详解

信号是什么一个信号就是一条小消息,它通知进程系统中发生了一个某种类型的事件信号是多种多样的,并且一个信号对应一个事件,这样才能做到收到一个信号后,知道到底是一个什么事件,应该如何处理(但是要保证必…