ClickHouse 运行时会将一些个自身的运行状态记录到众多系统表中,如下所示:
为了直观方便地监控ck的运行情况,使用Prometheus + Grafana 的组合来进行监控
Prometheus 负责收集各类系统的运行指标;Grafana 负责可视化
Prometheus&Grafana 的安装
Prometheus安装
下载地址:Download | Prometheus
下载完成后上传安装包并解压:(安装版本:2.26.0)
tar -zxvf prometheus-2.26.0.linux-amd64.tar.gz -C /opt/module
接下来修改配置文件:
在 scrape_configs 配置项下添加配置:
#添加 ClickHouse 监控配置- job_name: clickhouse-hadoop104static_configs:- targets: ['hadoop104:9363']
1、global 配置块:控制 Prometheus 服务器的全局配置
➢ scrape_interval:配置拉取数据的时间间隔,默认为 1 分钟。
➢ evaluation_interval:规则验证(生成 alert)的时间间隔,默认为 1 分钟。
2、rule_files 配置块:规则配置文件
3、scrape_configs 配置块:配置采集目标相关, prometheus 监视的目标。Prometheus 自身的运行信息可以通过 HTTP 访问,所以 Prometheus 可以监控自己的运行数据
➢ job_name:监控作业的名称
➢ static_configs:表示静态目标配置,就是固定从某个 target 拉取数据
➢ targets :指定监控的目标 ,其实就是从哪儿拉取数据 。
在本示例中,Prometheus 会从
http://hadoop104:9090/metrics
上拉取数据。
配置完成后启动: nohup /opt/module/prometheus-2.26.0/prometheus --config.file=/opt/module/prometheus-2.26.0/prometheus.yml > /opt/module/prometheus-2.26.0/prometheus.log 2>&1 &
启动完成通过http://hadoop104:9090/
打开web端
在Status-Targets中可以看到配置的采集目标:
Grafana 安装
下载路径:Download Grafana | Grafana Labs
下载完成后上传至服务器并解压:(版本:7.5.2)
tar -zxvf grafana-7.5.2.linux-amd64.tar.gz -C /opt/module/
解压完成后无需配置,直接启动即可:
nohup /opt/module/grafana-7.5.2/bin/grafana-server web > /opt/module/grafana-7.5.2/grafana.log 2>&1 &
启动成功打开web端:http://hadoop104:3000
默认用户名和密码都是admin,第一次登录可以修改密码,也可跳过
ClickHouse 配置
修改/etc/clickhouse-server/config.xml
:
打开注释即可
注意:endpoint中配置的是clickhouse监控数据的路径
port要与Prometheus配置文件中的port统一:
配置完成后重启服务,然后打开web端:http://hadoop104:9363/metrics
可以看到以下供Prometheus采集用的数据:
Grafana 集成 Prometheus
添加数据源
选择Prometheus数据源,然后进行配置
配置完成后保存并返回即可
添加监控
通过https://grafana.com/dashboards
来下载模板
下载好json文件后,可以导入到自己的面板中