如何使用 Grafana 监控文件系统状态

当 JuiceFS 文件系统部署完成并投入生产环境，接下来就需要着手解决一个非常重要的问题 —— 如何实时监控它的运行状态？毕竟，它可能正在为关键的业务应用或容器工作负载提供持久化存储支持，任何小小的故障或性能下降都可能造成不利的影响。

JuiceFS 启动后会实时发布自身的运行状态数据，只需结合 Granafa 和 Prometheus 这两款开源工具即可相对轻松地建立一套监控系统。它将会通过采集文件系统的关键指标，例如读写吞吐量、IOPS、延迟、存储利用率、请求分布等，并汇集到一个直观的仪表板，让用户能够实现全方位的监控和可视化。

本文将详细介绍如何使用 Grafana 来监控 JuiceFS，在后续的系列文章中将为大家深入解读 JuiceFS 状态指标，敬请期待。

Grafana 是一个开源的监控和分析时间序列数据的仪表板和可视化工具，它主要用于互联网的基础设施和应用分析，传感器数据、应用程序分析以及监控。用户可以根据自己的需求创建和定制 Grafana 仪表盘来显示最关心的数据，跟踪和分析关键性能指标（KPIs）。

Grafana 支持多种数据源，包括 Prometheus、InfluxDB、Elasticsearch 等，可以从多个来源汇集数据，在统一的界面中进行分析和可视化。借助简单易用的查询编辑器，用户能够更深入地了解数据，并从中得到更多的信息。

JuiceFS 默认通过 9567 端口实时输出文件系统的状态指标，用户可以通过 Prometheus 收集这些这些指标数据，然后通过 Grafana 将这些指标以图形化的方式展现出来。

Prometheus 和 Grafana 都是开源软件，可以自行下载部署使用。但部署和维护这些系统会增加运维工作量，如果想更简单便捷地为 JuiceFS 构建可视化状态监控系统，可以尝试用 Grafana Cloud，它一站式地提供了所需地系统，而且包含一定的免费额度，足以满足起步阶段的使用需求。

Grafana Cloud

Grafana Cloud 是一项 SaaS 服务，提供免费、按量付费（Pay as you go）和高级三种订阅计划。不同的订阅计划包含不同的资源，免费与付费的主要差别在于指标数据的保留时长，免费计划会保留 14 天，付费计划则会保留 13 个月。

Grafana Cloud 的优势在于它通过 SaaS 服务直接为用户提供了 Prometheus 和 Grafana，这样就一站式地解决了数据的收集和可视化需求，而且后期维护和规模扩展都不需要用户介入。

通过 Grafana Cloud 为 JuiceFS 搭建监控系统的过程大致如下：

  1. 准备并挂载 JuiceFS 文件系统

  2. 注册 Grafana Cloud 账号，创建 Stack 资源；

  3. 在本地安装配置 grafana-agent，启动资源上报；

  4. 配置 JuiceFS Dashboard，开始使用。

第一步 准备 JuiceFS 文件系统

JuiceFS 的社区版和云服务版都会实时发布 Prometheus 格式的状态指标数据，不过这里需要注意区分：

  • 社区版默认通过客户端所在主机的 http://127.0.0.1:9567 发布 Prometheus 格式的状态指标

  • 云服务会通过 SaaS 平台地址同时发布 Prometheus 和 JSON 两种格式的指标（需将地址中的 VOLUME_NAME 替换为文件系统名，将 API_TOKEN 替换为对应的 token）。

  • Prometheus 格式地址

  • JSON 格式地址

如上图，JuiceFS 云服务控制台可以查看文件系统最近 7 天的状态指标，箭头所指的超链接对应前述的两个状态发布地址，可以直接复制给 Prometheus 使用。

另外，只有挂载的文件系统才有状态指标，所以在开始之前需要先准备好文件系统。

对于 JuiceFS 文件系统的创建方法，社区版和云服务略有差别，但原理相同。如果还不熟悉相关操作，可以先查阅官方文档了解详情。

第二步 注册 Grafana Cloud 账号

Grafana Cloud 将提供给用户的资源称之为 Stack（技术栈），因为它在 Grafana 的基础上还额外提供 Prometheus、Loki 等许多监控相关的服务。

注册账号后就会获得一个 xxx.grafana.net 专属 URL，比如 https://juicefs.grafana.net ，这个地址可以直接访问自己的 Grafana 控制台。

第三步 配置 Prometheus 代理程序

拥有了 Grafana Cloud 账号和 Stack，接下来就可以开始配置数据源了，如下图所示，Grafana Cloud 提供了一系列可以连接的数据源。

JuiceFS 默认通过 Prometheus 格式公开状态信息，因此这里选择 Hosted Prometheus metrics，然后在 Configuration Details 中根据实际情况进行配置。

1. 选择收集指标的方法

这里有两种可选的方式：

  • 第一种是在本地安装 Grafana Agent 客户端，由它负责将 JuiceFS 的状态指标上传到云上的 Prometheus 服务。

  • 第二种是从本地维护的 Prometheus 复制数据到云端。

第一种的特点是指标数据完全保存在云端，本地没有数据副本，可以结合 Grafana Cloud 的警报服务一起使用。第二种则需要在本地自行部署和维护 Prometheus 实例，数据完全保存在本地，同时会拷贝一个副本到云端使用。

本文会以第一种方式为例来介绍。另外，如果要在 Kubernetes 环境种使用，可以点击相关的按钮查看说明，本文不做相关介绍。

2. 选择系统及架构

因为要将这个 Grafana Agent 安装到本地 JuiceFS 客户端所在的主机，因此需要根据本地主机的系统和架构进行选择。

3. 下载 Grafana Agent 客户端

将这里的代码复制并粘贴到 JuiceFS 所在的本地主机运行，这段代码会将 grafana-agent 客户端下载到当前目录并赋予可执行权限。而这个 grafana-agent 程序本质上就是一个经过定制的 Prometheus 客户端。

4. 创建配置文件

这一步将为 grafana-agent 生成一个配置文件，如下图所示，这其实就是一个 Prometheus 的配置文件，但它将 Grafana Cloud 平台提供的服务地址以及相关的设置都配置好了。

将生成的命令粘贴到 JuiceFS 所在的主机，它会把相关配置信息写入当前目录的 agent-config.yaml 文件。

为了让它能够收集 JuiceFS 文件系统的状态指标，需要进一步修改这个配置文件，一方面要添加 JuiceFS 发布状态指标的地址，另一方面要调整数据 scrape_interval 抓取数据的频率。

前面已有介绍，社区版 JuiceFS 默认通过 9567 端口发布状态指标，如下图。

但是，在同一台主机上同时用不同的访问方式挂载文件系统，JuiceFS 就会随机分配一个端口给第二个访问方式。如下图，这个主机以经通过 mount 方式挂载了文件系统，同时又通过 WebDAV 方式进行挂载，这时就会分配一个随机的端口给 WebDAV 协议用做状态指标发布。

根据查到的实际信息编辑 agent-config.yaml，可以参考下面这个修改后的示例：

metrics:global:scrape_interval: 15sconfigs:- name: hosted-prometheusscrape_configs:- job_name: nodestatic_configs:- targets: ['localhost:9100']- job_name: juicefsstatic_configs:- targets: ["localhost:9567", "localhost:35013"]remote_write:- url: https://prometheus-prod-36-prod-us-west-0.grafana.net/api/prom/pushbasic_auth:username: 1480721password: glc_eyJvIjo`</pre>

  • 第三行，scrape_interval 修改为 15s （或更小）可以确保抓到 JuiceFS 的实时状态变化；

  • 第十行，添加 juicefs 相关的配置，在 targets 部分的数组中可以根据实际情况添加所有发布状态指标的地址。

5. 启动 agent

在 JuiceFS 所在的主机上粘贴并运行命令，grafana-agent 程序即可开始工作。

如有需要，还可以把 grafana-agent 客户端配置成 systemd 服务开机自动运行，下面是一个 grafana-agent.service 的配置文件示例：

[Unit]
Description=Grafana Agent
After=network-online.target[Service]
ExecStart=/opt/grafana-agent/grafana-agent-linux-amd64 --config.file=/opt/grafana-agent/agent-config.yaml
Restart=always
User=root
Group=root[Install]
WantedBy=multi-user.target

使用该自启动配置时，需要把 grafana-agent-linux-amd64 程序和配置文件 agent-config.yaml 拷贝到 /opt/grafana-agent 目录；

第四步 配置 Grafana Dashborad

前面三个步骤将本地的 JuiceFS 与 Grafana Cloud 提供的 Prometheus 服务进行了连通，grafana-agent 程序会按照配置每隔 15s 抓取一次 JuiceFS 的状态指标，然后将数据实时推送到云端。

有了实时收集的状态数据，接下来要把它们用图形化的方式展现出来，这就需要在 Grafana 上创建 Dashboard 来实现。

创建 Dashboard 有两种常用的方式：

  • 第一种，是创建一个全新 Dashboard，自己根据实际的监控需要来定义查询、图表、状态、表格等。
  • 第二种，是导入一个预先创建好的的 Dashboard 模板，可以使用 json 格式的文件模板，也可以使用 Grafana 官方库提供的公共模板。

1. 使用 Dashboard 模板

JuiceFS 官方提供了预定义的 Grafana Dashboard 模板 grafana_template.json 用于展示挂载点、S3 网关、Kubernetes 及 Hadoop Java SDK 的指标。该模板已经收录在 Grafana 官方 Dashboard 仓库，你可以直接使用这个 URL 载入，也可以使用编号 20794 载入。

在导入模板时，可以自定义 Dashboard 的名称和存放的位置，通常保持默认即可。

如上图，官方模板中包含了大量的状态信息，界面中堆叠的一个个信息块叫做 Panel，用户可以根据需要调整这些 Panel 的位置、样式或增删。

2. 手动创建 Dashboard

你可以从零开始创建一个全新的 Dashboard，也可以在 JuiceFS Dashboard 模板的基础上进行改造。

Dashboard 是由一系列 Panel 所组成的（Grafana 中也把 Panel 叫做 Visualization），添加一个 Visualization 就是添加一个 Panel。

一个 Panel 用来展示一个状态指标，在右上角的下拉菜单中可以选择数据展现的形式，比如 Chart、table 或 stat 等。

在下方的 Query 区域，选择 Data source，即收集了 JuiceFS 状态指标的 Prometheus 服务。然后在 Metrics browser 中选择要查询的指标。侧栏有一系列选项可以对显示的内容做细节微调，比如颜色，条件格式等。

如下图，你可以自由切换 Dashboard 中的 Panel，比如将 JuiceFS 官方模板中部分 Chart 图表改成 Stat 类型，当然，也可以为同一个指标创建多个不同展现形式的 Panel。

至此，JuiceFS 的可视化监控系统就搭建完毕了，你可以参考这篇文档了解各个状态指标的含义。限于篇幅，我们会另写文章来专门解读 JuiceFS 各个状态指标，欢迎感兴趣的读者保持关注。

总结

本文主要介绍了如何使用 Grafana Cloud 为 JuiceFS 搭建可视化的状态监控系统，为了满足不同经验背景的读者需要，每个环节尽量选择最简单的方式来实现。

事实上，任何 IT 系统的搭建都是一个个选择堆叠而成。不难发现，在本文介绍的步骤中，有很多环节是可以有其他的选择，比如，Prometheus 的数据上报方式，文中选择了 Grafana Agent，而读者还可以选择用本地自建的 Prometheus。所以，本文只是抛砖引玉，最终的部署和使用方法还是需要读者自己灵活选择和搭配。

最后，希望本文介绍的步骤能够对大家搭建 JuiceFS 监控系统带来一定的帮助。如果你有任何疑问，欢迎到 JuiceFS 社区用户群中进行提问和讨论。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/811880.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

已解决java.net.NoRouteToHostException: 无法到达主机异常的正确解决方法，亲测有效！！！

已解决java.net.NoRouteToHostException: 无法到达主机异常的正确解决方法，亲测有效！！！

已解决java.net.NoRouteToHostException: 无法到达主机异常的正确解决方法&#xff0c;亲测有效&#xff01;&#xff01;&#xff01; 目录 问题分析 报错原因 解决思路 解决方法 检查网络连接 核实目标地址 检查防火墙和路由器规则 验证VPN/代理设置 修正网络配置 …
阅读更多...
Django 实现登录功能

Django 实现登录功能

基本实现 路由 from django.urls import path from . import viewsapp_name index urlpatterns [path(, views.index, nameindex),path("login.html/", views.login, name"login"), ]视图 from django.shortcuts import render, redirect from django…
阅读更多...
MR混合现实情景实训教学系统在旅游管理课堂上的应用

MR混合现实情景实训教学系统在旅游管理课堂上的应用

旅游管理是一门实践性很强的学科&#xff0c;需要学生掌握理论知识的同时&#xff0c;能够在实际工作中灵活运用。传统的课堂教学方式往往只能通过理论讲解和简单的模拟操作来培养学生的实践能力&#xff0c;而MR混合现实情景实训教学系统则可以为学生提供更加真实、生动的实践…
阅读更多...
go第三方库go.uber.org介绍

go第三方库go.uber.org介绍

Uber 是一家美国硅谷的科技公司&#xff0c;也是 Go 语言的早期 adopter。其开源了很多 golang 项目&#xff0c;诸如被 Gopher 圈熟知的 zap、jaeger 等。2018 年年末 Uber 将内部的 Go 风格规范 开源到 GitHub&#xff0c;经过一年的积累和更新&#xff0c;该规范已经初具规模…
阅读更多...
HCIP-Datacom（H12-821）题库补充（4月12日）

HCIP-Datacom（H12-821）题库补充（4月12日）

最新 HCIP-Datacom&#xff08;H12-821&#xff09;完整题库请扫描上方二维码访问&#xff0c;持续更新中。 在BGP进程下&#xff0c;Aggregate命令中的detail&#xff3f;suppressed关键字的作用是以下哪一项&#xff1f; A&#xff1a;抑制生成的聚合路由下发IP路由表 B&…
阅读更多...
vueRouter动态路由(实现菜单权限控制)

vueRouter动态路由(实现菜单权限控制)

一、权限控制管理&#xff1a; 对于企业级的项目, 我们可能需要对项目做权限控制管理, 实现不同角色的用户登录项目根据所拥有的权限访问不同的页面内容&#xff0c;此时就需要使用到动态路由来对权限页面做限制。 【使用vue-router实现动态路由&#xff0c;达到实现菜单权限…
阅读更多...
数据仓库的—数据仓库的体系架构

数据仓库的—数据仓库的体系架构

数据仓库通常采用分层的体系架构设计,作为支撑企业决策分析需求的数据基础设施。典型的数据仓库体系架构由以下三个核心层次组成: 源数据层(Source Layer) 这是数据仓库的数据来源,包括组织内部的各种运营系统,如ERP、CRM、SCM等,以及外部数据源如互联网、社交媒体等。这些系…
阅读更多...
2023年全国职业技能大赛“信息安全与评估”国赛模拟题-windows应急响应+题目+WP

2023年全国职业技能大赛“信息安全与评估”国赛模拟题-windows应急响应+题目+WP

🍬 博主介绍👨‍🎓 博主介绍：大家好，我是 hacker-routing ，很高兴认识大家~ ✨主攻领域：【渗透领域】【应急响应】 【Java】 【VulnHub靶场复现】【面试分析】 🎉点赞➕评论➕收藏 == 养成习惯（一键三连）😋 🎉欢迎关注💗一起学习👍一起讨论⭐️一起进步�…
阅读更多...
React + three.js 实现人脸动捕与3D模型表情同步

React + three.js 实现人脸动捕与3D模型表情同步

系列文章目录 React 使用 three.js 加载 gltf 3D模型 | three.js 入门React three.js 3D模型骨骼绑定React three.js 3D模型面部表情控制React three.js 实现人脸动捕与3D模型表情同步 示例项目(github)&#xff1a;https://github.com/couchette/simple-react-three-facia…
阅读更多...
BI数据分析软件：行业趋势与功能特点剖析

BI数据分析软件：行业趋势与功能特点剖析

随着数据量的爆炸性增长&#xff0c;企业对于数据的需求也日益迫切。BI数据分析软件作为帮助企业实现数据驱动决策的关键工具&#xff0c;在当前的商业环境中扮演着不可或缺的角色。本文将从行业趋势、功能特点以及适用场景等方面&#xff0c;深入剖析BI数据分析软件&#xff0…
阅读更多...
LeetCode：1两数之和 C语言

LeetCode：1两数之和 C语言

1. 两数之和 给定一个整数数组 nums 和一个整数目标值 target&#xff0c;请你在该数组中找出 和为目标值 target 的那 两个 整数&#xff0c;并返回它们的数组下标。 你可以假设每种输入只会对应一个答案。但是&#xff0c;数组中同一个元素在答案里不能重复出现。 你可以…
阅读更多...
IP证书申请流程

IP证书申请流程

目录 域名与IP的关系 SSL证书绑定域名还是绑定IP&#xff1f; IP证书支持免费申请吗&#xff1f; 如何申请IP地址证书 IP类型的SSL证书&#xff0c;又称之为IP SSL&#xff0c;这种SSL证书是专门用于公网IP地址验证的一种数字证书。 主要功能就是解决IP地址明文传输的安全…
阅读更多...
毅四捕Go设计模式笔记——代理模式

毅四捕Go设计模式笔记——代理模式

代理模式&#xff08;Proxy Pattern&#xff09; 为了解决什么问题&#xff1f; 代理模式用于在不直接访问实际对象的情况下&#xff0c;通过引入一个代理对象来控制和管理对该对象的访问。主要解决的问题是对原始对象的访问控制&#xff0c;以及在不改变原始对象接口的情况下…
阅读更多...
IvorySQL 3.2原理解析|与Oracle 12c XML函数兼容性的实现机制

IvorySQL 3.2原理解析|与Oracle 12c XML函数兼容性的实现机制

[发行日期&#xff1a;2024年4月11日] IvorySQL 3.2基于PostgreSQL 16.2&#xff0c;引入了多种Oracle XML函数的全面兼容性功能&#xff0c;同时修复了多个问题&#xff0c;更多信息请参考文档网站。 >>>新版本体验链接&#xff1a; https://docs.ivorysql.org/cn…
阅读更多...
bilibili PC客户端架构设计——基于Electron

bilibili PC客户端架构设计——基于Electron

众所周知&#xff0c;bilibili是个学习的网站&#xff0c;网页端和粉版移动端都非常的好用&#xff0c;不过&#xff0c;相对其它平台来说bilibili的PC客户端也算是大器晚成了。在有些场景PC客户端的优势也是显而易见的&#xff0c;比如&#xff0c;跓留电脑桌面的快捷、独立的…
阅读更多...
加载 docker 镜像文件 centos7 系统 lnmp 环境 php8.2 php5.2 php7.4

加载 docker 镜像文件 centos7 系统 lnmp 环境 php8.2 php5.2 php7.4

# 加载镜像从tar文件 链接&#xff1a;https://pan.baidu.com/s/1s2yf7iroI-tBTK5b9zxxnA 提取码&#xff1a;6666 docker load < my_migration_image.tar # 运行新容器&#xff0c;可以使用相同的参数和命令 8233 电脑访问时对应的端口 80 docker 上的nginx 端口号 …
阅读更多...
塔面板php7.37.4版本不支持ZipArchive手工安装扩展方法

塔面板php7.37.4版本不支持ZipArchive手工安装扩展方法

centos 7 宝塔面板安装的PHP7.3和7.4默认已经不带zip扩展&#xff0c;要手工安装zip扩展首先需要安装libzip&#xff0c; yum -y install libzip 方法如下&#xff1a; 宝塔面板php7.3版本在SSH命令行界面执行以下语句&#xff1a; cd /www/server/php/73/src/ext/zip/ /ww…
阅读更多...
C#在后台自动化截图指定网站并保存图片

C#在后台自动化截图指定网站并保存图片

先安装PuppeteerSharp的库 然后调用如下方法 private async Task ScreenShotAsync(string url){//using var browserFetcher new BrowserFetcher();//await browserFetcher.DownloadAsync();await using var browser await Puppeteer.LaunchAsync(new LaunchOptions { Headle…
阅读更多...
gitlab 搭建

gitlab 搭建

cat etc/initial_root_password Password: ipGg5y7GJPp/YmVHf3c3ViMKzCWYJSjU4JzUktrw8cY ###### 可修改&#xff0c;可不修改&#xff0c;并###并#并 #初始密码 #本次未修改 vim /data/gitlab/etc/gitlab.rb external_url http://ip/gitlab #访问网址及端口 #ssh远程地址 gi…
阅读更多...
自动化运维（二十二）Ansible实战 之Jenkins模块

自动化运维（二十二）Ansible实战 之Jenkins模块

Ansible提供了一些模块,可以用来与Jenkins进行交互,执行各种操作,如创建任务、触发构建、获取构建结果等。通过使用这些模块,我们可以将Jenkins的配置和管理集成到Ansible的自动化流程中。 以下是一些常用的Ansible Jenkins模块: 1、jenkins_job模块 jenkins_job模块用于创建…
阅读更多...
最新文章

Copyright @ 2022~2023