在使用NVIDIA GPU的Kubernetes集群中，监控GPU的健康状态和性能对于维护系统的最佳性能至关重要。一种有效的方法是利用NVIDIA数据中心GPU管理器（DCGM）Exporter与Prometheus和Grafana结合使用。在本指南中，我们将演示如何在Kubernetes环境中设置GPU监控。
实例信息查询
先决条件
- 安装了NVIDIA GPU的Kubernetes集群
- 安装并配置了
kubectl命令行工具 - 安装并配置了Prometheus和Grafana
安装步骤
- 下载DCGM Exporter配置文件：
wget https://raw.githubusercontent.com/NVIDIA/dcgm-exporter/master/dcgm-exporter.yaml- 修改
dcgm-exporter.yaml 文件： 使用文本编辑器（例如vi）编辑文件，并更新 securityContext、nodeSelector 和 tolerations 部分如下：
securityContext:capabilities:add: ["SYS_ADMIN"]nodeSelector:
)