1. 查看GPU的使用情况
1.1 nvidia-smi
# 直接在终端得到显卡的使用情况
# 不会自动刷新
nvidia-smi# 重定向到文件中
nvidia-smi > nvidia_smi_output.txt# 如果输出的内容部分是以省略号表示的，可以-q
nvidia-smi -q
1.2 nvidia-smi -l
# 会自动刷新，不仅会显示当前信息且会显示历史信息，历史信息不会被覆盖
nvidia-smi -l# 重定向到文件中
nvidia-smi -l > nvidia_smi_output.txt
1.3 watch -n 1 nvidia-smi
# 只能看到当前信息，更新时间间隔为1秒
watch -n 1 nvidia-smi
2. 输出详解
参考博客：GPU之nvidia-smi命令详解
2.1 标题部分
Mon Dec 25 14:10:12 2023：表示当前时间。
NVIDIA-SMI 545.29.06：NVIDIA System Management Interface（NVIDIA 系统管理接口）的版本号。
Driver Version: 545.29.06：安装的 NVIDIA 驱动程序版本。
CUDA Version: 12.3：支持的 CUDA 版本。
2.2 GPU 信息部分
GPU Name：GPU的编号，这里是0。GPU 型号，这里是 "NVIDIA GeForce RTX 4060 Laptop GPU"。
Persistence-M：持久模式状态。如果开启，即使没有应用程序使用 GPU，驱动程序也会保持活动状态。这里是 "Off"。
Bus-Id：PCI 总线标识符，用于唯一识别系统中的 GPU。这里是 "00000000:01:00.0"。
Disp.A：是否将此 GPU 用作主显示器。"On" 表示是，"Off" 表示否。
Volatile Uncorr. ECC：易失性未纠正错误校验。对于不支持 ECC（错误校验和修正）的 GPU，显示为 "N/A"。
2.3 性能和功耗部分
Fan Temp：风扇速度和温度。这里的风扇速度是 "N/A"，温度是 "43C"。
Perf：性能状态。"P3" 表示最高性能状态。
Pwr:Usage/Cap：GPU 功率使用情况和总功率限制。这里是 "8W / 55W"，表示当前使用 8W，最大功率限制为 55W。
2.4 内存和利用率部分
Memory-Usage：GPU 内存使用情况。这里是 "2459MiB / 8188MiB"，表示已使用 2459MiB，总内存为 8188MiB。
GPU-Util：GPU 利用率。这里是 "1%"，表示当前 GPU 使用率为 1%。
Compute M. 和 MIG M.：计算实例和 MIG 实例的使用情况。如果 GPU 不支持这些特性，显示为 "N/A"。
2.5 进程部分
Processes:：正在使用 GPU 的进程列表。
每一行代表一个使用 GPU 的进程，包括以下信息：
GPU：使用的 GPU 编号。
GI 和 CI：图形接口和计算实例 ID。对于不支持多实例的 GPU，显示为 "N/A"。
PID：进程 ID。
Type：进程类型，可能是 "C"（CUDA 应用程序）或 "G"（图形应用程序）等。
Process name：进程的名称。
GPU Memory Usage：该进程使用的 GPU 内存总量。
在这个例子中，有四个进程正在使用 GPU：
/usr/lib/xorg/Xorg：Xorg 服务器，负责处理图形显示，使用了 383MiB GPU 内存。
/usr/bin/gnome-shell：GNOME Shell，桌面环境的图形界面，使用了 78MiB GPU 内存。
/opt/microsoft/msedge/msedge --type=gpu-process --crashpad-handler-pid=2056 --enable-crash-reporter=, --change-stack-guard-on-fork=enable --gpu-preferences=WAAAAAAAAAAgAAAEAAAAAAAAAAAAAAAAAABgAAAAAAA4AAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAAABAAAAGAAAAAAAAAAYAAAAAAAAAAgAAAAAAAAACAAAAAAAAAAIAAAAAAAAAA== --shared-files --field-trial-handle=0,i,12938155357416402971,18439893262717647009,262144 --variations-seed-version
：用于启动 Microsoft Edge 浏览器的 GPU 进程，使用了 149MiB GPU 内存。
/usr/lib/x86_64-linux-gnu/webkit2gtk-4.0/WebKitWebProcess：这是一个 WebKitWebProcess，可能与网页渲染相关，但当前并未使用任何 GPU 内存（显示为 0MiB）。
