最近又被GPU利用率问题导致训练不高效的问题搞到了(恼),所以在py使用代码看看是哪出了问题。
import subprocessdef get_gpu_utilization():# 运行nvidia-smi命令smi_output = subprocess.check_output(['nvidia-smi', '--query-gpu=utilization.gpu', '--format=csv,noheader,nounits']).decode().strip()# 可以返回一个列表,其中包含每个GPU的利用率gpu_utilization = [int(x) for x in smi_output.split('\n')]return gpu_utilization# 在你想要检查GPU利用率的代码位置调用这个函数
gpu_util = get_gpu_utilization()
print(f"Current GPU Utilization: {gpu_util}%")