1 Control-C 中止运行GPU 存储没有及时释放

• 在使用 GPU 进行深度学习训练时，通过 Control-C 中止程序后，有时会发现 GPU 内存没有及时释放
• 这主要是因为以下几个原因
  • 进程未完全终止：
    • 当我们按下 Control-C 时，只是发送了一个中断信号（SIGINT）给运行的程序。
    • 这种信号通常会触发程序中的中断处理逻辑，但有时程序可能没有正确处理这个信号，导致部分资源没有被释放，进程没有完全退出。
  • 内存分配未清理：
    •  PyTorch在运行时会分配大量的 GPU 内存用于存储模型参数、梯度和中间结果。
    • 如果程序在中断时没有进行适当的清理操作，这些分配的内存可能会保持分配状态，导致内存没有及时释放。
  • 线程和子进程：
    • 深度学习程序通常会创建多个线程或子进程来并行处理数据或计算任务。如
    • 果这些线程或子进程在主进程被中断后没有正确终止，它们可能会继续占用 GPU 资源。

2 解决方法

2.1 nvidia-smi --gpu-reset

nvidia-smi --gpu-reset -i [gpu_id]

• 这个命令会重置指定的 GPU（通过 -i [gpu_id] 指定）
  • 重置操作会影响所有使用该 GPU 的进程，包括当前用户和其他用户的所有进程。
  • 所有在 GPU 上运行的任务都会被终止。

2.2 使用 PyTorch 手动释放内存

在程序开始时调用 torch.cuda.empty_cache() 可以清理任何先前运行的程序可能遗留的未释放内存

import torch
torch.cuda.empty_cache()# 你的程序后续

2.3 kill 对应进程

用top/htop找到相应程序的PID,再使用 kill 结束该进程

kill -9 [pid]