在 VSCode 中对 Python 进行多卡（多GPU）调试，尤其是对于深度学习任务（例如使用 PyTorch 或 TensorFlow），你需要结合 VSCode 的调试功能与分布式训练框架来实现。多卡调试通常意味着你要调试并行的计算任务，这需要协调多个 GPU 的计算资源和并发代码的执行。
1. 环境准备
安装相关工具
确保你安装了以下工具：
- VSCode: 安装最新版的 VSCode。
- Python 插件: 安装 VSCode 中的 Python 插件（Microsoft 官方插件）。
- CUDA 和 GPU 驱动: 如果你在本地进行多卡训练调试，需要安装对应的 GPU 驱动、CUDA 和 cuDNN。
- NVIDIA NCCL: 多 GPU 训练时 PyTorch 使用 NCCL 进行通信。
- Python Debugger (
debugpy): 支持远程和本地调试。
pip install debugpy
2. 在代码中配置调试（debugpy）
为了在 VSCode 中进行多卡调试，你可以在代码中添加 debugpy，使得 VSCode 可以附加到正在运行的多卡训练程序中。
在代码中（例如 PyTorch 分布式训练）插入调试的配置：
import torch
import debugpydef setup_debug(rank):if rank == 0: # 只在主节点上进行调试print(f"Debugger listening on rank {rank}")debugpy.listen(("0.0.0.0", 5678)) # 监听端口debugpy.wait_for_client() # 等待VSCode调试器附加print("Debugger attached")else:print(f"Running on rank {rank} without debugger")
3. 启动多卡训练
使用 PyTorch 的 torch.distributed.launch 或 torchrun 来启动多 GPU 训练：
torchrun --nproc_per_node=4 --master_port=12345 your_script.py
这里 --nproc_per_node=4 表示你将使用 4 个 GPU。你可以在代码中设置每个 GPU 的任务和逻辑。
4. 配置 VSCode 调试器
-
打开 VSCode 的
launch.json配置文件（位于.vscode/launch.json），并添加调试配置以支持远程调试或多进程调试。 -
在
launch.json中为多 GPU 环境添加调试配置：
{"version": "0.2.0","configurations": [{"name": "Python: Attach (remote debugging)","type": "python","request": "attach","host": "localhost","port": 5678, # 这里与代码中的 debugpy.listen() 保持一致"justMyCode": false}]
}
5. 连接 VSCode 调试
-
启动多卡训练脚本后，确保程序在
debugpy.wait_for_client()处等待。 -
在 VSCode 中启动调试任务：按下
F5或从调试菜单中选择配置为“Python: Attach (remote debugging)”的任务，VSCode 会连接到你在程序中设置的调试点。
6. 多卡调试技巧
- 主进程调试：通常只调试主进程（rank 0），因为它负责协调训练过程，其他 GPU 上的 worker 进程可以通过日志或其他方式进行监控。
- 分布式日志输出：在多 GPU 环境下，输出日志时可以给每个 GPU 进程标记 rank，以便区分不同卡的输出。
- 调试性能问题：多卡训练中常见的问题是性能瓶颈，例如 GPU 闲置时间过长或者通信开销过大。使用调试器和性能分析工具可以帮你诊断这些问题。
