在机器学习和深度学习的实验中,确保实验的可重复性是非常重要的。下面定义的set_random_seed(seed)
函数的主要目的是设置随机种子以确保代码的随机性操作(如参数初始化、数据集分割、随机数据增强等)在不同运行之间是可重复的。这使得其他研究人员或开发者可以复现相同的实验结果,同时也便于调试和优化模型。
函数详解
def set_random_seed(seed):"""Set random seeds."""random.seed(seed) # 设置 Python 内置随机库的种子np.random.seed(seed) # 设置 NumPy 随机库的种子torch.manual_seed(seed) # 设置 PyTorch 随机库的种子torch.cuda.manual_seed(seed) # 为当前 CUDA 设备设置种子torch.cuda.manual_seed_all(seed) # 为所有 CUDA 设备设置种子
这个函数通过接受一个整数值 seed
作为输入,来统一设置多个随机数生成系统的种子:
-
random.seed(seed)
:- 设置 Python 标准库中
random
模块的种子。这影响使用random
模块函数进行的所有随机选择和操作。
- 设置 Python 标准库中
-
np.random.seed(seed)
:- 设置 NumPy 库的随机数生成器的种子。这对所有使用 NumPy 进行随机数生成的操作都会产生影响,包括随机数组生成、数据洗牌等。
-
torch.manual_seed(seed)
:- 设置 PyTorch 的随机数生成器的种子,影响所有 CPU 级别的随机操作,包括参数初始化和随机采样等。
-
torch.cuda.manual_seed(seed)
:- 设置当前 CUDA 设备的种子。这对使用当前 GPU 进行的随机操作有效,例如在 GPU 上进行的随机参数初始化。
-
torch.cuda.manual_seed_all(seed)
:- 设置所有可用 CUDA 设备的随机种子,确保在多 GPU 环境中,所有设备的随机数生成行为保持一致。
目的和应用
通过在实验开始之前调用这个函数,你可以确保每次实验的启动条件相同,从而使得实验结果具有可比性和可重复性。这对科学研究和算法的公平比较至关重要。
在实际应用中,通常在实验或模型训练的脚本开始时调用此函数,如下:
if __name__ == "__main__":set_random_seed(42) # 42只是一个常用的示例种子# 后续代码
这样,无论是模型初始化、数据加载的顺序、还是任何其他依赖随机性的操作,都将在多次运行间保持一致,从而确保实验结果的稳定和可复现。