1. model.eval()

model.eval() 在 PyTorch 中是一个重要的方法，用于设置模型为评估模式。

在模型测试或应用于实际问题时通常会使用的模式。

在训练模式和评估模式之间切换是非常重要的，因为它们在某些层的行为上有所不同。

为什么需要 .eval() 方法？

当你在 PyTorch 中训练模型时，默认情况下，模型处于训练模式（.train()）。在这种模式下，所有的层都是激活的，包括如 dropout 和 batch normalization 这样的层，这些层在训练和评估时的行为是不同的。

• Dropout 层：在训练时，它随机地“丢弃”一些神经元（即将它们的输出设置为0），以减少模型对于训练数据的过拟合。但在评估模式下，我们需要使用全部的神经元，因此 dropout 层会被禁用。
• Batch Normalization 层：在训练时，这些层会根据当前批次的数据动态调整神经元的输出。但在评估模式下，它们使用训练时学到的统计数据来标准化输出，而不是当前批次的。

使用 .eval() 方法

调用 .eval() 方法可以将模型中所有设计用于训练的层切换到评估模式。这样可以确保在评估模型或进行预测时，模型的行为是一致的，不会因为随机的 dropout 或是基于批次的标准化而变化。

model.eval()

示例

在下面的例子中，我们首先将模型设置为训练模式，然后进行一些训练步骤，最后在进行评估前将模型切换到评估模式。

model.train() # 设置模型为训练模式
# 进行训练...model.eval() # 在评估之前将模型设置为评估模式
# 进行评估...

注意事项

• 在使用 .eval() 切换到评估模式后，如果你需要再次训练模型，记得使用 .train() 将模型切换回训练模式。
• .eval() 并不影响模型的梯度计算，为了在评估模式下避免计算和存储不必要的梯度，通常会结合使用 torch.no_grad() 上下文管理器。

model.eval()
with torch.no_grad():output = model(input)# 进行评估...

通过这种方式，可以确保模型在评估时的性能最优化，同时也节省计算资源。

2. torch.no_grad()

torch.no_grad() 在 PyTorch 中是一个上下文管理器，用于暂时禁用在代码块内部执行的所有操作的梯度计算。这是因为在某些情况下，例如模型评估或推理时，我们不需要计算梯度。在这些场景下使用 torch.no_grad() 可以减少内存消耗并提高计算速度，因为它避免了不必要的梯度计算和存储。

为什么需要 torch.no_grad()？

在 PyTorch 中，张量（Tensor）的计算默认是会跟踪其操作历史以便于梯度计算的，这对于训练模型是必要的。

但在评估或推理模式下，我们通常不需要反向传播。在这种情况下，继续跟踪操作用于梯度计算会浪费资源，因为这些梯度根本不会被使用。

使用 torch.no_grad()

使用 torch.no_grad() 是通过上下文管理器的形式来临时禁用梯度计算，其作用域限定在with语句块内。这意味着在这个块内的所有计算都不会跟踪梯度，从而减少内存使用并提升性能。

with torch.no_grad():# 在这个代码块内，所有的计算都不会跟踪梯度output = model(input)

示例场景

• 模型评估：在模型训练完成后进行评估时，我们不需要计算梯度。
• 模型推理：在使用训练好的模型对新数据进行预测时。
• 特征提取：当我们只是想通过模型提取某些中间特征，而不需要进行梯度更新时。

注意事项

• 尽管 torch.no_grad() 禁用了梯度计算，但模型仍可以进行前向传播，产生输出。
• 它常与 .eval() 方法结合使用，.eval() 方法用于将模型设置为评估模式，关闭如Dropout和BatchNormalization这样在训练和评估模式下行为不同的层，而 torch.no_grad() 用于停止梯度计算。

model.eval()
with torch.no_grad():output = model(input)

通过这种方式，可以确保在模型评估或推理时，资源使用最优化，并且计算速度更快。