Function与Module的差异与应用场景

Function与Module都可以对pytorch进行自定义拓展，使其满足网络的需求，但这两者还是有十分重要的不同：

• Function一般只定义一个操作，因为其无法保存参数，因此适用于激活函数、pooling等操作；Module是保存了参数，因此适合于定义一层，如线性层，卷积层，也适用于定义一个网络
• Function需要定义三个方法：init, forward, backward（需要自己写求导公式）；Module：只需定义__init__和forward，而backward的计算由自动求导机制构成

symbolic() 和 forward() 是什么关系？

symbolic() 和 forward() 在深度学习框架中各自扮演着不同的角色，但它们都是模型定义和计算过程中的关键部分。它们之间的关系主要体现在它们各自的作用以及在整个模型定义和计算流程中的位置。

1. symbolic()：

   • 作用：symbolic() 函数通常用于定义计算图中的符号操作。它返回一个表示某种计算或操作的符号表示，这种表示通常用于构建静态计算图。在深度学习框架中，计算图是由一系列操作（或节点）组成的，这些操作定义了数据在模型中的流动和转换方式。symbolic() 函数允许我们定义这些操作，而不需要立即执行它们。
   • 位置：symbolic() 函数通常出现在模型的定义阶段，特别是在定义层的操作或自定义操作时。它帮助构建模型的计算图结构。

2. forward()：

   • 作用：forward() 函数是深度学习模型中用于定义前向传播过程的函数。前向传播是指输入数据通过模型的各个层，经过一系列的计算和变换，最终得到输出的过程。forward() 函数具体实现了这些计算和变换。
   • 位置：forward() 函数通常出现在模型的前向传播阶段，即在模型进行推理或训练时。它是模型的核心部分，负责根据输入数据计算输出。

关系：

• 在某些深度学习框架中，特别是在定义自定义层或模型时，symbolic() 和 forward() 可能都会被使用。然而，它们的作用和用途是不同的。symbolic() 主要用于定义计算图中的符号操作，而 forward() 则用于实现具体的前向传播计算。
• 在某些情况下，symbolic() 可能在构建计算图时隐式地调用 forward()，或者通过其他方式使用 forward() 中定义的计算逻辑。但这取决于具体的深度学习框架和模型实现方式。

在PyTorch中，自定义操作可以通过继承torch.autograd.Function类来实现，同时需要实现该操作的符号（symbolic）表示。

以下是一个简单的例子，展示了如何自定义一个操作并为它实现自动微分。

import torch# 自定义操作的前向传播
class MyFunction(torch.autograd.Function):@staticmethoddef forward(ctx, input):# 保存一些我们可能需要在反向传播中使用的信息ctx.save_for_backward(input)# 执行操作并返回结果return input ** 2@staticmethoddef symbolic(graph, input):return graph.pow(input, 2)# 自定义操作的反向传播@staticmethoddef backward(ctx, grad_output):# 从ctx中恢复信息input, = ctx.saved_tensors# 计算梯度grad_input = grad_output * 2 * inputreturn grad_input# 现在我们可以使用MyFunction来执行自定义操作
x = torch.tensor(3.0, requires_grad=True)
y = MyFunction.apply(x)
y.backward()print(y)  # 输出操作的结果
print(x.grad)  # 输出梯度

在这个例子中，我们定义了一个简单的操作，它返回输入的平方。我们还为它实现了backward方法，这样PyTorch就可以自动计算梯度。MyFunction.apply就是执行操作的方法，它会调用forward方法来执行操作并开始跟踪计算图。

注意，symbolic方法是为了支持PyTorch的符号微分（Symbolic Differentiation）。在使用自定义操作时，如果操作可以用图形表示（例如，乘法、加法等），那么应该提供symbolic方法。如果不提供 symbolic 方法，PyTorch将无法进行符号微分，但仍然可以使用数值微分。