概念
反向传播（Backpropagation）是用于训练神经网络的一种常见算法。它是一种监督学习算法，用于调整神经网络的权重，以使其输出与目标值更接近。通过计算损失函数对神经网络中每个参数的梯度，然后利用梯度下降的方法来更新参数，从而使网络逐步优化以最小化损失函数。
以下是反向传播的基本步骤：
-
前向传播（Forward Propagation）： 在这一步中，输入数据通过神经网络的各个层，经过权重和激活函数的计算，最终产生网络的输出。
-
计算损失（Compute Loss）： 将网络的输出与实际目标值进行比较，计算损失（误差）的大小。损失表示网络输出与实际目标的差异。
-
反向传播误差（Backward Pass）： 从输出层开始，计算损失对每个权重的偏导数。这是通过使用链式法则来实现的，将误差从输出层传播回网络的输入层。
-
更新权重（Update Weights）： 使用优化算法（例如梯度下降），根据误差的梯度信息来更新每个权重，以减小损失。这一步通过乘以一个学习率来控制权重的更新幅度。
-
重复迭代： 重复以上步骤，通过多次迭代，逐渐减小损失，使神经网络适应训练数据，并提高在新数据上的泛化能力。
反向传播的关键是链式法则，
