【TensorFlow深度学习】深度学习中的梯度传播机制解析

深度学习中的梯度传播机制解析

- - 反向传播基础理论概览
  - 梯例：Sigmoid激活函数的梯度传播
  - 实战例代码结构
  - 反向传播机制的精髓
  - 结语

深度学习中的梯度传播机制：揭秘神经网络的核心算法

深度学习的兴起，离不开一个至关重要的算法——反向传播（Backpropagation），它为神经网络提供了学习的驱动力，使其能够从数据中自动提取特征，做出预测。本文将带你深入理解反向传播机制的内部工作原理，并通过实例代码结构展现其在实际应用，让你对深度学习的掌握更进一步。

反向传播基础理论概览

反向传播的核心在于优化网络权重参数，使得损失函数最小化。其过程分为两步：前向传播（Forward Propagation）和反向传播（Backward Propagation）。

前向传播：输入数据从网络的输入层经过一系列加权值运算（如乘以权重、激活函数）向输出层传播，产生预测输出值。
反向传播：计算预测值与真实值的误差，误差通过网络反向传递，逐层更新权重以减小未来预测误差。

梯例：Sigmoid激活函数的梯度传播

以Sigmoid激活函数为例，其导数为(σ’(x) = σ(x)(1-σ(x)))，其中σ(x)是sigmoid函数值。考虑损失函数如均方差平方差（MSE），反向传播公式推导数为：
[ \frac{\partial L}{\partial w_i} = (y - \sigma(x_i) (1 - \sigma(x_i))x ]

实战例代码结构

以下代码展示了使用TensorFlow 2.0手动实现一个简单的全连接神经网络的反向传播过程。

import tensorflow as tf
import numpy as npclass ManualNN:def __init__(self, n_inputs, n_hidden, n_outputs):self.n_inputs = n_inputsself.n_hidden = n_hiddenself.n_outputs = n_outputsself.weights1 = tf.Variable(tf.random.normal([n_inputs, n_hidden]))self.bias1 = tf.Variable(tf.zeros([n_hidden])self.weights2 = tf.Variable(tf.random.normal([n_hidden, n_outputs]))self.bias2 = tf.zeros([n_outputs)def feedforward(self, inputs):z1 = tf.add(tf.matmul(inputs, self.weights1), self.bias1)a1 = tf.sigmoid(z1)z2 = tf.add(tf.matmul(a1, self.weights2), self.bias2)outputs = tf.sigmoid(z2)return outputsdef backpropagation(self, X, y, y, learning_rate):with tf.GradientTape() as tape:y_pred = self.feedforward(X)loss = tf.reduce_mean(tf.square(y_pred - y))gradients = tape.gradient(loss, [self.weights1, self.bias1, self.weights2, self.bias2, self.bias2])self.weights1.assign_sub(learning_rate * gradients[0])self.bias1.assign_sub(learning_rate * gradients[1])self.weights2.assign_sub(learning_rate * gradients[2])self.bias2.assign_sub(learning_rate * gradients[3])def train(self, X, y, epochs, learning_rate):for epoch in range(epochs):self.backpropagation(X, y, learning_rate)if epoch % 100 == 0:print(f"Epoch {epoch}: Loss: {self.loss}")# 数据准备数据
X = np.random.rand(100, 100)
y = np.sin(X) + np.random.randn(10) * 0.1nn = Manual(1, 20, 1)
nn.train(X, y, 0.01, 100)print("Predicted:", nn.feedforward(X))