【深度学习】常见模型-循环神经网络（Recurrent Neural Network, RNN）

循环神经网络（RNN）

概念简介

循环神经网络（Recurrent Neural Network, RNN）是一种用于处理序列数据（如时间序列、文本序列等）的神经网络模型。与传统神经网络不同，RNN 的结构具有记忆能力，可以通过隐状态（hidden state）对输入序列的上下文信息进行建模。它在自然语言处理（NLP）、语音识别、时间序列预测等领域中应用广泛。

核心特性

序列建模能力：能够捕捉输入数据的时间依赖性，适合处理具有时间或顺序关系的数据。
参数共享：在序列的每个时间步（time step）上，RNN 使用相同的权重矩阵进行计算。
循环结构：通过隐状态将过去的信息传递到当前时间步。

RNN 的基本计算过程为：

$h_t = f(W_x x_t + W_h h_{t-1} + b)$

其中：

$h_t$ ：当前时间步的隐状态。
$x_t$ ：当前时间步的输入。
$W_x, W_h, b$ ：权重矩阵和偏置。
f：激活函数（常用 tanh 或 ReLU）。

RNN 的局限性

梯度消失和梯度爆炸：在处理长序列时，误差梯度可能在反向传播过程中消失或爆炸，导致模型难以训练。
长时依赖问题：RNN 难以捕捉序列中相隔较远的依赖信息。

为解决这些问题，改进模型如 LSTM（长短期记忆网络）和 GRU（门控循环单元）被提出。

关键变体

LSTM（Long Short-Term Memory）
- 引入门机制（输入门、遗忘门和输出门）来选择性记忆或遗忘信息。
- 能够更好地处理长序列依赖问题。
GRU（Gated Recurrent Unit）
- 是 LSTM 的简化版本，计算效率更高。

RNN 的结构

输入层：接收序列数据（如文本序列或时间序列）。
隐藏层：递归地将上一个时间步的状态作为当前时间步的输入。
输出层：根据任务需要输出预测结果（如分类、生成序列等）。

代码实现

以下是一个使用 Keras 实现简单 RNN 的示例：

1. 基本 RNN

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import SimpleRNN, Dense# 构建模型
model = Sequential([# RNN 层SimpleRNN(units=50, input_shape=(10, 1), activation='tanh'),# 全连接层Dense(units=1, activation='linear')  # 输出层
])# 编译模型
model.compile(optimizer='adam', loss='mse')
model.summary()

运行结果

Model: "sequential"
_________________________________________________________________Layer (type)                Output Shape              Param #   
=================================================================simple_rnn (SimpleRNN)      (None, 50)                2600      dense (Dense)               (None, 1)                 51        =================================================================
Total params: 2651 (10.36 KB)
Trainable params: 2651 (10.36 KB)
Non-trainable params: 0 (0.00 Byte)
_________________________________________________________________

2. 使用 LSTM

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import LSTM
from tensorflow.keras.layers import Densemodel = Sequential([# LSTM 层LSTM(units=50, input_shape=(10, 1)),# 全连接层Dense(units=1, activation='linear')
])model.compile(optimizer='adam', loss='mse')
model.summary()

运行结果

Model: "sequential"
_________________________________________________________________Layer (type)                Output Shape              Param #   
=================================================================lstm (LSTM)                 (None, 50)                10400     dense (Dense)               (None, 1)                 51        =================================================================
Total params: 10451 (40.82 KB)
Trainable params: 10451 (40.82 KB)
Non-trainable params: 0 (0.00 Byte)
_________________________________________________________________Process finished with exit code 0

3. 使用 GRU

from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import GRU
from tensorflow.keras.layers import Densemodel = Sequential([# GRU 层GRU(units=50, input_shape=(10, 1)),# 全连接层Dense(units=1, activation='linear')
])model.compile(optimizer='adam', loss='mse')
model.summary()

运行结果

Model: "sequential"
_________________________________________________________________Layer (type)                Output Shape              Param #   
=================================================================gru (GRU)                   (None, 50)                7950      dense (Dense)               (None, 1)                 51        =================================================================
Total params: 8001 (31.25 KB)
Trainable params: 8001 (31.25 KB)
Non-trainable params: 0 (0.00 Byte)
_________________________________________________________________