RNN--详解

RNN

1. 概述

循环神经网络 (Recurrent Neural Network, RNN) 是一种专门用于处理序列数据的神经网络模型。与传统的前馈神经网络不同，RNN 具有循环结构，能够处理时间序列和其他顺序依赖的数据。其关键在于可以利用前一个时刻的信息，通过隐状态 (Hidden State) 在时间步长上进行传递，从而具有记忆性。

2. RNN 的基本结构

RNN的核心在于处理序列数据时，每个时间步 (time step) 的输入不仅会影响当前的输出，还会影响下一时间步的输入。其网络结构如下：

  • 输入层 (Input Layer)：序列数据中的每个元素会逐步输入神经网络，每个时间步对应一个输入。

  • 隐藏层 (Hidden Layer)：在每个时间步，隐藏层的输出不仅依赖当前的输入，还依赖前一时间步的隐藏层状态。隐藏状态通过时间步传播，从而使网络具备记忆力。

  • 输出层 (Output Layer)：每个时间步的输出可以是即时的（每个时间步输出），或者在最后的时间步产生整体输出。

3.相关代码实现

使用 PyTorch 来实现一个基本的 RNN 模型，并应用于文本分类任务（例如，情感分类）。代码包括数据预处理、模型构建、训练和分析。

1. 数据预处理

在文本处理中，我们通常需要将文本数据转换为数值形式，如单词的索引或词向量。为了简化，将使用 TorchText 来处理文本数据。

数据预处理示例代码：
import torch
import torch.nn as nn
import torch.optim as optim
from torchtext.legacy import data, datasets
​
# 设置随机种子以确保结果可重复
torch.manual_seed(1234)
​
# 定义字段，TEXT 用于存储文本数据，LABEL 用于存储标签
TEXT = data.Field(tokenize='spacy', tokenizer_language='en_core_web_sm', include_lengths=True)
LABEL = data.LabelField(dtype=torch.float)
​
# 加载IMDB数据集，数据集包含影评文本和情感标签
train_data, test_data = datasets.IMDB.splits(TEXT, LABEL)
​
# 构建词汇表，使用预训练的词向量（GloVe）
TEXT.build_vocab(train_data, max_size=25000, vectors="glove.6B.100d", unk_init=torch.Tensor.normal_)
LABEL.build_vocab(train_data)
​
# 创建迭代器
BATCH_SIZE = 64
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')
​
train_iterator, test_iterator = data.BucketIterator.splits((train_data, test_data), batch_size=BATCH_SIZE, sort_within_batch=True,device=device)

2. RNN 模型定义

下面的代码定义了一个基本的 RNN 模型。使用一个嵌入层和一个简单的 RNN 层来对文本进行分类。输出的隐藏状态将传递到全连接层来预测情感标签。

模型定义代码：
class RNN(nn.Module):def __init__(self, input_dim, embedding_dim, hidden_dim, output_dim, n_layers, bidirectional, dropout):super().__init__()# 嵌入层self.embedding = nn.Embedding(input_dim, embedding_dim)# RNN层self.rnn = nn.RNN(embedding_dim, hidden_dim, num_layers=n_layers, bidirectional=bidirectional, dropout=dropout)# 全连接层self.fc = nn.Linear(hidden_dim * 2 if bidirectional else hidden_dim, output_dim)# Dropoutself.dropout = nn.Dropout(dropout)def forward(self, text, text_lengths):# text: [sent_len, batch_size]# 嵌入embedded = self.dropout(self.embedding(text))# 打包，RNN 可以处理不同长度的序列packed_embedded = nn.utils.rnn.pack_padded_sequence(embedded, text_lengths.to('cpu'))packed_output, hidden = self.rnn(packed_embedded)# 解包output, output_lengths = nn.utils.rnn.pad_packed_sequence(packed_output)# 只使用最后的隐藏状态hidden = self.dropout(hidden[-1,:,:])return self.fc(hidden)
​
# 初始化模型
INPUT_DIM = len(TEXT.vocab)
EMBEDDING_DIM = 100
HIDDEN_DIM = 256
OUTPUT_DIM = 1
N_LAYERS = 2
BIDIRECTIONAL = True
DROPOUT = 0.5
​
model = RNN(INPUT_DIM, EMBEDDING_DIM, HIDDEN_DIM, OUTPUT_DIM, N_LAYERS, BIDIRECTIONAL, DROPOUT)

3. 模型训练

接下来定义损失函数和优化器，并进行模型的训练。由于这是一个二分类问题，使用二元交叉熵损失函数。

训练代码：
# 使用预训练的词向量初始化嵌入层
pretrained_embeddings = TEXT.vocab.vectors
model.embedding.weight.data.copy_(pretrained_embeddings)
​
# 定义损失函数和优化器
optimizer = optim.Adam(model.parameters())
criterion = nn.BCEWithLogitsLoss()
​
model = model.to(device)
criterion = criterion.to(device)
​
# 计算准确率
def binary_accuracy(preds, y):rounded_preds = torch.round(torch.sigmoid(preds))correct = (rounded_preds == y).float()acc = correct.sum() / len(correct)return acc
​
# 训练函数
def train(model, iterator, optimizer, criterion):epoch_loss = 0epoch_acc = 0model.train()for batch in iterator:optimizer.zero_grad()text, text_lengths = batch.textpredictions = model(text, text_lengths).squeeze(1)loss = criterion(predictions, batch.label)acc = binary_accuracy(predictions, batch.label)loss.backward()optimizer.step()epoch_loss += loss.item()epoch_acc += acc.item()return epoch_loss / len(iterator), epoch_acc / len(iterator)
​
# 测试函数
def evaluate(model, iterator, criterion):epoch_loss = 0epoch_acc = 0model.eval()with torch.no_grad():for batch in iterator:text, text_lengths = batch.textpredictions = model(text, text_lengths).squeeze(1)loss = criterion(predictions, batch.label)acc = binary_accuracy(predictions, batch.label)epoch_loss += loss.item()epoch_acc += acc.item()return epoch_loss / len(iterator), epoch_acc / len(iterator)
​
# 开始训练
N_EPOCHS = 5
for epoch in range(N_EPOCHS):train_loss, train_acc = train(model, train_iterator, optimizer, criterion)test_loss, test_acc = evaluate(model, test_iterator, criterion)print(f'Epoch: {epoch+1}')print(f'\tTrain Loss: {train_loss:.3f} | Train Acc: {train_acc*100:.2f}%')print(f'\tTest Loss: {test_loss:.3f} | Test Acc: {test_acc*100:.2f}%')

4. 模型分析

通过训练和测试结果，可以观察模型在情感分类任务上的表现。进一步使用混淆矩阵、分类报告等工具来分析模型性能。

模型分析示例代码：
from sklearn.metrics import classification_report
​
# 预测函数
def predict_sentiment(model, sentence):model.eval()tokenized = [tok.text for tok in nlp.tokenizer(sentence)]indexed = [TEXT.vocab.stoi[t] for t in tokenized]length = [len(indexed)]tensor = torch.LongTensor(indexed).to(device)tensor = tensor.unsqueeze(1)length_tensor = torch.LongTensor(length)prediction = torch.sigmoid(model(tensor, length_tensor))return prediction.item()
​
# 示例测试
test_sentence = "This movie is absolutely wonderful!"
prediction = predict_sentiment(model, test_sentence)
print(f"Sentiment score: {prediction}")

5. 代码分析

  1. 数据预处理：使用 TorchText 来加载数据，并将文本数据转换为索引。我们使用 GloVe 预训练词向量来初始化嵌入层。

  2. RNN 模型：定义了一个带双向（Bidirectional）的 RNN 模型。该模型包含嵌入层、RNN 层和全连接层，用于情感分类任务。

  3. 模型训练：使用 Adam 优化器和二元交叉熵损失函数对模型进行训练，并通过准确率评估性能。

  4. 模型分析：可以通过预测情感分数来进一步分析模型的表现。

通过这些步骤，实现了一个完整的文本处理流水线，使用 RNN 对影评数据进行情感分类。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/881397.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

红帽7—Mysql路由部署

红帽7—Mysql路由部署

MySQL Router 是一个对应用程序透明的InnoDB Cluster连接路由服务，提供负载均衡、应用连接故障转移和客户端路 由。 利用路由器的连接路由特性，用户可以编写应用程序来连接到路由器，并令路由器使用相应的路由策略 来处理连接，使其…
阅读更多...
Jedis多线程环境报错：redis Could not get a resource from the pool 的主要原因及解决办法。

Jedis多线程环境报错：redis Could not get a resource from the pool 的主要原因及解决办法。

本篇文章主要讲解，Jedis多线程环境报错：redis Could not get a resource from the pool 的主要原因及解决办法。 作者：任聪聪 日期：2024年10月6日01:29:21 报错信息： 报文： redis Could not get a resou…
阅读更多...
云原生日志ELK（ logstash安装部署）

云原生日志ELK（ logstash安装部署）

logstash 介绍 LogStash由JRuby语言编写，基于消息（message-based）的简单架构，并运行在Java虚拟机 （JVM）上。不同于分离的代理端（agent）或主机端（server）&…
阅读更多...
Spring Boot驱动的现代医院管理系统

Spring Boot驱动的现代医院管理系统

1系统概述 1.1 研究背景 如今互联网高速发展，网络遍布全球，通过互联网发布的消息能快而方便的传播到世界每个角落，并且互联网上能传播的信息也很广，比如文字、图片、声音、视频等。从而，这种种好处使得互联网成了信息传…
阅读更多...
【斯坦福CS144】Lab5

【斯坦福CS144】Lab5

一、实验目的 在现有的NetworkInterface基础上实现一个IP路由器。 二、实验内容 在本实验中，你将在现有的NetworkInterface基础上实现一个IP路由器，从而结束本课程。路由器有几个网络接口，可以在其中任何一个接口上接收互联网数据报。路由…
阅读更多...
【uniapp小程序】使用cheerio去除字符串中的HTML标签并获取纯文本内容

【uniapp小程序】使用cheerio去除字符串中的HTML标签并获取纯文本内容

【uniapp小程序】使用cheerio去除字符串中的HTML标签并获取纯文本内容 参考资料安装引入使用 参考资料 【博主：AIpoem】uniapp小程序 使用cheerio处理网络请求拿到的dom数据 cheerio文档：https://github.com/cheeriojs/cheerio/wiki/Chinese-README 安…
阅读更多...
Sequelize 做登录查询数据

Sequelize 做登录查询数据

在 Sequelize 中处理登录请求通常意味着你需要根据提供的用户名或电子邮件以及密码来查询数据库中的用户。由于密码在数据库中应该是以哈希形式存储的，因此你还需要验证提供的密码是否与存储的哈希密码匹配。 以下是一个简单的例子，展示了如何使用 Sequ…
阅读更多...
SpringBoot美发门店系统：提升服务质量

SpringBoot美发门店系统：提升服务质量

摘要 随着信息技术在管理上越来越深入而广泛的应用，管理信息系统的实施在技术上已逐步成熟。本文介绍了美发门店管理系统的开发全过程。通过分析美发门店管理系统管理的不足，创建了一个计算机管理美发门店管理系统的方案。文章介绍了美发门店管理系统的系…
阅读更多...
SpringBoot访问web中的静态资源

SpringBoot访问web中的静态资源

SpringBoot访问web中的静态资源，有两个方式： 1、SpringBoot默认指定了一些固定的目录结构，静态资源放到这些目录中的某一个，系统运行后浏览器就可以访问到 ① 关键是SpringBoot默认指定的可以存放静态资源的目录有哪些&#xff…
阅读更多...
U mamba配置问题；‘KeyError: ‘file_ending‘

U mamba配置问题；‘KeyError: ‘file_ending‘

这个错误仍然是因为在 dataset_json 中找不到 file_ending 键。请尝试以下步骤： 检查 JSON 文件：确认 JSON 文件中确实有 file_ending，并且它的拼写完全正确。 打印 JSON 内容：在抛出异常之前，添加打印语句输出 datas…
阅读更多...
JavaScript 数组简单学习

JavaScript 数组简单学习

目录 1. 数组 1.1 介绍 1.2 基本使用 1.2.1 声明语法 1.2.2 取值语法 1.2.3 术语 1.3 案例 1. 数组 1.1 介绍 1.2 基本使用 1.2.1 声明语法 1.2.2 取值语法 1.2.3 术语 1.3 案例
阅读更多...
Python知识点：如何应用Python工具，使用NLTK进行语言模型构建

Python知识点：如何应用Python工具，使用NLTK进行语言模型构建

开篇，先说一个好消息，截止到2025年1月1日前，翻到文末找到我，赠送定制版的开题报告和任务书，先到先得！过期不候！ 如何使用NLTK进行语言模型构建 在自然语言处理（NLP）中&a…
阅读更多...
pikachu靶场总结（三）

pikachu靶场总结（三）

五、RCE 1.RCE(remote command/code execute)概述 RCE漏洞，可以让攻击者直接向后台服务器远程注入操作系统命令或者代码，从而控制后台系统。 远程系统命令执行 一般出现这种漏洞，是因为应用系统从设计上需要给用户提供指定的远程命令操作的…
阅读更多...
基于SpringBoot和Vue的餐饮管理系统

基于SpringBoot和Vue的餐饮管理系统

基于springbootvue实现的餐饮管理系统 （源码L文ppt）4-078 第4章　系统设计 4.1　总体功能设计 一般个人用户和管理者都需要登录才能进入餐饮管理系统，使用者登录时会在后台判断使用的权限类型，包括一般使用者和管理者,一…
阅读更多...
星融元P4交换机：在全球芯片短缺中，为您的网络可编程之路保驾护航

星融元P4交换机：在全球芯片短缺中，为您的网络可编程之路保驾护航

当数字化转型成为新常态，云计算、物联网、5G和人工智能等技术正以惊人的速度进步，重塑了我们对网络设备性能和适应性的预期。在这场技术革新的浪潮中，网络的灵活性、开放性和编程能力成为了推动行业发展的关键。P4可编程交换机，以…
阅读更多...
飞驰云联入围2024西门子Xcelerator公开赛50强

飞驰云联入围2024西门子Xcelerator公开赛50强

近日，备受瞩目的西门子 Xcelerator公开赛公布结果，经过激烈的筛选，Ftrans飞驰云联《Ftrans制造业数据交换安全管控解决方案》凭借优异的表现，成功入围 Xcelerator公开赛50强！ Xcelerator 公开赛以工信部智能制造典型场…
阅读更多...
胤娲科技：00后揭秘——AI大模型的可靠性迷局

胤娲科技：00后揭秘——AI大模型的可靠性迷局

当智能不再“靠谱”，我们该何去何从？ 想象一下，你向最新的GPT模型提问：“9.9和9.11哪个大？”这本应是个小菜一碟的问题，却足以让不少高科技的“大脑”陷入沉思， 甚至给出令人啼笑皆非的答案。近…
阅读更多...
实战逆向RUST语言程序

实战逆向RUST语言程序

实战为主，近日2024年羊城杯出了一道Rust编写的题目，这里将会以此题目为例，演示Rust逆向该如何去做。 题目名称：sedRust_happyVm 题目内容：unhappy rust, happy vm 关于Rust逆向，其实就是看汇编&#xff…
阅读更多...
太阳诱电电感选型方法及产品介绍

太阳诱电电感选型方法及产品介绍

功率电感在电子电路中被广泛应用，太阳诱电的功率电感从原材料开始进行研发，生产和销售。 本次研讨会将带领大家更加了解功率电感的选型方法，以及各种功率电感的种类和特征。 此外，也将介绍太阳诱电的最新产品阵容。本次研讨会预计…
阅读更多...
边学边用docker-为什么要进到容器里面修改权限

边学边用docker-为什么要进到容器里面修改权限

在 Docker 容器中修改文件夹权限，通常需要进入容器内部来执行命令，这是因为 Docker 容器提供了一个隔离的环境，其内部的文件系统与宿主机是隔离的。 1. 隔离性：Docker 容器设计为轻量级的隔离环境，每个容器都有自己的…
阅读更多...
最新文章

Copyright @ 2022~2023