《昇思25天学习打卡营第23天|RNN实现情感分类》

使用RNN进行情感分类:基于IMDB数据集的LSTM应用

引言

情感分析是自然语言处理(NLP)中的一个重要应用,广泛用于电影评论、社交媒体等文本数据的情感分类任务。本文将介绍如何使用递归神经网络(RNN)实现情感分类,重点讲解LSTM(长短期记忆网络)如何解决梯度消失问题,并以IMDB电影评论数据集为例。
实现如下的效果:

输入: This film is terrible
正确标签: Negative
预测标签: Negative

输入: This film is great
正确标签: Positive
预测标签: Positive

RNN简介

递归神经网络(RNN)是一种用于处理序列数据的神经网络,它通过隐藏状态(hidden state)将前一个时间步的信息传递到下一个时间步,从而捕捉序列中的依赖关系。尽管RNN在理论上可以处理任意长度的序列,但在实践中往往会遇到梯度消失和梯度爆炸问题,特别是在处理长序列时。

RNN(循环神经网络)
循环神经网络(Recurrent Neural Network, RNN)是一类以序列(sequence)数据为输入,在序列的演进方向进行递归(recursion)且所有节点(循环单元)按链式连接的神经网络。下图为RNN的一般结构:
请添加图片描述

图示左侧为一个RNN Cell循环,右侧为RNN的链式连接平铺。实际上不管是单个RNN Cell还是一个RNN网络,都只有一个Cell的参数,在不断进行循环计算中更新。

由于RNN的循环特性,和自然语言文本的序列特性(句子是由单词组成的序列)十分匹配,因此被大量应用于自然语言处理研究中。下图为RNN的结构拆解:

请添加图片描述

RNN单个Cell的结构简单,因此也造成了梯度消失(Gradient Vanishing)问题,具体表现为RNN网络在序列较长时,在序列尾部已经基本丢失了序列首部的信息。为了克服这一问题,LSTM(Long short-term memory)被提出,通过门控机制(Gating Mechanism)来控制信息流在每个循环步中的留存和丢弃。下图为LSTM的结构拆解:

请添加图片描述

本节我们选择LSTM变种而不是经典的RNN做特征提取,来规避梯度消失问题,并获得更好的模型效果。下面来看MindSpore中nn.LSTM对应的公式:

ℎ0:𝑡,(ℎ𝑡,𝑐𝑡)=LSTM(𝑥0:𝑡,(ℎ0,𝑐0))

这里nn.LSTM隐藏了整个循环神经网络在序列时间步(Time step)上的循环,送入输入序列、初始状态,即可获得每个时间步的隐状态(hidden state)拼接而成的矩阵,以及最后一个时间步对应的隐状态。我们使用最后的一个时间步的隐状态作为输入句子的编码特征,送入下一层。

LSTM如何解决梯度消失问题

LSTM是一种特殊的RNN结构,通过引入门控机制(gating mechanism),有效地缓解了梯度消失问题。LSTM的核心是其单元状态(cell state),以及三个门(输入门、遗忘门和输出门),分别用于控制信息的写入、保留和输出:

  1. 输入门:决定当前输入信息有多少被写入单元状态。
  2. 遗忘门:决定当前单元状态有多少被保留。
  3. 输出门:决定单元状态的哪一部分输出到隐藏状态。

这些门控机制使LSTM能够在较长时间跨度上保留和利用重要信息,避免梯度在反向传播过程中过早消失。

IMDB数据集

IMDB数据集是一个广泛用于情感分析任务的标准数据集,包含来自IMDB的25,000条电影评论,每条评论都被标记为正面或负面情感。

RNN与LSTM的应用原理

在情感分类任务中,我们将每条电影评论作为一个序列输入到LSTM模型中,模型会学习每个单词在序列中的位置和作用,从而根据整条评论的内容预测其情感标签。

具体步骤

  1. 数据预处理:将文本数据转化为数值表示,例如使用词嵌入(word embedding)将单词转化为向量。
  2. 模型构建:使用LSTM构建模型,将评论的向量序列输入到LSTM层,然后通过全连接层和BCEWithLogitsLoss函数输出情感分类结果。
  3. 训练模型:使用带标签的评论数据训练模型,调整模型参数以最小化分类误差。
  4. 预测与评估:使用训练好的模型对新评论进行情感预测,并评估模型的性能。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/48795.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

人工智能与社交变革:探索Facebook如何领导智能化社交平台

在过去十年中,人工智能(AI)技术迅猛发展,彻底改变了我们与数字世界互动的方式。Facebook作为全球最大的社交媒体平台之一,充分利用AI技术,不断推动社交平台的智能化,提升用户体验。本文将深入探…

昇思25天学习打卡营第02天|张量Tensor

这节学习的张量(Tensor)的内容进行总结 : 1、张量的概念:张量是一种多线性函数,可以表示矢量、标量和其他张量之间的线性关系。张量是MindSpore网络运算中的基本数据结构,类似于数组和矩阵。 2、可以通过直…

基于SpringBoot+Vue的校园疫情防控系统(带1w+文档)

基于SpringBootVue的校园疫情防控系统(带1w文档) 基于SpringBootVue的校园疫情防控系统(带1w文档) 主要对首页、个人中心、学生管理、疫情动态管理、知识信息管理、防疫教育管理、健康打卡管理、请假申请管理、出校登记管理、入校登记管理、核酸报告管理、交流论坛、系统管理的…

PHP 高性能框架 Workerman 凭什么能硬刚 Swoole ?

大家好,我是码农先森。 一次偶然看到了国外某机构针对 PHP 周边生态框架及扩展的性能测试排行榜,看到 Workerman 竟遥遥领先 Swoole。在我们 PHP 程序员现有的认知里,Swoole 作为一个基于 C/C 语言编写的扩展程序,性能居然落后了…

MySQL:库表操作

MySQL:库表操作 库操作查看创建字符编码集 删除修改备份 表操作创建查看删除修改 库操作 查看 查看存在哪些数据库: show databases;示例: 查看自己当前处于哪一个数据库: select database();示例: 此处由于我不处于任…

java启动shell脚本

检查demo.jar进程是否在运行 PID$(ps aux | grep ‘demo-v1’ | grep -v grep | awk ‘{print $2}’) if [ -z “$PID” ]; then echo “demo-v1 进程未运行” else echo “正在杀死 demo-v1 进程 $PID” kill -9 $PID fi rm /app/demo-v1.jar -rf mv /app/bak/demo-v1.jar …

全国区块链职业技能大赛国赛考题前端功能开发

任务3-1:区块链应用前端功能开发 1.请基于前端系统的开发模板,在登录组件login.js、组件管理文件components.js中添加对应的逻辑代码,实现对前端的角色选择功能,并测试功能完整性,示例页面如下: 具体要求如下: (1)有明确的提示,提示用户选择角色; (2)用户可看…

图像分类算法概述:深度学习方法

图像分类算法概述:深度学习方法 图像分类是计算机视觉中的一个基本任务,近年来随着深度学习的发展,图像分类算法取得了巨大的进步。本文将概述主要的深度学习图像分类算法。 #mermaid-svg-hRUH32Xj8pn0L9ug {font-family:"trebuchet ms…

关于redis单线程却能支持高并发业务的原因

Redis 虽然是单线程的,但它能够支持大并发主要是因为以下几个原因: 非阻塞 I/O:Redis 使用了非阻塞的 I/O 处理方式。在执行输入输出操作时,Redis 会向操作系统发出非阻塞式的系统调用(如 epoll 或 kqueue)…

代理 IP 的注意事项

1.代理 IP 可能存在不稳定性 由于代理 IP 是通过网络连接到远程服务器的,因此可能会存在网络不稳定的情况。在使用代理 IP 的过程中,我们需要注意监测代理 IP 是否正常工作,如果出现问题需要及时更换代理 IP。 2.代理 IP 可能存在安全问题 由…

【MySQL-20】关于触发器,你需要知道这些——>定义(创建&查看&删除) 触发器,将变更日志插入日志表中

前言 大家好吖,欢迎来到 YY 滴MySQL系列 ,热烈欢迎! 本章主要内容面向接触过C的老铁 主要内容含: 欢迎订阅 YY滴C专栏!更多干货持续更新!以下是传送门! YY的《C》专栏YY的《C11》专栏YY的《Lin…

记录一下在Hyper-v中动态磁盘在Ubuntu中不完全用到的问题(扩展根目录)

在之前给hyper虚拟机的Ubuntu分配磁盘有20G; 后来在Ubuntu中查看磁盘发现有一个分区没用到: 贴的图片是完成扩展后的 之前这里是10G,然后有个dev/sda4的分区,也是10G,Type是Microsoft Basic Data; …

植物神经紊乱?别担心,跟我一起轻松锻炼放松吧!

🌼哈喽,小伙伴们!最近我遇到了一个小问题,就是植物神经紊乱,搞得我整个人都不好了😣。但是,我可是个爱生活、爱自己的小太阳,怎么可能轻易被打败呢?🌞 &#…

私家车位共享系统小程序的设计

管理员账户功能包括:系统首页,个人中心,用户管理,车辆信息管理,车辆类型管理,车位信息管理,订单信息管理,系统管理 微信端账号功能包括:系统首页,车辆信息&a…

分享 2 个 .NET EF 6 只更新某些字段的方法

前言 EF 更新数据时,通常情况下,是更新全部字段的,但实际业务中,更新全部字段的情况其实很少,一般都是修改其中某些字段,所以为了实现这个目标,很多程序员通常会这样作: 先从数据库…

ffmpeg中的超时控制

在FFmpeg库中,很多函数没有直接的参数可以设置超时。 那么有哪些函数可以通过设置 AVFormatContext 的 interrupt_callback 来实现超时控制? avformat_open_input: 打开输入文件或流。这个函数会阻塞,尤其是在网络流的情况下&…

Robot Operating System——借用内存型消息

大纲 功能和工作原理源码分析POD特点POD 类型的优点 非POD特点 生成并发布“借用内存型消息”POD类型非POD类型 在ROS 2中,"loaned message"是一种消息传递机制,用于在发布者(publisher)和订阅者(subscriber…

HarmonyOS应用开发者高级认证,Next版本发布后最新题库 - 单选题序号2

基础认证题库请移步:HarmonyOS应用开发者基础认证题库 注:有读者反馈,题库的代码块比较多,打开文章时会卡死。所以笔者将题库拆分,单选题20个为一组,多选题10个为一组,题库目录如下,…

NFT革命:数字资产的确权、营销与元宇宙的未来

目录 1、NFT:数字社会的数据确权制度 2、基于低成本及永久产权的文化发现 3、PFP:从“小图片”到“身份表达”,再到社区筛选 4、透明表达:NFT 在数字化营销中的商业价值 5、可编程性:赋予 NFT 无限可能的应用 5.…

PTA - 输出元组内指定值

输入一序列数字,以空格分隔开,将其转换为元组进行操作,输出元组内7的倍数及个位是7的数。 输入格式: 输入多个自然数,以空格分隔。 输出格式: 查找元组内7的倍数及个位是7的数输出,以空格分隔。 输入样例: 在这里…