pytorch-LSTM

目录

  • 1. RNN存在的问题
  • 2. LSTM的由来
  • 3. LSTM门
    • 3.1 遗忘门
    • 3.2 输入门
    • 3.3 输出门
  • 4. LSTM是如何减轻梯度弥散问题

1. RNN存在的问题

如下图:RNN能满足预测下一个单词,但是对于获取更多的上下文信息就做不到了。
在这里插入图片描述

2. LSTM的由来

RNN能做到短时记忆即short time memory,而LSTM相对RNN能够处理更长的时间序列,因此被称为LSTM即long short time memory

RNN有一串重复的模块,这些模块使用统一的权重Whh和Wih
在这里插入图片描述
LSTM也有一连串的类似结构,但是重复模块是不同的结构,它用四个单层的神经网络替代,并以指定的方式相互作用。它有三个门,分别是遗忘门、输入门和输出门。
在这里插入图片描述

3. LSTM门

门是一种信息过滤方式,他们由sigmod函数和点乘操作组成,sigmod范围是0~1,因此通过sigmod函数可以控制输出。
在这里插入图片描述

3.1 遗忘门

遗忘门ft是ht-1和xt经过一系列运算,再经过sigmod函数得到的
在这里插入图片描述

3.2 输入门

输入门由两部分组成,一个是it输入门层,它是通过ht-1和xt经过一系列运算,再经过sigmod函数得到的。
另一个是新的输入Ct,这里没有直接使用xt作为输入,而是通过ht-1和xt经过一系列运算,再经过tanh函数得到新的输入Ct

在这里插入图片描述
最后输出Ct = ft*Ct-1 + it*Ct
在这里插入图片描述

3.3 输出门

输出门ot也是通过ht-1和xt经过一系列运算,再经过sigmod函数得到的。
最后的输出ht = ot*tanh(Ct)
注意:LSTM中ht已经不是memory了,而是输出,Ct才是memory
在这里插入图片描述
可以看出每个门的运算都与ht-1和xt相关,并且通过sigmod函数来控制门的开度,最后的输出ht使用了tanh
在这里插入图片描述
在这里插入图片描述
输入们和遗忘门门的组合,会得到不同的值,如下图:
在这里插入图片描述

4. LSTM是如何减轻梯度弥散问题

从梯度计算公式可以知道,RNN的梯度中有Whh的累乘,当Whh<1时,就可能出现梯度弥散,而LSTM梯度由几项累加得到,即使W很小也很难出现梯度弥散。
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/871402.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Node.js_mongodb数据迁移

mongodb数据迁移 命令行工具介绍单个迁移整体迁移从mongodb迁移到mysql随着项目业务需求的不断增长变化,数据会在不同的数据库之间互相迁移。本文将介绍mysql和mongodb之间的数据迁移,已在win11系统中实践过。 命令行工具介绍 单个迁移 mongoexport:把一个集合(collectio…

适合创业公司使用的wordpress主题

对于创业公司来说&#xff0c;‌选择一个适合的WordPress主题至关重要&#xff0c;‌它不仅能够提升公司网站的外观和用户体验&#xff0c;‌还能帮助优化搜索引擎排名&#xff0c;‌从而吸引更多的潜在客户。‌以下是一些推荐的WordPress主题&#xff0c;‌特别适合创业公司使…

如何使用断言(Assertions)进行调试

断言&#xff08;Assertions&#xff09;是编程中一种非常有用的调试工具&#xff0c;它允许开发者在代码中设置检查点&#xff0c;以确保程序在特定点上的状态符合预期。如果断言失败&#xff08;即检查点的条件为假&#xff09;&#xff0c;程序通常会抛出一个错误或者异常&a…

抖音运营_商品标题优化关键词优化

一 为什么要优化标题&#xff1f; 标题是爆单的核心因素 有搜索的地方就有关键词检索 抖音现在重点扶持搜索板块 关键词检索不仅为了 消费者、也为了 达人。 二 关键词的组成和原则 1 核心词 n. &#xff08;你卖的东西&#xff09; 示例&#xff1a;连衣裙 2 属性词 …

Linux -- 认识 gdb

目录 前言&#xff1a; Debug 模式和 Release 模式 怎么安装 gdb&#xff1f;&#xff08;CentOS7&#xff09; 怎么使用 gdb&#xff1f; 进入 gdb 模式&#xff1a; 查看代码&#xff1a; 执行代码&#xff1a; 断点&#xff1a; 打断点&#xff1a; 查看断点&#x…

前端埋点数据收集和数据上报

原文地址 什么是埋点 学名叫时间追踪(Event Tracking), 主要针对用户行为或者业务过程进行捕获&#xff0c;处理和发送相关技术及实施过程. 埋点是数据领域的一个专业术语&#xff0c;也是互联网领域的俗称&#xff0c;是互联网领域的俗称 埋点是产品数据分析的基础&#xf…

深度解读李彦宏的“不要卷模型,要卷应用”

深度解读李彦宏的“不要卷模型&#xff0c;要卷应用” —— AI技术的应用之道 引言 在2024世界人工智能大会的舞台上&#xff0c;李彦宏的“不要卷模型&#xff0c;要卷应用”言论犹如一石激起千层浪&#xff0c;引发了业界对AI技术发展路径的深思。本文将深入探讨这一观点&a…

Eagle 4.0 更新了哪些功能,值得购买吗?

这个全新的版本带来了一系列重磅级别的更新&#xff0c;包括全新的「插件系统」、「全新的 UI 风格」以及「AI 工具」等。所有这些&#xff0c;都是为了提供给用户更加优质的使用体验&#xff0c;让工作的流程更加流畅&#xff0c;更加高效。 我们的团队始终倾听用户的声音&am…

C语言:指针详解(5)

目录 一、sizeof()函数和strlen()函数的对比 二、数组和指针笔试题解析 三、指针运算笔试题解析 正文开始 一、sizeof()函数和strlen()函数的对比 1.sizeof()函数 在学习操作符的时候&#xff0c;我们了解了sizeof()函数。sizeof()函数是用来计算变量所占内存空间大小的&a…

Python自定义可切片的类

Python自定义可切片的类 在Python中,要创建一个自定义可切片的对象,你需要实现 __getitem__ 方法。这个方法允许对象支持索引操作,包括切片。 下面是一个简单的例子,展示了如何创建一个支持切片操作的自定义类: class MyList:def __init__(self, data):self.data = dat…

开源 Wiki 系统 InfoSphere 2024.01.1 发布

推荐一套基于 SpringBoot 开发的简单、易用的开源权限管理平台&#xff0c;建议下载使用: https://github.com/devlive-community/authx 推荐一套为 Java 开发人员提供方便易用的 SDK 来与目前提供服务的的 Open AI 进行交互组件&#xff1a;https://github.com/devlive-commun…

Java高风险之在用户界面(UI)中显示敏感数据(Display of sensitive data in the user interface)

风险介绍 Display of sensitive data in the user interface,在用户界面(UI)中显示敏感数据可能带来多种风险,这可能导致信息泄露和不必要的风险,因为敏感数据可能会被截屏、监控软件捕获、或者被旁观者看到。这些风险涉及数据泄露、身份盗用、经济损失和法律处罚等。 数…

算法笔记——LCR

一.LCR 152. 验证二叉搜索树的后序遍历序列 题目描述&#xff1a; 给你一个二叉搜索树的后续遍历序列&#xff0c;让你判断该序列是否合法。 解题思路&#xff1a; 根据二叉搜索树的特性&#xff0c;二叉树搜索的每一个结点&#xff0c;大于左子树&#xff0c;小于右子树。…

男女相貌之秘 -高直上人

描述 高直上人&#xff0c;一个富有才华的老师&#xff01; 对于大家的学习有不可多得的帮助。 内容 目前主要的内容以面相为主&#xff0c;对于学习面相有比较大的帮助&#xff01; 但是网络上面错综复杂&#xff0c;很多老旧的版本影响学习&#xff01; 而这里我整理了相…

软考高级第四版备考--第18天(规划风险管理)Plan Risk Management

定义&#xff1a;定义如何实施项目风险管理活动的过程 作用&#xff1a;确保风险管理的水平、方法和可见度与项目风险程度相匹配&#xff0c;与对组织和其他干系人的重要程度相匹配。 输入&#xff1a;1、项目管理计划&#xff08;在规划项目风险管理时&#xff0c;应考虑所有…

“存算分离“和“湖仓一体“

"存算分离"和"湖仓一体"是在大数据领域中常见的两种数据架构设计理念&#xff0c;用于处理和管理大数据的存储和分析需求。 1. 存算分离&#xff08;StorageCompute Separation&#xff09;&#xff1a; 定义&#xff1a;存算分离是一种架构设计思想&#…

Python3.6.6 OpenCV 将视频中人物标记或者打马赛克或加图片并保存为不同格式

1、轻松识别视频人物并做出标记 需安装face_recongnition与dlib&#xff0c;过程有点困难&#xff0c;还请网上查找方法 import face_recognition import cv2 #镜像源 -i https://pypi.mirrors.ustc.edu.cn/simple # 加载视频 video_file E:\\videos\\1.mp4 video_capture …

Qt下使用OpenCV的鼠标回调函数进行圆形/矩形/多边形的绘制

文章目录 前言一、设置imshow显示窗口二、绘制圆形三、绘制矩形四、绘制多边形五、示例完整代码总结 前言 本文主要讲述了在Qt下使用OpenCV的鼠标回调在OpenCV的namedWindow和imshow函数显示出来的界面上进行一些图形的绘制&#xff0c;并最终将绘制好的图形显示在QLabel上。示…

UE4 解决创建布料报错:三角形退化

**【问题】**创建创建布料时报错&#xff1a;三角形退化 【方法】 1.要重新绑定&#xff1a;导入到ue4为静态网格体&#xff0c;勾选“移除退化”&#xff0c;再导出fbx&#xff0c;再重新绑定 2.不用重新绑定&#xff1a;使用排除法&#xff08;费时&#xff09;&#xff0c…

全栈物联网项目:结合 C/C++、Python、Node.js 和 React 开发智能温控系统(附代码示例)

1. 项目概述 本文详细介绍了一个基于STM32微控制器和AWS IoT云平台的智能温控器项目。该项目旨在实现远程温度监控和控制,具有以下主要特点: 使用STM32F103微控制器作为主控芯片,负责数据采集、处理和控制逻辑采用DHT22数字温湿度传感器,精确采集环境温湿度数据通过ESP8266 W…