LSTM时间序列基础学习

时间序列

时间序列可以是一维,二维,三维甚至更高维度的数据,在深度学习的世界中常见的是三维时间序列,这三个维度分别是(batch_size,time_step,input_dimensions)。

其中time_step是时间步,它是时间序列中的序列长度(seqence_length)。

时间序列是一种序列数据。序列数据是样本与样本之间有着特定的逻辑联系的数据,序列数据通常按照样本与样本之间的逻辑顺序排列,且这种顺序不能被轻易修改和打乱的数据。在序列数据上,我们不仅要学习特征与标签之间的关联,还要学习样本与样本之间的关联,因为序列数据中的样本会根据排序顺序影响彼此,并最终影响到标签的输出和算法的结果。

对于时间序列数据而言,样本与样本之间的关系就是上一个时间点与下一个时间点之间的关系,因此循环神经网络家族采取的手段是——依次处理时间点,并将上一个时间点的信息传递融入下一个时间点的信息的运算过程,使得下一个时间点能够获得上一个时间点传来的信息,从而在两个时间点中建立联系。

LSTM基本架构与原理

LSTM算法的结构本身十分繁复,无论是从网络架构还是数学原理角度出发,我们都很难使用简单的语言将LSTM完整呈现。

设计LSTM的诉求:
创造一个全新的架构,一套全新的数据流,为循环神经网络赋予选择性记忆和选择性传递信息的能力。选择性包含多层含义。

1.循环网络必须自行选择吸纳多少新信息,只留重点,拒绝照单全收

2.循环网络必须自行选择遗忘多少历史信息,主动遗忘无效内容,保留有效内容

3.循环网络必须自行判断,对当前时间步的预测来说最重要的信息是哪些,并将该信息输出给当前时间步,这样既可以保证当前时间步上的预测是最高效的,也不会影响向下一个时间步传递的信息。

LSTM基本结构

记忆细胞

首先,**LSTM依然是一个循环神经网络,因此LSTM的网络架构与RNN高度相似,同时LSTM也是需要遍历所有时间步,不断完成循环和嵌套的。**但不同的是,RNN由输入层(输入Xt),隐藏层和输出层(输出Yt)构成,而LSTM由输入层(输入Xt),记忆细胞(Memory Cell)和输出层(Yt)构成,其中输入,输出层与RNN的输入,输出层完全一致,而记忆细胞是LSTM独有的结构。
在这里插入图片描述**记忆细胞是LSTM的基本计算单元,在记忆细胞中,我们分割长期信息与短期信息,同时赋予循环网络对信息做选择的能力。**循环网络必须自行决定哪些长期信息会被传递下去,哪些短期信息对当前的预测最为有效,因此在记忆细胞当中,LSTM设置了两个关键变量:

1.主要负责记忆短期信息,尤其是当前时间步信息的隐藏状态h
2.主要负责长期记忆的细胞状态C

在这里插入图片描述

横向上分割为C传递和h传递两条路径;纵向上分为三个不同路径:

1.帮助循环网络选择吸纳多少新信息的输入门
2.帮助循环网络选择遗忘多少历史信息的遗忘门
3.帮助循环网络选择出对当前时间步的预测来说最重要的信息,并将该信息输出给当前时间步的输出门

在这里插入图片描述

遗忘门

**遗忘门是决定要留下多少长期信息C的关键计算单元,其数学本质是令上一个时间步传入的Ct-1乘以[0,1]之间的比例,以此筛选掉部分旧信息。**在这个计算过程中,假设遗忘门令Ct-1乘以0.7,那就是说遗忘门决定了要保留70%的历史信息,遗忘30%历史信息,这30%的信息空间就可以留给全新的信息来使用。

更新细胞状态
当遗忘门决定了哪些信息要被遗忘,输入门决定了哪些信息要被加入到长期记忆后,就可以更新用于控制长期记忆的细胞状态了。

输出门

输出门是从全新的长期信息Ct中筛选出最适合当前时间步的短期信息ht的计算单元,其数字本质是令已经计算好的长期信息Ct乘以[0,1]之间的比例,以此筛选出对当前时间步最有效的信息用于当前时间步的预测。

RNN梯度消失和梯度爆炸
梯度消失和梯度爆炸是RNN在反向传播过程中常见的问题,RNN的反向传播是通过时间的反向传播,其运行流程与一般的反向传播大有不同。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/861691.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jenkins中执行docker命令

1. 修改docker.sock文件的所属组 命令如下: sudo chown root:root docker.sock 2. 对这个文件赋予权限,供其他用户使用,给定权限命令如下: sudo chmod orw docker.sock 3. docker容器映射 这里需要两个文件: 一个…

js-iframe-同源策略-addEventListener-postMessage-父子框架

文章目录 1.同源策略2.不同源解决办法-postMessage不受跨域的影响2.1.addEventListener函数监听消息2.2.父传子-不同源2.3.子传父-不同源 3.通过父页面操作子页面-同源3.1.值3.2.函数 4.通过子页面操作父页面-同源4.1.值4.2.函数 1.同源策略 在HTML页面中,我们有时…

等保主机测评防骗指南(资产调研)

你是否测评时常被运维给忽悠?是否觉得以下的对话耳熟? 你:您好,请问你们的主机资产有哪些,包括服务器、数据库、中间件、应用系统等。 甲:我们资产就这两台服务器,数据库什么的都这上面&#…

中断的“挂起状态”

中断的“挂起状态”(Pending State)是指中断信号已经被系统识别,但尚未被处理器处理的状态。在微控制器或计算机系统中,中断通常是程序外部事件(如硬件设备的信号)触发的信号,用于通知处理器需要…

C++关键字总结

1.数据类型 bool:布尔类型,属于基本类型的整数类型,取值为真和假 true:具有布尔类型的字面量,表示真 false:具有布尔类型的字面量,表示假 char:表示字符型,定义了字节的大小,char表示单字节字符 wchar_t:表…

蛇形矩阵(xmuoj)

描述 输入两个整数n和m,输出一个n行m列的矩阵,将数字11到nm按照回字蛇形填充至矩阵中。 具体矩阵形式可参考样例。 输入 输入共一行,包含两个整数n和m。 输出 输出满足要求的矩阵。 矩阵占n行,每行包含m个空格隔开的整数。…

TMGM:ASIC撤销禁令,TMGM强化合规、重启差价合约服务

TMGM作为差价合约(CFDs)与保证金外汇交易领域的领航者,安全、合规、高效被奉为我集团的终身使命。澳大利亚证券和投资委员会(ASIC)已正式撤销了早前针对TMGM差价合约业务实施的临时止损令。这一误会的解除,…

降低IT运营成本,提升客户体验 |LinkSLA亮相第十届CDIE

6月25-26日,中国数字化创新博览会(CDIE 2024)在上海张江科学会堂举行。本届展览主题为“AI创新,引领商业增长新格局”,旨在交流企业在数字化时代,如何以科技为驱动,在转型中如何把握机遇&#x…

Springboot + Mybatis-Plus代码生成指南

使用 Spring Boot 和 MyBatis-Plus 生成代码&#xff0c;可以大大简化开发流程&#xff0c;可以保持编码的规范性&#xff0c;生成单元测试等。以下是详细步骤&#xff1a; 配置pom.xml <dependency><groupId>com.baomidou</groupId><artifactId>myb…

【D3.js in Action 3 精译】推荐序

作为一名自由职业的数据可视化教育从业人员、咨询顾问和设计师&#xff0c;我从 2000 年代末开始就深深沉浸在数据可视化的各个角落&#xff0c;有幸坐到前排亲眼目睹了巨大的产业变革。数据可视化的技术格局一直在推陈出新。从行业工具的发展演变&#xff0c;到触达受众的可视…

如何利用静力水准仪进行地形沉降测量

地形沉降测量在建筑工程和地质研究中起着至关重要的作用。准确的地形沉降测量可以帮助工程师预测和预防潜在的地基问题&#xff0c;从而保障建筑物的安全和稳定。本文将详细介绍如何利用静力水准仪进行地形沉降测量&#xff0c;并探讨其在实际应用中的优势。 静力水准仪的基本原…

关于数字化营销中做好拓新裂变活动的策划探讨

一、引言 在当今数字化时代&#xff0c;企业面临着日益激烈的市场竞争和不断变化的消费者需求。数字化营销作为一种高效的营销方式&#xff0c;能够以较低的成本触达更广泛的目标受众。而拓新裂变活动则是数字化营销中的关键环节&#xff0c;对于企业快速扩大用户群体、提升品…

购物商城系统

摘要 随着互联网的快速发展&#xff0c;网上购物已经成为人们日常生活中不可或缺的一部分。越来越多的消费者选择在网上购物&#xff0c;享受随时随地的便利和丰富多样的商品选择。然而&#xff0c;随着网上购物用户数量的不断增加&#xff0c;传统的线下商店已经无法满足用户…

国家地表水水质自动监测数据(整理版)

国家地表水水质自动检测实时数据发布系统&#xff0c;发布的数据。含省份、城市、河流、流域、断面名称、监测时间、水温、pH、DO、CODMn、TP、TN、NH3-N、浊度等。 数据介绍&#xff1a; 2014年4月-2020年11月每月60-140个左右的站点有数据&#xff0c;从2020年11月开始&#…

MHA、MMM高可用方案及故障切换

目录 一、MHA高可用方案 1、MHA的组成 2、MHA的工作原理 3、部署MHA架构 第一部分&#xff1a;一主两从数据库架构部署 1、全部更改主机名、初始化操作、开启mysql服务、设置主机名管理、时间同步 2、MySQL服务器做主从复制 3、测试主从效果 第二部分&#xff1a;MHA架…

MySQL建表时的注意事项

以下是我对MySQL建表时的注意事项。其实&#xff0c;建表事项有很多&#xff0c;我的总结如下&#xff1a; 1 存储引擎的选择&#xff0c;一般做开发&#xff0c;都是要支持事务的&#xff0c;所以选择InnoDB 2 对字段类型的选择&#xff1a; ​ 对于日期类型如果要记录时分…

VS Code SSH 远程连接服务器及坑点解决

1,设置密钥参考VS Code SSH 远程连接服务器及坑点解决_vscode-cli-611f9bfce64f25108829dd295f54a6894e87339-CSDN博客 2, 远程服务器需要下载 sudo apt-get install wget sudo apt-get install curl 3,代理设置 https://bobbyhadz.com/blog/error-while-fetching-extensi…

PyTorch nn.MSELoss() 均方误差损失函数详解和要点提醒

文章目录 nn.MSELoss() 均方误差损失函数参数数学公式元素版本 要点附录 参考链接 nn.MSELoss() 均方误差损失函数 torch.nn.MSELoss(size_averageNone, reduceNone, reductionmean) Creates a criterion that measures the mean squared error (squared L2 norm) between each…

Python25 Numpy基础

1.什么是Numpy NumPy&#xff08;Numerical Python 的简称&#xff09;是 Python 语言的一个扩展程序库&#xff0c;支持大量的维度数组与矩阵运算&#xff0c;此外也针对数组运算提供大量的数学函数库。NumPy 的前身是 Numeric&#xff0c;这是一个由 Jim Hugunin 等人开发的…

SAP ALV 负号提前

FUNCTION CONVERSION_EXIT_ZSIGN_OUTPUT. *"---------------------------------------------------------------------- *"*"本地接口&#xff1a; *" IMPORTING *" REFERENCE(INPUT) *" EXPORTING *" REFERENCE(OUTPUT) *"…