动手学深度学习54 循环神经网络

动手学深度学习54 循环神经网络

  • 1. 循环神经网络RNN
    • 2. QA

1. 循环神经网络RNN

h t h_t ht h t − 1 h_{t-1} ht1 x t − 1 x_{t-1} xt1有关
x t x_t xt h t h_t ht x t − 1 x_{t-1} xt1 有关
在这里插入图片描述
怎么把潜变量变成RNN–假设更简单
潜变量和隐变量的区别:隐变量通常是现实生活中存在的东西,只是我们没有观察到;潜变量可指代现实生活中不存在(人为创造)的东西。
隐变量:一个向量。
在这里插入图片描述
输出【o_t】发生在观察【x_t】之前。根据o_t和x_t的值计算损失。
φ:激活函数。输出不需要激活函数。
RNN: 在MLP中加了一项 W h h h t − 1 W_{hh}h_{t-1} Whhht1, 和前一个时间状态的 h t − 1 h_{t-1} ht1发生关系。所有x的信息都存储到h里面。 W h h W_{hh} Whh存储时序信息。
在这里插入图片描述
n个输出的多分类交叉熵损失平均值,再取指数–困惑度。
做指数,损失数值会变大。
困惑度=1,下面候选词词概率最高。=2 候选两个词都很有可能。
在这里插入图片描述
clipping
g:表示所有层的梯度放在一起
theta:=5 或者=10
g值正常,不做处理,g过大,将值处理成theta,保证g不会过大–不会超过theta值,防止梯度爆炸。
在这里插入图片描述
在这里插入图片描述
可视化RNN:
https://www.bilibili.com/video/BV1z5411f7Bm/?vd_source=eb04c9a33e87ceba9c9a2e5f09752ef8

2. QA

循环神经网络可以认为是一个简单的递归网络。递归理解为何树一样的东西。
在这里插入图片描述
在这里插入图片描述
14: tracking? 目标追踪

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/43779.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring Boot中处理同名Bean冲突的解决办法

核心问题:在Spring Boot项目中,同名Bean的冲突可能导致ConflictingBeanDefinitionException异常。 解决策略: 更换类名: 当两个类未手动设置Bean名称时,修改其中一个类名以避免冲突。 手动设置Bean的名称&#xff1a…

数据结构和算法,双向链表的实现增删改查(kotlin版)

数据结构和算法&#xff0c;双向链表的实现增删改查(kotlin版) 1.定义接口&#xff0c;我们需要实现的方法 interface LinkedListAction<E> {fun push(e: E)fun size(): Intfun getValue(index: Int): E?fun insert(index: Int,e: E)fun remove(index: Int) }2.定义节…

【动态规划Ⅴ】二维数组的动态规划——0/1矩阵、最大正方形

二维数组的动态规划——0/1矩阵、最大正方形 最大正方形1277. 统计全为 1 的正方形子矩阵221. 最大正方形 01矩阵542. 01 矩阵 最大正方形 下面两个题目是非常相似的&#xff0c;只是一个统计正方形数目&#xff0c;一个统计最大正方形的面积。 1277. 统计全为 1 的正方形子矩…

java树状结构 list 如何判断是第几级

解决方案 算法思路 为了判断树状结构中的列表是第几级&#xff0c;我们可以采用递归的方式遍历每个节点&#xff0c;计算其深度。具体来说&#xff0c;对于每个节点&#xff0c;我们可以向上遍历其父节点&#xff0c;直到根节点&#xff0c;同时累计深度值。最终得到的深度值就…

MySQL中记录(Documents)的基本操作——添加记录和查找记录

在MySQL中&#xff0c;我们通常不称数据表中的记录为“文档”&#xff0c;而是称之为“行”或“记录”。记录表示为JSON对象。在内部&#xff0c;它们以高效的二进制格式存储&#xff0c;从而实现快速查找和更新。 添加记录 使用add&#xff08;&#xff09;方法可以将一个记…

[C++基础]C++ 10个常用案例

1. Hello World 这是每个编程语言学习者都会遇到的第一个程序&#xff0c;用于展示如何在屏幕上打印“Hello, World!”。 #include<iostream> int main() { std::cout << "Hello, World!\n"; return 0; } 2. 变量声明与赋值 展示如何在C中声明…

打卡第7天-----哈希表

继续坚持✊,我现在看到leetcode上的题不再没有思路了,真的是思路决定出路,在做题之前一定要把思路梳理清楚。 一、四数相加 leetcode题目编号:第454题.四数相加II 题目描述: 给定四个包含整数的数组列表 A , B , C , D ,计算有多少个元组 (i, j, k, l) ,使得 A[i] + B[j…

MVC拦截器、ThreadLocal来进行登录拦截

MVC拦截器、ThreadLocal来进行登录拦截 1. 对登录进行拦截1.1 什么是ThreadLocal1.2 定义UserHolder 类&#xff0c;来封装ThreadLocal方法1.3 拦截器WebMvcConfigurer 的配置1.4 登录的配置&#xff0c;当碰到拦截的方法的时候调用1.5 UserServiceImpl1.6 controller&#xff…

RoPE旋转位置编码从复数到欧拉公式

第二部分 从复数到欧拉公式 先复习下复数的一些关键概念 我们一般用表示复数&#xff0c;实数a叫做复数的实部&#xff0c;实数b叫做复数的虚部 复数的辐角是指复数在复平面上对应的向量和正向实数轴所成的有向角 的共轭复数定义为&#xff1a;&#xff0c;也可记作&#xff0…

分布式计算中的数据分片和副本机制

分布式计算中的数据分片和副本机制 在分布式计算中&#xff0c;数据分片&#xff08;Data Sharding&#xff09;是指将大量数据分割成较小的、独立的部分&#xff0c;每个部分存储在一个单独的节点或机器上。这种技术主要用于数据库系统中&#xff0c;比如哈希分区或范围分区&…

识别色带后执行相应命令

识别到红色和绿色色带后&#xff0c;会执行相应的命令以调整机器狗的行为&#xff0c;具体如下&#xff1a; 红色色带识别&#xff1a; 在 track 模式下&#xff0c;当识别到红色色带时&#xff0c;机器人会进入 divergeright 模式&#xff0c;表示机器人需要在接下来的行动中向…

AI发展的新方向:从卷模型到卷应用

在2024年7月4日于上海世博中心举办的世界人工智能大会暨人工智能全球治理高级别会议全体会议上&#xff0c;百度创始人、董事长兼首席执行官李彦宏发表了一段引人深思的演讲。他在产业发展主论坛上提出&#xff1a;“大家不要卷模型&#xff0c;要卷应用&#xff01;”这句话道…

刷题——序列化二叉树

序列化二叉树_牛客题霸_牛客网 char*传入&#xff0c;以 “!"分割&#xff0c;以"#"表示无 /* struct TreeNode {int val;struct TreeNode *left;struct TreeNode *right;TreeNode(int x) :val(x), left(NULL), right(NULL) {} }; */ class Solution { public…

对象存储-MinIO-学习-01-安装部署

目录 一、介绍 二、环境信息 三、下载安装包 1、MinIO官网下载地址 2、选择版本 &#xff08;1&#xff09;MinIO Server &#xff08;2&#xff09;MinIO Client &#xff08;3&#xff09;MinIO SDK 四、MinIO SDK安装步骤 1、安装minio库 2、导入minio库报错&…

docker笔记1

docker笔记1 一、为什么要学docker?二、docker是什么三、docker安装 一、为什么要学docker? 在过去&#xff0c;开发人员编写的代码在不同的环境中运行时常常面临一些问题&#xff0c;例如“在我的机器上可以运行&#xff0c;但在你的机器上却不行”的情况。这种问题部分原因…

2024全网最全面及最新且最为详细的网络安全技巧五 之 SSRF 漏洞EXP技巧,典例分析以及 如何修复 (下册)———— 作者:LJS

五.SSRF 漏洞EXP技巧&#xff0c;典例分析以及 如何修复 (下册) 目录 五.SSRF 漏洞EXP技巧&#xff0c;典例分析以及 如何修复 (下册) 5.4gopher 协议初探 0x01 Gopher协议 0x02 协议访问学习 复现环境 centos7 kali 2018 发送http get请求 发送http post请求 5.5 SSRF…

isaac sim 与 WLS2 ros2实现通信

Omniverse以及isaac还是windows下使用顺手一点&#xff0c;但是做跟ros相关的开发时候&#xff0c;基本就得迁移到ubuntu下了&#xff0c;windows下ros安装还是过于复杂&#xff0c;那不想用双系统或者ubuntu或者虚拟机&#xff0c;有啥别的好方法呢&#xff1f;这里想到了wind…

安全求交集PSI

安全求交集定义 求交集的PSI&#xff1a;交集可以被两方看见或其中一方看见&#xff0c;非交集进行保护有两方的PSI半诚实的PSI&#xff1a;攻击者要严格遵守协议&#xff0c;在此基础上得到他人的秘密是做不到的 Two-Party Semi-Honest PSI 挑战一&#xff1a;隐藏非交集元素…

软件测试之冒烟测试

&#x1f345; 视频学习&#xff1a;文末有免费的配套视频可观看 &#x1f345; 点击文末小卡片&#xff0c;免费获取软件测试全套资料&#xff0c;资料在手&#xff0c;涨薪更快 1. 核心 冒烟测试就是完成一个新版本的开发后&#xff0c;对该版本最基本的功能进行测试&#x…

使用树莓派进行python开发,控制电机的参考资料

网站连接&#xff1a;https://www.cnblogs.com/kevenduan?page1 1、简洁的过程步骤&#xff0c; 2、有代码示例&#xff0c; 3、有注意事项&#xff0c;