2021版吴恩达深度学习课程Deeplearning.ai 05序列模型 12.5

学习内容

05.序列模型

1.1 为什么用序列模型

1.序列模型常见的应用
image.png

1.2 注释 notation

1.
*T_x(i)表示训练样本x(i)的序列长度,T_y(i)表示target(i)的序列长度
image.png
2.训练集表示单词的方式
*构建字典的方式
*在训练集中查找出现频率最高的单词
*网络搜集常用字典
3.如果遇到不在字典中的单词,需要创建一个新的标记,unknown word伪单词,用标记
image.png

1.3 循环神经网络模型

1.标准神经网络并不适合用于解决序列问题
不同的例子中输入输出数据的长度不一,虽然可以通过0-padding的方式解决,但不是好的表达方式
并不共享已学习的数据(如harry已识别出是人名,希望不用再次识别,但标准神经网络模型并不解决这一问题)
image.png
2.简单循环神经网络模型
在每一时间步t,根据输入单词x和上一时间步的激活值a,计算得到y
a<0>初始化为0向量是常见的选择
每个时间步的参数共享,激活值的水平联系由参数waa决定,输入与隐藏层的联系由参数wax决定,输出由wya决定
当前循环神经网络模型的缺点:只使用了当前序列之前的信息做出预测,如果存在如图的teddy示例,则无法判断
image.png
3.前向传播
a=g1(W_aaa+W_ax
x+b_a)
y_hat=g2(W_yaa+b_y)
image.png
4.符号简化
W_a的简化
W_aa.shape=(100,100)``W_ax.shape=(100,10000)
W_a=[W_aa,W_ax]``W_a.shape=(100,10100)
[a,x]的简化
a<t-1>.shape=(100,n)
x<t>.shape=(10000,n)
[a<t-1>,x<t>].shape=(10100,n)
*W_a*[a<t-1>,x<t>]=W_aa*a<t-1>+W_ax*x<t>image.png
5.RNN前向传播示意图
image.png

1.4 通过时间的反向传播

1.计算图
*单个元素的损失函数L(y_hat<t>,y<t>)=-y<t>*log(y_hat<t>)-(1-y<t>)*log(1-y_hat<t>)
image.png
2.cache与具体计算
image.png

1.5 不同类型的RNNs

1.RNN有许多的架构类型,用于解决T_x和T_y长度不匹配的不同问题
*many-to-many类型Tx=Ty,常见应用:命名实体识别
*many-to-many类型Tx!=Ty,常见应用:机器翻译,网络结构说明:网络由2部分组成:decoder和encoder
*many-to-one类型Tx>Ty,常见应用:评分/情感分析,网络结构说明:RNN网络可简化,仅需要最后时间步的输出
*one/NULL-to-many类型Tx<Ty,常见应用:音乐生成,网络结构说明:输入数量为1,细节:上一层的输出也可以喂给下一层,作为输入
image.png

1.6 语言模型和序列生成

1.语言模型用于生成某个特定的句子出现的概率,它的输入是文本序列y<1> y<2> y<3> y<4> ... y<T_y>(一般对于语言模型,用y表示输入更好),语言模型会估计序列中各个单词出现的概率
image.png
2.通过RNN建立语言模型,训练集:语料库
3.我们需要对训练集的句子进行标记化:
*建立一个字典,将对应的单词转化为one-hot向量
需要注意的是,我们往往定义句子的末尾为<EOS>结束标记
.符号可以作为输入,也可以不作为输入
*对于未识别的字符,我们将他们作为一个整体,都用UNK标记,计算他们整体的概率,而不单独对某一未标记字符计算其概率
image.png
4.通过RNN模型构造
image.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/212955.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【C语言快速学习基础篇】之一基础类型、进制转换、数据位宽

文章目录 一、基础类型(根据系统不同占用字节数会有变化)1.1、有符号整形1.2、无符号整形1.3、字符型1.4、浮点型1.5、布尔型 二、进制转换2.1、二进制2.2、八进制2.3、十进制2.4、十六进制2.5、N进制2.6、进制转换关系对应表 三、数据位宽3.1、位3.2、字节3.3、字3.4、双字3.5…

程序员常用英文单词

英语对于程序员来说多么重要应该无需过多解释了&#xff0c;把近期在网上收集到的分享到这里供大家学习交流。 PS&#xff1a;感谢原作者的收集&#xff0c;谢谢。 A abstract 抽象的 abstract base class (ABC) 抽象基类abstract class 抽象类 abstraction 抽象、抽象物、抽象…

【数据结构高阶】红黑树

目录 一、红黑树的概念 二、红黑树的性质 2.1 红黑树与AVL树的比较 三、红黑树的实现 3.1 红黑树节点的定义 3.2 数据的插入 3.2.1 红黑树的调整思路 3.2.1.1 cur为红&#xff0c;f为红&#xff0c;g为黑&#xff0c;u存在且为红 3.2.1.2 cur为红&#xff0c;f为红&am…

【重点】【LCA】236. 二叉树的最近公共祖先

题目 class Solution {public TreeNode lowestCommonAncestor(TreeNode root, TreeNode p, TreeNode q) {if (root null || root p || root q) {return root;}TreeNode left lowestCommonAncestor(root.left, p, q);TreeNode right lowestCommonAncestor(root.right, p, …

【重点】【DFS】124.二叉树中的最大路径和

题目 和求二叉树直径相同套路 class Solution {private int max Integer.MIN_VALUE;public int maxPathSum(TreeNode root) {if (root null) {return 0;}dfs(root);return max;}// 返回经过root的单边分支最大和public int dfs(TreeNode root) {if (root null) {return 0;}…

IT新闻资讯系统,使用mysql作为后台数据库,此系统具有显示数据库中的所有信息和删除两大功能。

表的准备&#xff1a; -- MySQL Administrator dump 1.4 -- -- ------------------------------------------------------ -- Server version 5.1.40-community /*!40101 SET OLD_CHARACTER_SET_CLIENTCHARACTER_SET_CLIENT */; /*!40101 SET OLD_CHARACTER_SET_RESULTSCHAR…

LTP测试

LTP 测试 LTP套件是由 Linux Test Project 所开发的一套系统测试套件。它基于系统资源的利用率统计开发了一个测试的组合,为系统提供足够的压力。通过压力测试来判断系统的稳定性和可靠性。压力测试是一种破坏性的测试,即系统在非正常的、超负荷的条件下的运行情况 。用来评估…

mysql库名规范

mysql库名的一些规范和建议&#xff1a; 库名以小写字母、数字、下划线组成&#xff0c;不要以数字开头。建议不要超过32个字符&#xff0c;但尽量用简短的名称。因为很多地方用到库名&#xff0c;如果库名太长&#xff0c;容易出错。库名选择有意义的名称&#xff0c;尽量与应…

55.手写实现grpc连接池以及gin和grpc交互

文章目录 一、简介前置说明 二、敏感词过滤服务1、定义sensitive.proto文件2、protoc生成pb.go文件3、sensitive服务端实现 三、关键词匹配服务1、编写keywords.proto文件2、生成pb.go文件3、keywords服务端实现 四、gin web 路由服务1、新建grpcpool服务作为gin web服务2、根据…

GEE影像升尺度(10m->250m)

GEE影像升尺度&#xff08;10m->250m&#xff09; 代码 var ext /* color: #d63000 *//* shown: false *//* displayProperties: [{"type": "rectangle"}] */ee.Geometry.Polygon([[[108.74625980473367, 28.562445155322063],[108.74625980473367, …

【MySQL】之死锁问题及其解决方案

前言 数据库死锁问题是我们老生常谈的问题了&#xff0c;在我们实际开发过程中经常会遇到&#xff0c;为了尽量避免出现死锁&#xff0c;我们需要了解出现死锁的场景。同时&#xff0c;如果线上出现了死锁之后怎么去分析、排查和解决&#xff0c;下面我就这两点介绍一下。 一、…

ubuntu22.04 怎么开启SSH服务

在 Ubuntu 22.04 LTS 中&#xff0c;默认情况下不会自动启动 SSH 服务。如果你想通过 SSH 访问你的 Ubuntu 系统&#xff0c;你需要手动安装 SSH 服务器&#xff0c;并确保 22 端口&#xff08;SSH 的默认端口&#xff09;是开放的。以下是必要的步骤&#xff1a; 安装 SSH 服…

Java 多线程之同步(锁)相关类总结

文章目录 一、概述二、volatile 可见性/有序性三、synchronized 互拆锁/排他锁/非观锁四、DCL&#xff08;Double-Checked Locking&#xff09;五、CAS&#xff08;Compare and Set&#xff09;六、ReentrantLock 可重入锁/公平/非公平锁七、ReentrantReadWriteLock 读写锁/共享…

Day56力扣打卡

打卡记录 数对统计&#xff08;DP状态压缩&#xff09; 参考文献 #include <bits/stdc.h>using namespace std;void solve(){int n;cin >> n;map<int, int> mapp;vector<int> a(n);for (auto& x : a){cin >> x;mapp[x] ;}vector<array&…

使用WebyogSQLyog使用数据库

数据库 实现数据持久化到本地&#xff1a; 使用完整的管理系统统一管理&#xff0c; 数据库&#xff08;DateBase&#xff09;&#xff1a; 为了方便数据存储和管理&#xff08;增删改查&#xff09;&#xff0c;将数据按照特定的规则存储起来 安装WebyogSQLyog -- 创建数…

101基于matlab的极限学习机ELM算法进行遥感图像分类

基于matlab的极限学习机ELM算法进行遥感图像分类&#xff0c;对所获取的遥感图片进行初步分类和最终分类。数据可更换自己的&#xff0c;程序已调通&#xff0c;可直接运行。

如何使用 Explain 分析 SQL 语句?

如何使用 Explain 分析 SQL 语句&#xff1f; MySQL中EXPLAIN命令是我们分析和优化SQL语句的利器。 如何使用EXPLAIN来分析SQL语句&#xff0c;接下来有15个例子&#xff0c;一起学习呗 1. EXPLAIN的基本使用 EXPLAIN可以用于分析MySQL如何执行一个SQL查询&#xff0c;包括如…

ElasticSearch之cat repositories API

命令样例如下&#xff1a; curl -X GET "https://localhost:9200/_cat/repositories?vtrue&pretty" --cacert $ES_HOME/config/certs/http_ca.crt -u "elastic:ohCxPHQBEs5*lo7F9"执行结果输出如下&#xff1a; id type repo1 fs repo2 s3查…

python+gdal地理坐标转投影坐标

1 前言 地理坐标系&#xff0c;是使用三维球面来定义地球表面位置&#xff0c;以实现通过经纬度对地球表面点位引用的坐标系。 地理坐标系经过地图投影操作后就变成了投影坐标系。而地图投影是按照一定的数学法则将地球椭球面上点的经维度坐标转换到平面上的直角坐标。 2 流程…