神经网络与深度学习——第15章 序列生成模型

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章 序列生成模型,习题还没做先存在这里。

序列生成模型

在这里插入图片描述
在这里插入图片描述

序列概率模型

在这里插入图片描述

序列生成

在这里插入图片描述
在这里插入图片描述

N元统计模型

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

深度序列模型

在这里插入图片描述

模型结构

在这里插入图片描述

嵌入层

在这里插入图片描述
在这里插入图片描述

特征层

在这里插入图片描述
在这里插入图片描述

输出层

在这里插入图片描述

参数学习

在这里插入图片描述

评价方法

在这里插入图片描述

困惑度

在这里插入图片描述
在这里插入图片描述

BLEU算法

在这里插入图片描述
在这里插入图片描述

ROUGE算法

在这里插入图片描述

序列生成模型中的学习问题

在这里插入图片描述

曝光偏差模型

在这里插入图片描述
在这里插入图片描述

训练目标不一致问题

在这里插入图片描述

计算效率问题

在这里插入图片描述
在这里插入图片描述

层次化Softmax

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

重要性采样

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述在这里插入图片描述
在这里插入图片描述

噪声对比估计

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

序列到序列模型

在这里插入图片描述
在这里插入图片描述

基于循环神经网络的序列到序列模型

在这里插入图片描述
在这里插入图片描述

基于注意力的序列到序列模型

在这里插入图片描述

基于自注意力的序列到序列模型

在这里插入图片描述

自注意力

在这里插入图片描述

多头自注意力

在这里插入图片描述

基于自注意力模型的序列编码

在这里插入图片描述
在这里插入图片描述

Transformer模型

在这里插入图片描述
在这里插入图片描述

总结和深入阅读

在这里插入图片描述
在这里插入图片描述

习题

在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/847687.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

redhat8安装cadence遇到的问题

问题1 virtuoso: ERROR: The OA2.2 library directory (/cadence/IC618/share/oa/lib/linux_rhel50_gcc48x_64/opt) does not seem to exist. virtuoso: INFO: You have OA_UNSUPPORTED_PLAT set to "linux_rhel50_gcc48x" in your environment: virtuoso: …

@EnableAuthorizationServer授权服务注解源码分析

文章目录 学习参考EnableAuthorizationServerAuthorizationServerEndpointsConfigurationTokenKeyEndpointRegistrarendpoints&clientDetailsService&configurersAuthorizationEndpoint授权端点TokenEndpoint令牌端点 学习参考 Spring Security框架配置运行流程完整分…

【面试题-007】说一下JVM原理

JVM(Java Virtual Machine,Java虚拟机)是Java语言的一个核心概念,它允许Java代码在不同的操作系统上运行,而不需要为每个平台编写不同的代码。JVM是一种抽象的计算机,它实现了Java语言规范中的所有功能&…

Aethir: 破局算力瓶颈,构建AI时代去中心化云基础设施

科技的每一次飞跃都在重新塑造世界,而近年来,跨越式的技术革新再次引发了深刻的变革,那就是人工智能(AI)。 人工智能已然超越了此前的所有技术概念,成为了继互联网之后的下一个巨大浪潮。从自动驾驶汽车到…

每天复习一点小CTF知识(6.4)

NSSCTF/[FSCTF 2023]夜深人静的时候也会偷偷emo 直接爆破压缩包,先来数字 解压好,一个flag.mp3 mp3隐写,直接干 得一个txt文件直接开

宇泰485中继器光电隔离防雷 工业级RS485信号放大器 UT-2209正品

品牌:other/其他 型号:UT-2209 上市时间:2018-01-01 颜色分类:蓝色 信号延长器,工业级,高性能,RS-485光电隔离中继器,兼容RS-485标准,延长通信距离,即插即用. 性能特点: 内置光电隔离器及DC/DC隔离模块. 采用TVS瞬态电…

读书-《蛤蟆先生去看心理医生》

书名蛤蟆先生去看心理医生作者罗伯特戴博德状态阅读中简介该书借用《柳林风声》的故事主角蛤蟆先生,讲述了他接受心理咨询的故事。作者通过陷入抑郁的蛤蟆先生和心理咨询师苍鹭的互动,探索蛤蟆先生爱炫耀、自卑性格和抑郁情绪的来源,指出童年…

MicroSIP 使用笔记

下载 https://www.microsip.org/ 习惯下载 portable zip 日志 日志非常重要,对查问题有巨大帮助 编辑 microsip.ini, enableLog1 修改 listen 端口 编辑 microsip.ini,sourcePort5060 sip nat 编辑 sip 账号,"Allow IP Rewrite…

定积分求解举例

定积分是微积分中的一个重要概念,用于求解连续函数在某一区间上的面积或体积等问题。下面我将给出一个定积分求解的举例。 假设我们要求解函数 f(x)x2 在区间 [0,1] 上的定积分,即求解 ∫01​x2dx 求解步骤 1. 找出被积函数 f(x) 的原函数 F(x) 对于…

【Python】 如何在Python中使用小数步长值的`range()`函数?

在Python编程中,range()函数是一个非常常用的工具,它用于生成一个整数序列。然而,标准的range()函数只能接受整数作为步长值,这在某些情况下可能会限制其应用。幸运的是,Python提供了一些方法来实现使用小数步长的rang…

优思学院|六西格玛绿带与黑带知识体系的比较,哪个更适合你?

六西格玛作为一种广泛应用的质量管理方法,通过减少缺陷和变异来提高输出质量。为了实现这些目标,六西格玛采用数据驱动的DMAIC(定义、测量、分析、改进、控制)方法。在六西格玛的实施过程中,绿带和黑带是两个关键角色。…

【代码随想录】【算法训练营】【第28天】 [93]复原IP地址 [78]子集 [90]子集II

前言 思路及算法思维,指路 代码随想录。 题目来自 LeetCode。 day 28,工作的周二~ 题目详情 [93] 复原 IP 地址 题目描述 93 复原 IP 地址 解题思路 前提:分割问题 思路:回溯算法,确定每次递归回溯的分割位置…

分布式文件系统-NFS

NFS 1. NFS工作原理 Linux中的网络文件系统NFS (Network File System)是一种分布式文件系统协议,它允许用户在网络上远程访问和操作文件,就好像这些文件存储在本地计算机上一样。NFS最初由Sun Microsystems在1980年代开发&#…

小短片创作-理论知识(五)

1、网格体绘制 1.UE5打开Megascan插件的材质混合器,创建混合材质,最多选择3个材质进行混合, 2.通过模式->网格体绘制,进入网格体绘制模式,通过select选择一个平面进行绘制,然后通过paint进行绘制&am…

关于线程池面试题,使用“豆包”训练答案

我提问: 问题描述 下面是一个有关线程池调度的面试真题,来自于疯狂创客圈社群: 一个线程池的核心线程数为10个,最大线程数为20个,阻塞队列的容量为30。现在提交45个 任务,每个任务的耗时为500毫秒。 请问&…

【Mac】Keyboard Maestro for Mac(键盘大师)软件介绍及安装教程

软件介绍 Keyboard Maestro for mac(键盘大师)是目前Mac OS平台上功能最为齐全的Mac键盘增强工具,它能将你的Keyboard作用发挥到极致,可以根据命令或计划自动执行简单或复杂的应用程序或网站,文本或图像。使用Keyboar…

python之* 和+

背景 python的* 和用法。 代码 >>> l [1, 2, 3] >>> l * 5 [1, 2, 3, 1, 2, 3, 1, 2, 3, 1, 2, 3, 1, 2, 3] >>> 5 * abcd abcdabcdabcdabcdabcd 结论 Python程序员会默认序列是支持和*操作的。通常号两侧的序列由相同类型的数据所构成&#…

【TPAMI-2024】EfficientTrain++帮你降低网络训练的成本

写在前面:本博客仅作记录学习之用,部分图片来自网络,如需引用请注明出处,同时如有侵犯您的权益,请联系删除! 文章目录 前言论文更容易学习的模式:频域易于学习的模式:空间域统一的训练课程 EFFICIENTTRAIN计…

RIP v2路由安全认证综合实验

RIP v2路由安全认证综合实验 实验拓扑: 实验要求:通过认证防范攻击者获得通信设备的相关信息。 实验步骤: 1.完成基本配置 sys Enter system view, return user view with CtrlZ. [Huawei]sys AR1 [AR1]undo in e Info: Information center…

【电子书赠送福利】蘇小沐电子数据取证实务教程!风吹哪页读哪页,哪页不会撕哪页!

【电子书赠送福利】蘇小沐电子数据取证实务教程!风吹哪页读哪页,哪页不会撕哪页! 合并文章的时候才发现自己写了那么多,受限于时间,第一次合集版本只收录了已发博客的三分之二左右,暂时先这样!…