神经网络与深度学习——第15章序列生成模型

news/2024/11/14 14:54:13/文章来源:https://blog.csdn.net/a_blade_of_grass/article/details/139423575

本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第15章序列生成模型，习题还没做先存在这里。

序列生成模型

在这里插入图片描述

序列概率模型

在这里插入图片描述

序列生成

在这里插入图片描述

N元统计模型

在这里插入图片描述

深度序列模型

在这里插入图片描述

模型结构

在这里插入图片描述

嵌入层

在这里插入图片描述

特征层

在这里插入图片描述

输出层

在这里插入图片描述

参数学习

在这里插入图片描述

评价方法

在这里插入图片描述

困惑度

在这里插入图片描述

BLEU算法

在这里插入图片描述

ROUGE算法

在这里插入图片描述

序列生成模型中的学习问题

在这里插入图片描述

曝光偏差模型

在这里插入图片描述

训练目标不一致问题

在这里插入图片描述

计算效率问题

在这里插入图片描述

层次化Softmax

在这里插入图片描述

重要性采样

在这里插入图片描述

噪声对比估计

在这里插入图片描述

序列到序列模型

在这里插入图片描述

基于循环神经网络的序列到序列模型

在这里插入图片描述

基于注意力的序列到序列模型

在这里插入图片描述

基于自注意力的序列到序列模型

在这里插入图片描述

自注意力

在这里插入图片描述

多头自注意力

在这里插入图片描述

基于自注意力模型的序列编码

在这里插入图片描述

Transformer模型

在这里插入图片描述

总结和深入阅读

在这里插入图片描述

习题

在这里插入图片描述

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/847687.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

Aethir: 破局算力瓶颈，构建AI时代去中心化云基础设施

科技的每一次飞跃都在重新塑造世界，而近年来，跨越式的技术革新再次引发了深刻的变革，那就是人工智能（AI）。人工智能已然超越了此前的所有技术概念，成为了继互联网之后的下一个巨大浪潮。从自动驾驶汽车到…

每天复习一点小CTF知识（6.4）

NSSCTF/[FSCTF 2023]夜深人静的时候也会偷偷emo 直接爆破压缩包，先来数字解压好，一个flag.mp3 mp3隐写，直接干得一个txt文件直接开

宇泰485中继器光电隔离防雷工业级RS485信号放大器 UT-2209正品

品牌：other/其他型号：UT-2209 上市时间：2018-01-01 颜色分类：蓝色信号延长器,工业级,高性能,RS-485光电隔离中继器,兼容RS-485标准,延长通信距离,即插即用. 性能特点: 内置光电隔离器及DC/DC隔离模块. 采用TVS瞬态电…

读书-《蛤蟆先生去看心理医生》

书名蛤蟆先生去看心理医生作者罗伯特戴博德状态阅读中简介该书借用《柳林风声》的故事主角蛤蟆先生，讲述了他接受心理咨询的故事。作者通过陷入抑郁的蛤蟆先生和心理咨询师苍鹭的互动，探索蛤蟆先生爱炫耀、自卑性格和抑郁情绪的来源，指出童年…

【Python】如何在Python中使用小数步长值的`range()`函数？

在Python编程中，range()函数是一个非常常用的工具，它用于生成一个整数序列。然而，标准的range()函数只能接受整数作为步长值，这在某些情况下可能会限制其应用。幸运的是，Python提供了一些方法来实现使用小数步长的rang…

优思学院｜六西格玛绿带与黑带知识体系的比较，哪个更适合你？

六西格玛作为一种广泛应用的质量管理方法，通过减少缺陷和变异来提高输出质量。为了实现这些目标，六西格玛采用数据驱动的DMAIC（定义、测量、分析、改进、控制）方法。在六西格玛的实施过程中，绿带和黑带是两个关键角色。…

【代码随想录】【算法训练营】【第28天】 [93]复原IP地址 [78]子集 [90]子集II

前言思路及算法思维，指路代码随想录。题目来自 LeetCode。 day 28，工作的周二~ 题目详情 [93] 复原 IP 地址题目描述 93 复原 IP 地址解题思路前提：分割问题思路：回溯算法，确定每次递归回溯的分割位置…

小短片创作-理论知识（五）

1、网格体绘制 1.UE5打开Megascan插件的材质混合器，创建混合材质，最多选择3个材质进行混合， 2.通过模式->网格体绘制，进入网格体绘制模式，通过select选择一个平面进行绘制，然后通过paint进行绘制&am…

【Mac】Keyboard Maestro for Mac（键盘大师）软件介绍及安装教程

软件介绍 Keyboard Maestro for mac（键盘大师）是目前Mac OS平台上功能最为齐全的Mac键盘增强工具，它能将你的Keyboard作用发挥到极致，可以根据命令或计划自动执行简单或复杂的应用程序或网站，文本或图像。使用Keyboar…

【TPAMI-2024】EfficientTrain++帮你降低网络训练的成本

写在前面：本博客仅作记录学习之用，部分图片来自网络，如需引用请注明出处，同时如有侵犯您的权益，请联系删除！ 文章目录前言论文更容易学习的模式:频域易于学习的模式:空间域统一的训练课程 EFFICIENTTRAIN计…

RIP v2路由安全认证综合实验

RIP v2路由安全认证综合实验实验拓扑： 实验要求：通过认证防范攻击者获得通信设备的相关信息。实验步骤： 1.完成基本配置 sys Enter system view, return user view with CtrlZ. [Huawei]sys AR1 [AR1]undo in e Info: Information center…

【电子书赠送福利】蘇小沐电子数据取证实务教程！风吹哪页读哪页，哪页不会撕哪页！

【电子书赠送福利】蘇小沐电子数据取证实务教程！风吹哪页读哪页，哪页不会撕哪页！ 合并文章的时候才发现自己写了那么多，受限于时间，第一次合集版本只收录了已发博客的三分之二左右，暂时先这样！…

外汇天眼：Bitpanda 扩大与德意志银行的合作

金融科技独角兽Bitpanda正在扩大与德意志银行的合作，为德国用户提供实时支付解决方案，以处理进出交易。这种基于API的账户解决方案将使Bitpanda能够访问德国的IBAN账户，优化和增强用户体验，同时确保信任、速度和效率。这只是Bi…

七大战略性新兴产业崭露头角：新能源电燃灶或将成为未来厨房新宠

近日，在国家发布的七大战略性新兴产业名单中，新能源产业赫然在列，作为其中的重要组成部分，华火新能源电燃灶凭借其独特的优势，正逐渐走进人们的视野，有望成为未来厨房的新宠。华火新能源电燃灶作为清洁能源…

NeuralForecast 多变量的处理包括训练和推理

NeuralForecast 多变量的处理包括训练和推理 flyfish 两个excel表格合并后的结果 unique_id ds y ex_1 ex_2 ex_3 ex_4 0 HUFL 2016-07-01 00:00:00 -0.041413 -0.500000 0.166667 -0.500000 -0.001370 1 …