机器学习和深度学习-- 李宏毅（笔记与个人理解）Day22

Day 22 Transformer

seqence to seqence

有什么用呢？

image-20240419195409787

image-20240419200600208

image-20240419200618184

image-20240419200655869

image-20240419200714492

Encoder

image-20240419200811528

image-20240419200929890

image-20240419201816447

image-20240419201856942
how Block workimage-20240419202000619

仔细讲讲Residual 的过程？

重构

image-20240419202016784

image-20240419202055831

Decoder - AutoRegressive

image-20240419202814089

image-20240419203026310

image-20240419203044694

image-20240419203125676

Mask

image-20240419203147941

image-20240419203210758

image-20240419203323124

由于是文字接龙，所以无法考虑右边的 info

image-20240419203435098

image-20240419203445328

image-20240419203517384

image-20240419203607549

image-20240419203641245
另一种decoder

image-20240419204034186

Encoder to Decoder – Cross Attend

image-20240419204156788

image-20240419204337308

image-20240419204606629

怀疑begin那里没有做 Norm是bug

image-20240419204911428

image-20240419205003779

Training

image-20240419205022013

image-20240419205132661

很像分类的问题

image-20240419205223059

image-20240419205257761

Teacher Forcing ： using the ground truth as input

Tips

image-20240419205454295

image-20240419205509670

image-20240419205543623

image-20240419205805744

how to resolve that?

image-20240419213753968
image-20240419214526024

image-20240419214840792

image-20240419215040489

image-20240419215130167

image-20240419215205131

image-20240419215259187

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/829817.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

rk3568 安卓11 修改android id

rk3568 安卓11 修改android id

frameworks\base\packages\SettingsProvider\src\com\android\providers\settings\SettingsProvider.java 系统应用获取的android id String androidId Long.toHexString(new SecureRandom().nextLong());直接写死 String androidId "666666";上层普通应用 // C…
阅读更多...
llama3本地部署

llama3本地部署

目录 II.下载 II.验证ollama安装 II.安装llama3 和启动 II.命令行调用 II.api调用 II.参考文献 II.下载 https://ollama.com/download/windows OllamaSetup.exe https://github.com/meta-llama/llama3 II.验证ollama安装 cmd ollama II.安装llama3 和启动 ollama run …
阅读更多...
【问题分析】TaskDisplayArea被隐藏导致的黑屏以及无焦点窗口问题【Android 14】

【问题分析】TaskDisplayArea被隐藏导致的黑屏以及无焦点窗口问题【Android 14】

1 问题描述 用户操作出的偶现的黑屏以及无焦点窗口问题。 直接原因是，TaskDisplayArea被添加了eLayerHidden标志位，导致所有App的窗口不可见，从而出现黑屏和无焦点窗口问题，相关log为： 这个log是MTK添加的&#xff0…
阅读更多...
C# Solidworks二次开发：枚举应用实战（第八讲）

C# Solidworks二次开发：枚举应用实战（第八讲）

大家好，今天还要介绍我们的枚举应用实战系列。 下面是今天要介绍的枚举值： （1）第一个为swCommands_e，这个枚举的含义为sw工具栏和菜单命令，下面是官方的具体枚举值： MemberDescriptionswComm…
阅读更多...
Django模型继承之多表继承

Django模型继承之多表继承

在Django模型继承中，支持的第二种模型继承方式是层次结构中的每个模型都是一个单独的模型。每个模型都指向分离的数据表，并且可以被独立查询和创建。在继承关系中，子类和父类之间通过一个自动创建的OneToOneField进行连接。示例代码如下&…
阅读更多...
Redis的应用场景有哪些

Redis的应用场景有哪些

0.什么是Redis？ 基于内存的数据结构存储系统，它可以用作数据库、缓存和消息代理。Redis 支持多种数据结构，包括字符串（String）、哈希表（Hashes）、列表（Lists）、集合&…
阅读更多...
C语言入门课程学习笔记-6

C语言入门课程学习笔记-6

C语言入门课程学习笔记-6 第27课 - 字符数组与字符串（上）第28课 - 字符数组与字符串（下）第29课 - 数组专题练习（上）第30课 - 数组专题练习（下） 本文学习自狄泰软件学院 唐佐林老师的…
阅读更多...
不只有 Spring,这四款Java 基础开发框架同样值得关注！

不只有 Spring,这四款Java 基础开发框架同样值得关注！

Java 开发不只有 Spring ，今天给大家推荐几个同样优秀的 Java 基础开发框架，为日常项目开发提供更多的选择。答应我，请不要再叫我 Spring 小子了，​好吗？ 项目概览： Guice：轻量级依赖注入框架 …
阅读更多...
2024Mac系统热门游戏排行榜 Mac支持的网络游戏有哪些？mac能玩哪些大型网游 苹果电脑Mac游戏资源推荐 Mac玩Windows游戏

2024Mac系统热门游戏排行榜 Mac支持的网络游戏有哪些？mac能玩哪些大型网游 苹果电脑Mac游戏资源推荐 Mac玩Windows游戏

“游戏是这个世界上唯一能和女性争夺男朋友的东西（/滑稽，有不少女生也喜欢玩游戏）。” 虽然只是一句玩笑话，不过也可以看出游戏对大多数男生来说是必不可少的一项娱乐活动了。而网络游戏是游戏中的一大分支，能让玩家们…
阅读更多...
科技“冷”战：NIST刷新制冷效率，中国实力逆境崛起！

科技“冷”战：NIST刷新制冷效率，中国实力逆境崛起！

4月23日，美国国家标准与技术研究院（NIST）的研究人员报道称，他们通过对常用于科研和工业领域的制冷机进行改装，显著降低了将材料冷却至略高于绝对零度所需的时间和能量。 科学家们指出，他们的原型设备每年能…
阅读更多...
Linux 学习之路 -- 进程篇 -- 进程控制

Linux 学习之路 -- 进程篇 -- 进程控制

目录 一、进程终止 <1>使用语言和系统自带的方法&#xff0c;进行转换 <2>自定义错误码 <3>小结&#xff1a; <2>两个接口exit / _exit 二、进程等待 <1>简单了解 <2>wait调用 <3>waitpid调用 <4>status <1>W…
阅读更多...
复杂的字符串算法——KMP算法

复杂的字符串算法——KMP算法

字符串算法 模式匹配&#xff08;Pattern Matching&#xff09;&#xff1a;在一篇长度为 &#x1d45b; 的文本 &#x1d446; 中&#xff0c;找某个长度为 &#x1d45a; 的关键词 &#x1d443;。&#x1d443; 可能多次出现&#xff0c;都需要找到。 最优的模式匹配算法复…
阅读更多...
UML 的工厂方法设计模式 策略设计模式 抽象工厂设计模式 观察者设计模式

UML 的工厂方法设计模式 策略设计模式 抽象工厂设计模式 观察者设计模式

UML 的工厂方法设计模式 UML 的工厂方法设计模式是一种创建型设计模式&#xff0c;它通过定义一个创建对象的接口&#xff0c;但将具体的对象创建延迟到子类中。这样可以让子类决定实例化哪个类。该模式提供了一种创建对象的灵活方式&#xff0c;同时也隐藏了对象的具体实现细…
阅读更多...
AHB传输---突发操作

AHB传输---突发操作

突发操作 在本协议中定义了4拍、8拍和16拍的突发&#xff0c;以及未定义长度的突发和单次传输。它支持增量和包装突发&#xff1a; 增量突发访问连续位置&#xff0c;每个传输的地址是前一个地址的增量。包装突发在跨越地址边界时会包装。地址边界的计算方法是突发中拍数与传…
阅读更多...
Android—统一依赖版本管理

Android—统一依赖版本管理

依赖版本管理有多种方式 config.gradle 用于Groovy DSL&#xff0c;新建一个 config.gradle 文件&#xff0c;然后将项目中所有依赖写在里面&#xff0c;更新只需修改 config.gradle文件内容&#xff0c;作用于所有module buildSrc 可用于Kotlin DSL或Groovy DSL&#xff0c;…
阅读更多...
MATLAB冒号表示法

MATLAB冒号表示法

MATLAB 冒号表示法 colon(:)是在MATLAB中最有用的运算符之一。它用于创建向量&#xff0c;下标数组和指定迭代。 如果要创建包含1到10的整数的行向量&#xff0c;请编写- 示例 1:10 MATLAB执行该语句并返回包含1到10的整数的行向量- ans 1 2 3 4 5 6 7 8 9 10 如果要指定一…
阅读更多...
github Copilot的使用总结

github Copilot的使用总结

1. 代码建议和补全 GitHub Copilot 的基本使用涉及编写代码时的实时代码建议和补全。一旦你已经安装并配置好 GitHub Copilot 插件&#xff0c;你可以在支持的编辑器&#xff08;如 Visual Studio Code&#xff09;中开始使用 Copilot。以下是一些基本的使用步骤&#xff1a; …
阅读更多...
VBA技术资料MF146：发出多次Beep提示声

VBA技术资料MF146：发出多次Beep提示声

我给VBA的定义&#xff1a;VBA是个人小型自动化处理的有效工具。利用好了&#xff0c;可以大大提高自己的工作效率&#xff0c;而且可以提高数据的准确度。“VBA语言専攻”提供的教程一共九套&#xff0c;分为初级、中级、高级三大部分&#xff0c;教程是对VBA的系统讲解&#…
阅读更多...
Pandas 2.2 中文官方教程和指南（十七）

Pandas 2.2 中文官方教程和指南（十七）

原文&#xff1a;pandas.pydata.org/docs/ 重复标签 原文&#xff1a;pandas.pydata.org/docs/user_guide/duplicates.html Index对象不需要是唯一的&#xff1b;你可以有重复的行或列标签。这一点可能一开始会有点困惑。如果你熟悉 SQL&#xff0c;你会知道行标签类似于表上的…
阅读更多...
TCP/IP协议族中的TCP（三）：解析其关键特性与机制

TCP/IP协议族中的TCP（三）：解析其关键特性与机制

⭐小白苦学IT的博客主页⭐ ⭐初学者必看&#xff1a;Linux操作系统入门⭐ ⭐代码仓库&#xff1a;Linux代码仓库⭐ ❤关注我一起讨论和学习Linux系统 前言 TCP&#xff08;Transmission Control Protocol&#xff0c;传输控制协议&#xff09;是互联网协议族中至关重要的组成部…
阅读更多...
最新文章

Copyright @ 2022~2023