自然语言处理---Transformer机制详解之Transformer优势

1 Transformer的并行计算

对于Transformer比传统序列模型RNN/LSTM具备优势的第一大原因就是强大的并行计算能力.

  • 对于RNN来说，任意时刻t的输入是时刻t的输入x(t)和上一时刻的隐藏层输出h(t-1)，经过运算后得到当前时刻隐藏层的输出h(t)，这个h(t)也即将作为下一时刻t+1的输入的一部分。
  • 以上计算过程是RNN的本质特征，RNN的历史信息是需要通过这个时间步一步一步向后传递的。而这就意味着RNN序列后面的信息只能等到前面的计算结束后，将历史信息通过hidden state传递给后面才能开始计算，形成链式的序列依赖关系，无法实现并行。
  • 对于Transformer结构来说, 在self-attention层, 无论序列的长度是多少, 都可以一次性计算所有单词之间的注意力关系，这个attention的计算是同步的，可以实现并行。

2 Transformer架构的并行化过程

2.1 Transformer架构中Encoder的并行化

首先Transformer的并行化主要体现在Encoder模块上

  • 上图最底层绿色的部分, 整个序列所有的token可以并行的进行Embedding操作, 这一层的处理是没有依赖关系的.

  • 上图第二层土黄色的部分, 也就是Transformer中最重要的self-attention部分, 这里对于任意一个单词比如x1, 要计算x1对于其他所有token的注意力分布, 得到z1. 这个过程是具有依赖性的, 必须等到序列中所有的单词完成Embedding才可以进行. 因此这一步是不能并行处理的. 但是从另一个角度看, 我们真实计算注意力分布的时候, 采用的都是矩阵运算, 也就是可以一次性的计算出所有token的注意力张量, 从这个角度看也算是实现了并行, 只是矩阵运算的"并行"和词嵌入的"并行"概念上不同而已.

  • 上图第三层蓝色的部分, 也就是前馈全连接层, 对于不同的向量z之间也是没有依赖关系的, 所以这一层是可以实现并行化处理的. 也就是所有的向量z输入Feed Forward网络的计算可以同步进行, 互不干扰.

2.2 Transformer架构中Decoder的并行化

其次Transformer的并行化也部分的体现在Decoder模块上.

  • Decoder模块在训练阶段采用了并行化处理. 其中Self-Attention和Encoder-Decoder Attention两个子层的并行化也是在进行矩阵乘法, 和Encoder的理解是一致的. 在进行Embedding和Feed Forward的处理时, 因为各个token之间没有依赖关系, 所以也是可以完全并行化处理的, 这里和Encoder的理解也是一致的.

  • Decoder模块在预测阶段基本上不认为采用了并行化处理. 因为第一个time step的输入只是一个"SOS", 后续每一个time step的输入也只是依次添加之前所有的预测token.

  • 注意: 最重要的区别是训练阶段目标文本如果有20个token, 在训练过程中是一次性的输入给Decoder端, 可以做到一些子层的并行化处理. 但是在预测阶段, 如果预测的结果语句总共有20个token, 则需要重复处理20次循环的过程, 每次的输入添加进去一个token, 每次的输入序列比上一次多一个token, 所以不认为是并行处理.

3 Transformer的特征抽取能力

对于Transformer比传统序列模型RNN/LSTM具备优势的第二大原因就是强大的特征抽取能力.

  • Transformer因为采用了Multi-head Attention结构和计算机制, 拥有比RNN/LSTM更强大的特征抽取能力, 这里并不仅仅由理论分析得来, 而是大量的试验数据和对比结果, 清楚的展示了Transformer的特征抽取能力远远胜于RNN/LSTM.
  • 注意: 不是越先进的模型就越无敌, 在很多具体的应用中RNN/LSTM依然大有用武之地, 要具体问题具体分析.

4 Transformer可以代替seq2seq

4.1 seq2seq的两大缺陷

  • seq2seq架构的第一大缺陷是将Encoder端的所有信息压缩成一个固定长度的语义向量中, 用这个固定的向量来代表编码器端的全部信息. 这样既会造成信息的损耗, 也无法让Decoder端在解码的时候去用注意力聚焦哪些是更重要的信息.

  • seq2seq架构的第二大缺陷是无法并行, 本质上和RNN/LSTM无法并行的原因一样.

4.2 Transformer的改进

  • Transformer架构同时解决了seq2seq的两大缺陷, 既可以并行计算, 又应用Multi-head Attention机制来解决Encoder固定编码的问题, 让Decoder在解码的每一步可以通过注意力去关注编码器输出中最重要的那些部分.

5 小结

  • Transformer相比于RNN/LSTM的优势和原因.
    • 第一大优势是并行计算的优势.
    • 第二大优势是特征提取能力强.
  • Transformer架构中Encoder模块的并行化机制.
    • Encoder模块在训练阶段和测试阶段都可以实现完全相同的并行化.
    • Encoder模块在Embedding层, Feed Forward层, Add & Norm层都是可以并行化的.
    • Encoder模块在self-attention层, 因为各个token之间存在依赖关系, 无法独立计算, 不是真正意义上的并行化.
    • Encoder模块在self-attention层, 因为采用了矩阵运算的实现方式, 可以一次性的完成所有注意力张量的计算, 也是另一种"并行化"的体现.

  • Transformer架构中Decoder模块的并行化机制.

    • Decoder模块在训练阶段可以实现并行化.
    • Decoder模块在训练阶段的Embedding层, Feed Forward层, Add & Norm层都是可以并行化的.
    • Decoder模块在self-attention层, 以及Encoder-Decoder Attention层, 因为各个token之间存在依赖关系, 无法独立计算, 不是真正意义上的并行化.
    • Decoder模块在self-attention层, 以及Encoder-Decoder Attention层, 因为采用了矩阵运算的实现方式, 可以一次性的完成所有注意力张量的计算, 也是另一种"并行化"的体现.
    • Decoder模块在预测计算不能并行化处理.

  • seq2seq架构的两大缺陷.

    • 第一个缺陷是Encoder端的所有信息被压缩成一个固定的输出张量, 当序列长度较长时会造成比较严重的信息损耗.
    • 第二个缺陷是无法并行计算.

  • Transformer架构对seq2seq两大缺陷的改进.

    • Transformer应用Multi-head Attention机制让编码器信息可以更好的展示给解码器.
    • Transformer可以实现Encoder端的并行计算.

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/113712.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

京东数据分析：2023厨房小电市场遇冷，空气炸锅等明星产品被抛弃

京东数据分析：2023厨房小电市场遇冷，空气炸锅等明星产品被抛弃

过去几年间，宅经济的爆发带火了酸奶机、煮蛋器、豆浆机、空气炸锅、养生壶等，一众外观小巧、功能丰富、价格相对便宜的厨房小家电。但随着年轻人走出家门回归工作岗位，厨房小家电们却步入了艰难时刻。 如今，厨房小家电们似乎正在经…
阅读更多...
互联网Java工程师面试题·Java 面试篇·第二弹

互联网Java工程师面试题·Java 面试篇·第二弹

目录 15、什么是不可变对象（immutable object）？Java 中怎么创建一个不可变对象？ 16、我们能创建一个包含可变对象的不可变对象吗？ 17、Java 中应该使用什么数据类型来代表价格？ 18、怎么将 byte 转换为 Str…
阅读更多...
网络协议--Ping程序

网络协议--Ping程序

7.1 引言 “ping”这个名字源于声纳定位操作。Ping程序由Mike Muuss编写，目的是为了测试另一台主机是否可达。该程序发送一份ICMP回显请求报文给主机，并等待返回ICMP回显应答（图6-3列出了所有的ICMP报文类型）。 一般来说&#x…
阅读更多...
超详细 | 差分进化算法原理及其实现(Matlab/Python)

超详细 | 差分进化算法原理及其实现(Matlab/Python)

差分进化(Differential Evolution，DE)算法是由美国学者Storn和 Price在1995年为求解Chebyshev多项式拟合问题而提出的。算法主要通过基于差分形式的变异操作和基于概率选择的交叉操作进行优化搜索，虽然其操作名称和遗传算法相同，但实现方法有…
阅读更多...
golang 反射机制

golang 反射机制

在 go 语言中，实现反射能力的是 reflect包，能够让程序操作不同类型的对象。其中，在反射包中有两个非常重要的 类型和 函数，两个函数分别是： reflect.TypeOfreflect.ValueOf 两个类型是 reflect.Type 和 reflect.Value…
阅读更多...
[自定义 Vue 组件] 小尾巴 Logo 组件 TailLogo

[自定义 Vue 组件] 小尾巴 Logo 组件 TailLogo

文字归档于：https://www.yuque.com/u27599042/coding_star/apt6y731ybmxgu5g 组件效果 组件依赖 自定义字符串工具函数 stringIsNull https://www.yuque.com/u27599042/coding_star/slncupw7un3ce7cb import {stringIsNull} from "/utils/string_utils.js&q…
阅读更多...
HTTP协议中的\r\n

HTTP协议中的\r\n

在HTTP协议中，\r\n 是用来表示行的结束的。具体来说： \r 是回车符 (Carriage Return, ASCII code 13)\n 是换行符 (Line Feed, ASCII code 10) HTTP协议头部的每一个字段结束都是通过\r\n来表示的。例如： GET /index.html HTTP/1.1\r\n Ho…
阅读更多...
Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

Hadoop3教程（三十二）：（生产调优篇）NameNode故障恢复与集群的安全模式

文章目录 （159）NameNode故障处理（160）集群安全模式&磁盘修复集群安全模式磁盘修复等待安全模式 参考文献 （159）NameNode故障处理 如果NameNode进程挂了并且存储的数据也丢失了，如何恢复Nam…
阅读更多...
PCA降维可视化

PCA降维可视化

二维 import pandas as pd import warnings warnings.filterwarnings("ignore")df pd.read_csv(data/data.csv).dropna() features df.columns[:-1] X, y df[features], df[label]from sklearn.preprocessing import MinMaxScaler # 创建MinMaxScaler对象 scaler…
阅读更多...
单目3D目标检测论文汇总

单目3D目标检测论文汇总

基于语义和几何约束的方法 1. Deep3DBox 3D Bounding Box Estimation Using Deep Learning and Geometry [CVPR2017] https://arxiv.org/pdf/1612.00496.pdfhttps://zhuanlan.zhihu.com/p/414275118 核心思想：通过利用2D bounding box与3D bounding box之间的几何约…
阅读更多...
C语言、C++操作符优先级

C语言、C++操作符优先级

说明： 同一优先级的运算符，运算次序由结合方向所决定。 一、C语言操作符优先级： 优先级 运算符 名称或含义 使用形式 结合方向 说明 1 [] 数组下标 数组名[常量表达式] 左到右 ----- () 圆括号 （表达式&#xff09…
阅读更多...
基于yolov5的目标检测和双目测距

基于yolov5的目标检测和双目测距

目录 一.简介 1.双目视觉 2 YOLOv5 二.双目准备 1双目矫正 2.测距部分代码和函数 三.yolov5部分代码代码展示 效果展示 一.简介 1.双目视觉 双目视觉是通过两个摄像机同时拍摄同一场景，通过计算两幅图像的差异来获取深度信息的一种计算机视觉技术。在双目视…
阅读更多...
博客系统中的加盐算法

博客系统中的加盐算法

目录 一、为什么要对密码进行加盐加密？ 1、明文 2、传统的 MD5 二、加盐加密 1、加盐算法实现思路 2、加盐算法解密思路 3、加盐算法代码实现 三、使用 Spring Security 加盐 1、引入 Spring Security 框架 2、排除 Spring Security 的自动加载 3、调用 S…
阅读更多...
CSS常见的预处理器有哪些？

CSS常见的预处理器有哪些？

CSS常见的预处理器有以下几种： 1：Sass（Syntactically Awesome Style Sheets）：Sass是一种成熟且广泛使用的CSS预处理器。它提供了许多功能，如变量、嵌套规则、混合（Mixins）、继承&am…
阅读更多...
EF执行迁移时提示provider: SSL Provider, error: 0 - 证书链是由不受信任的颁发机构颁发的

EF执行迁移时提示provider: SSL Provider, error: 0 - 证书链是由不受信任的颁发机构颁发的

ef在执行时提示provider: SSL Provider, error: 0 - 证书链是由不受信任的颁发机构颁发的。 只需要在数据库链接字符串后增加EncryptTrue;TrustServerCertificateTrue;即可 再次执行
阅读更多...
Qt第六十六章：展示数据的标签

Qt第六十六章：展示数据的标签

目录 一、效果图 二、qtDesigner ①拖出一个frame作为组容器并贴上背景样式 ②拖出主要的三个控件：frame、line、frame、label*2 ③固定大小并设置字体、布局一下 ④拷贝三份并水平布局一下 ⑤设置样式 ⑥调整布局 三、ui文件 四、代码 一、效果图 二、qtD…
阅读更多...
【Java 进阶篇】深入了解 Bootstrap 全局 CSS 样式

【Java 进阶篇】深入了解 Bootstrap 全局 CSS 样式

Bootstrap 是一个流行的前端框架，以其强大的全局 CSS 样式而闻名。这些样式能够帮助开发者快速创建漂亮的、响应式的网页，而无需从头编写复杂的 CSS。在本文中，我们将深入探讨 Bootstrap 的全局 CSS 样式，适合初学者，帮…
阅读更多...
C#通过Entity Framework实体对数据表增删改查

C#通过Entity Framework实体对数据表增删改查

目录 一、创建实体数据模型 1.建立数据库连接 2.建立EF实体模型 二.设计窗体和EF应用 1.窗体设计 2.应用程序设计 3.源码 4.生成效果 （1）查询 （2）修改 （3）删除 （4）增加 …
阅读更多...
标准盒子模型,与怪异盒子模型详解

标准盒子模型,与怪异盒子模型详解

目录 简介： 1. 标准盒子模型 2. 怪异盒子模型 3. 标准盒子模型与怪异盒子模型的差异 4. 如何设置盒子模型 5. 怪异盒子模型在实际开发中的应用 6. 总结 简介： 盒子模型是前端开发中的一个基本概念，它定义了Web页面上的每个元素&#…
阅读更多...
Unigui中获取手机特征码

Unigui中获取手机特征码

在Delphi Unigui中，您可以使用TUniDeviceInfo类来读取设备的一些基本信息，例如设备的操作系统版本、设备名称和分辨率等。但是，TUniDeviceInfo类并不提供设备的特征码信息。 如果您想要获取设备的特征码信息，您可以使用JavaScrip…
阅读更多...
最新文章

Copyright @ 2022~2023