Transformer算法详解

  •    🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍦 参考文章：TensorFlow入门实战｜第3周：天气识别
  • 🍖 原作者：K同学啊|接辅导、项目定制

一、文本输入人类理解

  1. 词向量（Embeddings）： Transformer模型首先将输入的文本转换为词向量。这些向量是文本数据在模型能够处理的数值形式的表示。每个单词或符号被映射到一个高维空间，在这个空间中，语义相似的单词通常在向量空间中彼此靠近。这种表示法允许模型理解单词的含义以及它们在给定上下文中的关系。

  2. 位置向量（Positional Encoding）： 由于Transformer模型不像RNN那样逐个序列处理单词，它需要另一种方法来理解单词在句子中的位置。位置编码向每个词向量添加信息，以表示单词的顺序。这使模型能够理解语序对意义的影响，如“John loves Mary”与“Mary loves John”在意义上的不同。

二、编码器Encoder

  1. Self-Attention层： 编码器中的自注意力层允许模型在处理一个单词时同时考虑到其他所有单词。模型能够根据句子中其他单词的信息来加强或削弱对当前单词的关注。例如，在翻译任务中，这可以帮助模型更好地理解词语之间的复杂关系。

  2. 多头注意力机制： 多头注意力是自注意力的一个扩展，它允许模型同时从不同的表示子空间中学习信息。通过这种方式，模型可以在不同的层面上捕捉到词语间的关联，比如同时理解同一个词在不同句子中的不同含义。

  3. 残差连接： 在每一个注意力层和前馈网络层之后，都会有残差连接。这些连接可以帮助模型在深层网络中避免梯度消失问题，使得训练更加稳定，并允许信息直接从一个层传递到另一个较远的层。

三、解码器Decoder

  1. 编码器-解码器注意力： 在解码器中，这个层允许解码器关注编码器输出的相应部分，这在序列到序列的任务中非常有用，如机器翻译。解码器通过关注输入句子的特定部分来生成正确的翻译。

四、线性层和softmax层

  1. 线性层： 解码器的每个阶段都包括一个线性层，它是一个全连接层，用于将解码器的输出转换为更大的词汇空间——通常是目标语言的词汇空间大小。

  2. Softmax层： 紧接着线性层之后的是softmax层，它将线性层的输出转换成概率分布，表示下一个单词是词汇表中每个单词的概率。这个概率分布随后用于选择最可能的下一个单词。

五、python实现Transformer 

import torch
import torch.nn as nn
import math# 指定设备
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")class MultiHeadAttention(nn.Module):def __init__(self, hid_dim, n_heads):super(MultiHeadAttention, self).__init__()assert hid_dim % n_heads == 0self.hid_dim = hid_dimself.n_heads = n_headsself.w_q = nn.Linear(hid_dim, hid_dim)self.w_k = nn.Linear(hid_dim, hid_dim)self.w_v = nn.Linear(hid_dim, hid_dim)self.fc = nn.Linear(hid_dim, hid_dim)self.scale = torch.sqrt(torch.FloatTensor([hid_dim // n_heads]))def forward(self, query, key, value, mask=None):bsz = query.shape[0]Q = self.w_q(query)K = self.w_k(key)V = self.w_v(value)Q = Q.view(bsz, -1, self.n_heads, self.hid_dim // self.n_heads).permute(0, 2, 1, 3)K = K.view(bsz, -1, self.n_heads, self.hid_dim // self.n_heads).permute(0, 2, 1, 3)V = V.view(bsz, -1, self.n_heads, self.hid_dim // self.n_heads).permute(0, 2, 1, 3)energy = torch.matmul(Q, K.permute(0, 1, 3, 2)) / self.scaleif mask is not None:energy = energy.masked_fill(mask == 0, -1e10)attention = torch.softmax(energy, dim=-1)x = torch.matmul(attention, V)x = x.permute(0, 2, 1, 3).contiguous()x = x.view(bsz, -1, self.n_heads * (self.hid_dim // self.n_heads))x = self.fc(x)return xclass Feedforward(nn.Module):def __init__(self, d_model, d_ff, dropout=0.1):super(Feedforward, self).__init__()# 两层线性变换和ReLU激活函数self.linear1 = nn.Linear(d_model, d_ff)self.dropout = nn.Dropout(dropout)self.linear2 = nn.Linear(d_ff, d_model)def forward(self, x):x = torch.nn.functional.relu(self.linear1(x))x = self.dropout(x)x = self.linear2(x)return xclass PositionalEncoding(nn.Module):"实现位置编码"def __init__(self, d_model, dropout, max_len=5000):super(PositionalEncoding, self).__init__()self.dropout = nn.Dropout(p=dropout)# 初始化一个Shape为(max_len, d_model)的位置编码矩阵pe = torch.zeros(max_len, d_model).to(device)# 初始化一个tensor [[0, 1, 2, 3, ...]]position = torch.arange(0, max_len).unsqueeze(1)# 这里计算sin和cos中的频率项，通过e的指数进行变换div_term = torch.exp(torch.arange(0, d_model, 2) * -(math.log(10000.0) / d_model))pe[:, 0::2] = torch.sin(position * div_term)  # 偶数位置填充sinpe[:, 1::2] = torch.cos(position * div_term)  # 奇数位置填充cospe = pe.unsqueeze(0)  # 为了方便批处理，增加一个可以unsqueeze出一个`batch`# 将pe注册为一个不参与梯度反传，但又希望保存在model的state_dict中的持久化buffer# 这个操作使得pe可以在forward中使用，但是不会被视为模型的一个可训练参数self.register_buffer('pe', pe)def forward(self, x):"""将embedding后的inputs，例如(1, 7, 128)，batch size为1, 7个单词，每个单词的嵌入为128"""# 将x与positional encoding相加。x = x + self.pe[:, :x.size(1)].requires_grad_(False)return self.dropout(x)class EncoderLayer(nn.Module):def __init__(self, d_model, n_heads, d_ff, dropout=0.1):super(EncoderLayer, self).__init__()# 自注意力层和前馈神经网络层初始化及残差连接和层归一化self.self_attn = MultiHeadAttention(d_model, n_heads)self.feedforward = Feedforward(d_model, d_ff, dropout)self.norm1 = nn.LayerNorm(d_model)self.norm2 = nn.LayerNorm(d_model)self.dropout = nn.Dropout(dropout)def forward(self, x, mask):# 自注意力机制attn_output = self.self_attn(x, x, x, mask)x = x + self.dropout(attn_output)x = self.norm1(x)# 前馈神经网络ff_output = self.feedforward(x)x = x + self.dropout(ff_output)x = self.norm2(x)return xclass DecoderLayer(nn.Module):def __init__(self, d_model, n_heads, d_ff, dropout=0.1):super(DecoderLayer, self).__init__()# 自注意力层和前馈神经网络层初始化及残差连接和层归一化self.self_attn = MultiHeadAttention(d_model, n_heads )self.enc_attn = MultiHeadAttention(d_model, n_heads )self.feedforward = Feedforward(d_model, d_ff, dropout)self.norm1 = nn.LayerNorm(d_model)self.norm2 = nn.LayerNorm(d_model)self.norm3 = nn.LayerNorm(d_model)self.dropout = nn.Dropout(dropout)def forward(self, x, enc_output, self_mask, context_mask):# 自注意力机制attn_output = self.self_attn(x, x, x, self_mask)x = x + self.dropout(attn_output)x = self.norm1(x)# 编码器-解码器注意力机制attn_output = self.enc_attn(x, enc_output, enc_output, context_mask)x = x + self.dropout(attn_output)x = self.norm2(x)# 前馈神经网络ff_output = self.feedforward(x)x = x + self.dropout(ff_output)x = self.norm3(x)return x
class Transformer(nn.Module):def __init__(self, vocab_size, d_model, n_heads, n_encoder_layers, n_decoder_layers, d_ff, dropout=0.1):super(Transformer, self).__init__()# Transformer模型包含嵌入层、位置编码、编码器和解码器层以及输出层self.embedding = nn.Embedding(vocab_size, d_model)self.positional_encoding = PositionalEncoding(d_model, dropout)self.encoder_layers = nn.ModuleList([EncoderLayer(d_model, n_heads, d_ff, dropout) for _ in range(n_encoder_layers)])self.decoder_layers = nn.ModuleList([DecoderLayer(d_model, n_heads, d_ff, dropout) for _ in range(n_decoder_layers)])self.fc_out = nn.Linear(d_model, vocab_size)self.dropout = nn.Dropout(dropout)def forward(self, src, trg, src_mask, trg_mask):# 嵌入层和位置编码src = self.embedding(src)src = self.positional_encoding(src)trg = self.embedding(trg)trg = self.positional_encoding(trg)# 编码器层for layer in self.encoder_layers:src = layer(src, src_mask)# 解码器层for layer in self.decoder_layers:trg = layer(trg, src, trg_mask, src_mask)# 输出层output = self.fc_out(trg)return output# 模型示例
vocab_size = 10000  # 假设词汇表大小为10000
d_model = 512
n_heads = 8
n_encoder_layers = 6
n_decoder_layers = 6
d_ff = 2048
dropout = 0.1transformer_model = Transformer(vocab_size, d_model, n_heads, n_encoder_layers, n_decoder_layers, d_ff, dropout)# 生成输入，这里的输入是随机的，需要根据实际情况修改
src = torch.randint(0, vocab_size, (32, 10))  # 假设源序列长度为10
trg = torch.randint(0, vocab_size, (32, 20))  # 假设目标序列长度为20# 生成掩码，用于屏蔽序列中的填充位置
src_mask = (src != 0).unsqueeze(1).unsqueeze(2)  # 源序列掩码
trg_mask = (trg != 0).unsqueeze(1).unsqueeze(2)  # 目标序列掩码# 模型前向传播
output = transformer_model(src, trg, src_mask, trg_mask)
print(output.shape)

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/801204.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

ICLR24_OUT-OF-DISTRIBUTION DETECTION WITH NEGATIVE PROMPTS

ICLR24_OUT-OF-DISTRIBUTION DETECTION WITH NEGATIVE PROMPTS

摘要 分布外检测（OOD Detection）的研究对于开放世界（open-world）学习非常重要。受大模型（CLIP）启发，部分工作匹配图像特征和提示来实现文本-图像特征之间的相似性。 现有工作难以处理具有与已…
阅读更多...
Java常用API_System——常用方法及代码演示

Java常用API_System——常用方法及代码演示

1.System.exit(int status) 方法的形参int status为状态码，如果是0，说明虚拟机正常停止，如果非0，说明虚拟机非正常停止。需要将程序结束时可以调用这个方法 代码演示： public class Test {public static void main(S…
阅读更多...
第四百四十七回

第四百四十七回

文章目录 1. 概念介绍2. 思路与方法2.1 实现思路2.2 使用方法 3. 内容总结 我们在上一章回中介绍了"如何在页面上显示蒙板层"相关的内容，本章回中将介绍overlay_tooltip这个三方包.闲话休提，让我们一起Talk Flutter吧。 1. 概念介绍 我们在本…
阅读更多...
【SCI绘图】【热力图系列2 R】多特征相关性分析热力图指定聚类 R

【SCI绘图】【热力图系列2 R】多特征相关性分析热力图指定聚类 R

SCI，CCF，EI及核心期刊绘图宝典，爆款持续更新，助力科研！ 本期分享： 【SCI绘图】【热力图系列2 R】多特征相关性分析热力图指定聚类 R 1.环境准备 library(gplots) library(RColorBrewer)2.数据读取 ###…
阅读更多...
python小项目——时钟模拟

python小项目——时钟模拟

钟表是一种计时的装置，也是计量和指示时间的精密仪器。钟表的样式千变万化，但是用来显示时间的表盘相差无几，大多数钟表表盘的样式由刻度（共60个，围成圆形）、指针（时针、分针和秒针）…
阅读更多...
SpringBoot中这样用ObjectMapper，才够优雅！

SpringBoot中这样用ObjectMapper，才够优雅！

目录 背景步骤在SpringBoot项目中要实现对象与Json字符串的互转，每次都需要像如下一样new 一个ObjectMapper对象：这样的代码到处可见，有问题吗？我们要使用jmh测试几种方式的区别：所以在我们真正使用的时候不要在方法中…
阅读更多...
2024年3月30日~2024年4月7日周报

2024年3月30日~2024年4月7日周报

文章目录 一、前言二、创意收集2.1 多任务学习2.1.1 多任务学习的定义与优势2.1.2 多任务学习的分类 2.2 边缘检测2.2.1 基础理论2.2.2 sobel代码介绍2.2.3 canny代码介绍 三、《地震速度模型超分辨率的多任务学习》3.1 M-RUDSR架构3.2 详细介绍3.3 实验设置 四、实验五、小结5…
阅读更多...
【LeetCode题解】2009. 使数组连续的最少操作数

【LeetCode题解】2009. 使数组连续的最少操作数

文章目录 [2009. 使数组连续的最少操作数](https://leetcode.cn/problems/minimum-number-of-operations-to-make-array-continuous/)思路：一、排序去重滑动窗口代码： 2009. 使数组连续的最少操作数 思路：一、排序去重滑动窗口 1.对数组进行…
阅读更多...
nandgame中的asm编程 Escape Labyrinth(逃离迷宫)

nandgame中的asm编程 Escape Labyrinth(逃离迷宫)

先翻译题目： 逃离迷宫计算机被困在火星上的迷宫中。编写一个程序，让它逃离迷宫。计算机配备了连接的轮子和前方障碍物探测器。与轮子和探测器的输入/输出是内存映射在地址7FFF上：对外设的输出信号： 位 设置为1代表： 2…
阅读更多...
UE4_动画基础_ 使用分层动画（Using Layered Animations）

UE4_动画基础_ 使用分层动画（Using Layered Animations）

完成在移动过程中武器发射的角色制作！ 动画混合仅仅意味着在一个角色或骨架网格体上的两个或多个动画之间进行平滑过渡。在虚幻引擎4中，有多种方法可以应用这种混合，要么通过混合空间，或通过实际组合两个基于加权偏差或alpha值的…
阅读更多...
Java数组详解

Java数组详解

​TOC 第一章、数组的概念介绍 1.1）数组的概念 ①数组就是用来储存数据的容器,可以存储同一种类型的数据，是同一种数据类型的集合。实现对这些数据的统一管理。如果数组中存储的是基本类型数据，我就不能往里面存引用类型数据。数组中存储的…
阅读更多...
CLIPSeg如果报“目标计算机积极拒绝，无法连接。”怎么办？

CLIPSeg如果报“目标计算机积极拒绝，无法连接。”怎么办？

CLIPSeg这个插件在使用的时候，偶尔会遇到以下报错： Error occurred when executing CLIPSeg: (MaxRetryError("HTTPSConnectionPool(hosthuggingface.co, port443): Max retries exceeded with url: /CIDAS/clipseg-rd64-refined/resolve/main/toke…
阅读更多...
14届蓝桥杯 C/C++ B组 T5 接龙排序 （最长上升子序列DP+优化）

14届蓝桥杯 C/C++ B组 T5 接龙排序 （最长上升子序列DP+优化）

不难发现这是一个LIS问题&#xff0c;但是如果直接套用LIS的模版&#xff0c;在数据范围到达 1 e 5 1e5 1e5 的情况下&#xff0c;就只能够得到一半的分数&#xff0c;所以我们需要对其进行优化。 首先给出暴力的代码&#xff1a; #include<iostream> using namespace…
阅读更多...
知识管理系统|基于Springboot和vue的知识管理系统设计与实现(源码+数据库+文档)

知识管理系统|基于Springboot和vue的知识管理系统设计与实现(源码+数据库+文档)

知识管理 目录 基于Springboot和vue的知识管理系统设计与实现 一、前言 二、系统设计 三、系统功能设计 1、前台&#xff1a; 5.2.2 文章信息 5.3.1 论坛交流 2、后台 用户管理 5.1.2 文章分类 5.2.1 资料分类 四、数据库设计 五、核心代码 六、论文参考 七、最…
阅读更多...
2024年上半年WSK-PETS5报名及考试时间公布

2024年上半年WSK-PETS5报名及考试时间公布

4月1日&#xff0c;中国教育考试网发布了2024年上半年全国外语水平考试WSK&#xff08;PETS5&#xff09;的报名及考试通知&#xff0c;为方便关注者&#xff0c;知识人网小编特做全文转载。 国家公派留学人员全国外语水平考试&#xff08;WSK-PETS5&#xff09;成绩作为国家留…
阅读更多...
Python零基础从小白打怪升级中~~~~~~~流程控制语句

Python零基础从小白打怪升级中~~~~~~~流程控制语句

第三节&#xff1a;Python的流程控制语法 一、Python条件语句的语法 if 条件1:条件1成立执⾏的代码一条件1成⽴执⾏的代码二...... elif 条件2&#xff1a;条件2成立执⾏的代码三条件2成立执⾏的代码四...... ...... else:以上条件都不成⽴&#xff0c;执行的代码五以上条件都…
阅读更多...
axios是什么?axios使用axios和ajax

axios是什么?axios使用axios和ajax

Axios 是一个基于 Promise 的 HTTP 客户端&#xff0c;用于浏览器和 Node.js 环境。它是由 GitHub 用户 mzabriskie 开发的&#xff0c;并且得到了广泛的社区支持。Axios 的设计目标是提供一种简洁、易用且功能强大的 HTTP 请求方式&#xff0c;以替代传统的 Ajax&#xff08;A…
阅读更多...
【深入理解Java IO流0x03】解读Java最基本的IO流之字节流InputStream、OutputStream

【深入理解Java IO流0x03】解读Java最基本的IO流之字节流InputStream、OutputStream

在开始前&#xff0c;我们再来回顾一下这张图&#xff1a; 本篇博客主要为大家讲解字节流。 我们都知道&#xff0c;一切文件&#xff08;文本、视频、图片&#xff09;的数据都是以二进制的形式存储的&#xff0c;传输时也是。所以&#xff0c;字节流可以传输任意类型的文件数…
阅读更多...
2.动态库与静态库

2.动态库与静态库

1.库的制作 库文件是计算机上的一类文件&#xff0c;可以将库文件看做是一种代码仓库。它提供给使用者一些可以直接拿来用的变量&#xff0c;函数或类。库是一种特殊的程序&#xff0c;但是库是不能单独运行的。 库文件有两种&#xff1a;静态库和动态库 静态库: GCC进行链接…
阅读更多...
Jackson 各种注解使用示例

Jackson 各种注解使用示例

参考资料 Jackson使い方メモ 目录 一. JsonIgnore二. JsonIgnoreProperties三. JsonProperty3.1 作用于entity属性上&#xff0c;指定json对象属性名3.2 作用于entity方法上&#xff0c;指定json对象属性名 四. JsonFormat4.1 日期格式化4.2 数字格式化4.3 枚举类返回code 五.…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023