(深度学习记录)第TR6周:Transformer实战-单词预测

  •  🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者:K同学啊 | 接辅导、项目定制

🏡我的环境:

  • 语言环境:Python3.11.4
  • 编译器:Jupyter Notebook
  • torcch版本:2.0.1

1.定义模型(数据准备)

from torchtext.datasets import WikiText2
from torchtext.data.utils import get_tokenizer
from torchtext.vocab import build_vocab_from_iterator
from torch.utils.data import dataset
from torch import nn, Tensor
import math, os, torch
from torch.nn import TransformerEncoder, TransformerEncoderLayer
from tempfile import TemporaryDirectory# 全局设备对象
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')# 加载训练集,创建词汇表
train_iter = WikiText2(split='train', root='.')
tokenizer = get_tokenizer('basic_english')
vocab = build_vocab_from_iterator(map(tokenizer, train_iter), specials=['<unk>'])def data_process(raw_text_iter: dataset.IterableDataset) -> Tensor:"""将原始文本转换成扁平的张量"""data = [torch.tensor(vocab(tokenizer(item)), dtype=torch.long) for item in raw_text_iter]return torch.cat(tuple(filter(lambda t: t.numel() > 0, data)))def batchify(data: Tensor, bsz: int) -> Tensor:"""将数据划分为bsz个单独的序列,去除不能完全容纳的额外元素参数:data: Tensor, 形状为``[N]``bsz: int, 批大小返回:形状为 [N // bsz, bsz] 的张量"""seq_len = data.size(0) // bszdata = data[:seq_len*bsz]data = data.view(bsz, seq_len).t().contiguous()return data.to(device)# 创建数据集
train_iter, val_iter, test_iter = WikiText2(root='.')
train_data = data_process(train_iter)
val_data = data_process(val_iter)
test_data = data_process(test_iter)batch_size = 20
eval_batch_size = 10# 将三类数据集都处理成固定长度
train_data = batchify(train_data, batch_size)
val_data = batchify(val_data, batch_size)
test_data = batchify(test_data, batch_size)# 编写数据集取值函数(就像CV里的data_loader一样)
bptt = 35def get_batch(source: Tensor, i: int) -> tuple[Tensor, Tensor]:"""获取批次数据参数:source: Tensor, 形状为 ``[full_seq_len, batch_size]``i: int, 当前批次索引返回:tuple(data, target),- data形状为[seq_len, batch_size]- target形状为[seq_len * batch_size]"""# 计算当前批次的序列长度,最大为bptt,确保不超过source的长度seq_len = min(bptt, len(source) - 1 - i)# 获取data,从i开始,长度为seq_lendata = source[i:i+seq_len]# 获取target,从i+1开始,长度为seq_len,并将其形状转换为一维张量target = source[i+1:i+1+seq_len].reshape(-1)return data, target

 2.模型搭建

# 位置编码
class PositionalEncoding(nn.Module):def __init__(self, d_model: int, dropout: float = 0.1, max_len: int = 5000):super().__init__()self.dropout = nn.Dropout(p=dropout)# 生成位置编码的位置张量position = torch.arange(max_len).unsqueeze(1)# 计算位置编码的除数项div_term = torch.exp(torch.arange(0, d_model, 2) * (-math.log(10000.0) / d_model))# 创建位置编码张量pe = torch.zeros(max_len, 1, d_model)# 使用正弦函数计算位置编码中的奇数维度部分pe[:, 0, 0::2] = torch.sin(position * div_term)# 使用余弦函数计算位置编码中的偶数维度部分pe[:, 0, 1::2] = torch.cos(position * div_term)self.register_buffer('pe', pe)def forward(self, x: Tensor) -> Tensor:"""Arguments:x: Tensor, 形状为 [seq_len, batch_size, embedding_dim]"""# 将位置编码添加到输入张量x = x + self.pe[:x.size(0)]# 应用dropoutreturn self.dropout(x)# Transformer模型
class TransformerModel(nn.Module):def __init__(self, ntoken: int, d_model: int, nhead: int, d_hid: int, nlayers: int, dropout: float = 0.5):super().__init__()# 位置编码self.pos_encoder = PositionalEncoding(d_model, dropout)# 定义编码器层encoder_layers = TransformerEncoderLayer(d_model, nhead, d_hid, dropout)# 定义编码器self.transformer_encoder = TransformerEncoder(encoder_layers, nlayers)self.embedding = nn.Embedding(ntoken, d_model)self.d_model = d_modelself.linear = nn.Linear(d_model, ntoken)self.init_weights()def init_weights(self) -> None:initrange = 0.1self.embedding.weight.data.uniform_(-initrange, initrange)self.linear.bias.data.zero_()self.linear.weight.data.uniform_(-initrange, initrange)def forward(self, src: Tensor, src_mask: Tensor = None) -> Tensor:"""Argumentssrc: Tensor, 形状为 [seq_len, batch_size]src_mask: Tensor, 形状为 [seq_len, seq_len]Returns:输出的Tensor, 形状为 [seq_len, batch_size, ntoken]"""src = self.embedding(src) * math.sqrt(self.d_model)src = self.pos_encoder(src)output = self.transformer_encoder(src, src_mask)output = self.linear(output)return output

3.创建模型

ntokens = len(vocab) # 词汇表的大小
emsize = 200 # 嵌入维度
d_hid = 200 # TransformerEncoder中前馈网络模型的维度
nlayers = 2 # TransformerEncoder中EncoderLayer层数
nhead = 2 # Transformer中的头数
dropout = 0.2 # 丢弃概率model = TransformerModel(ntokens, emsize, nhead, d_hid, nlayers, dropout).to(device)

4. 训练模型

import time# 定义交叉熵损失函数
criterion = nn.CrossEntropyLoss() 
# 学习率
lr = 5.0 
# 使用随机梯度下降(SGD)优化器,将模型参数传入优化器
optimizer = torch.optim.SGD(model.parameters(), lr=lr)
# 使用学习率调度器,每隔1个epoch,将学习率按0.95的比例进行衰减
scheduler = torch.optim.lr_scheduler.StepLR(optimizer, 1.0, gamma=0.95)
def train(model: nn.Module) -> None:"""单轮训练过程"""model.train()total_loss = 0log_interval = 200 # 每隔200个batch打印一次日志start_time = time.time()# 计算总的batch数量num_batches = len(train_data)for batch, i in enumerate(range(0, train_data.size(0) - 1, bptt)):data, targets = get_batch(train_data, i)output = model(data)output_flat = output.view(-1, ntokens)loss = criterion(output_flat, targets)optimizer.zero_grad()loss.backward()torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5)# 梯度裁剪,防止梯度爆炸optimizer.step()total_loss += loss.item()if batch % log_interval == 0 and batch > 0:lr = scheduler.get_last_lr()[0]ms_per_batch = (time.time() - start_time) * 1000 / log_intervalcur_loss = total_loss / log_intervalppl = math.exp(cur_loss) # 计算困惑度print(f"|epoch {epoch:3d} | {batch:5d}/{num_batches:5d} batches | "f"lr {lr:02.2f} | ms/batch {ms_per_batch:5.2f} | "f"loss {cur_loss:5.2f} | ppl {ppl:8.2f}")total_loss = 0start_time = time.time()def evaluate(model: nn.Module, eval_data: Tensor) -> None:"""单轮评估过程"""model.eval()total_loss = 0with torch.no_grad():for i in range(0, eval_data.size(0) - 1, bptt):data, targets = get_batch(eval_data, i )seq_len = data.size(0)output = model(data)output_flat = output.view(-1, ntokens)total_loss += seq_len * criterion(output_flat, targets).item()return total_loss / (len(eval_data) -1)
best_val_loss = float('inf')
epochs = 1with TemporaryDirectory() as tempdir: # 创建临时目录来保存最佳模型参数# 最佳模型参数的实际保存路径best_model_params_path = os.path.join(tempdir, 'best_model_params.pth')for epoch in range(1, epochs + 1):epoch_start_time = time.time()train(model)val_loss = evaluate(model, val_data)val_ppl = math.exp(val_loss)elapsed = time.time() - epoch_start_time # 计算当前epoch的耗时print('-'*89)print(f'| end of epoch {epoch:3d} | time: {elapsed:5.2f}s | 'f'valid loss {val_loss:5.2f} | valid ppl {val_ppl:8.2f}')print('-'*89)if val_loss < best_val_loss:best_val_loss = val_losstorch.save(model.state_dict(), best_model_params_path)scheduler.step()# 退出前加载性能最好的模型model.load_state_dict(torch.load(best_model_params_path))

 5.训练过程

|epoch   1 |   200/102499 batches | lr 5.00 | ms/batch  6.75 | loss  8.14 | ppl  3426.82
|epoch   1 |   400/102499 batches | lr 5.00 | ms/batch  5.60 | loss  6.25 | ppl   517.82
|epoch   1 |   600/102499 batches | lr 5.00 | ms/batch  6.05 | loss  5.61 | ppl   272.82
|epoch   1 |   800/102499 batches | lr 5.00 | ms/batch  5.80 | loss  5.27 | ppl   194.54
|epoch   1 |  1000/102499 batches | lr 5.00 | ms/batch  6.78 | loss  4.90 | ppl   133.77
|epoch   1 |  1200/102499 batches | lr 5.00 | ms/batch  7.06 | loss  4.51 | ppl    91.22
|epoch   1 |  1400/102499 batches | lr 5.00 | ms/batch  6.35 | loss  4.20 | ppl    66.74
|epoch   1 |  1600/102499 batches | lr 5.00 | ms/batch  6.72 | loss  4.00 | ppl    54.55
|epoch   1 |  1800/102499 batches | lr 5.00 | ms/batch  5.59 | loss  3.76 | ppl    42.92
|epoch   1 |  2000/102499 batches | lr 5.00 | ms/batch  6.63 | loss  3.63 | ppl    37.74
|epoch   1 |  2200/102499 batches | lr 5.00 | ms/batch  6.46 | loss  3.47 | ppl    32.27
|epoch   1 |  2400/102499 batches | lr 5.00 | ms/batch  6.50 | loss  3.45 | ppl    31.41
|epoch   1 |  2600/102499 batches | lr 5.00 | ms/batch  6.94 | loss  3.41 | ppl    30.35
|epoch   1 |  2800/102499 batches | lr 5.00 | ms/batch  6.64 | loss  3.27 | ppl    26.42
-----------------------------------------------------------------------------------------
| end of epoch   1 | time: 19.20s | valid loss  1.95 | valid ppl     7.01
-----------------------------------------------------------------------------------------

6.模型效果

test_loss = evaluate(model, test_data)
test_ppl = math.exp(test_loss)
print('='*89)
print(f'| End of training | test loss {test_loss:5.2f} | 'f'test ppl {test_ppl:8.2f}')
print('='*89)

7.测试结果

=========================================================================================
| End of training | test loss  1.93 | test ppl     6.88
=========================================================================================

8.总结 

在数据的导入步中多次报错,推荐下载地址“https://aistudio.baidu.com/datasetdetail/230431
”先下载数据在进行测试。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/35345.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Keil 5编译出现misc.c(90): error: no member named ‘IP‘ in ‘NVIC_Type‘

no member named ‘IP’ in ‘NVIC_Type’ 我们在使用Keil 5编译器的AC6进行代码编译的使用&#xff0c;出现如下的错误&#xff1b; 当前的环境 编译器版本 Keil uVision5&#xff0c;V5.31.0.0&#xff1b; CMSIS-Core 版本V6…1.0&#xff1b; 采用GD32F407VK主芯片&…

【Flutter 面试题】 main future mirotask 的执行顺序是怎样的?

【Flutter 面试题】 main future mirotask 的执行顺序是怎样的? 文章目录 写在前面口述回答补充说明实际案例代码代码运行结果运行结果说明代码执行顺序的总结写在前面 🙋 关于我 ,小雨青年 👉 CSDN博客专家,GitChat专栏作者,阿里云社区专家博主,51CTO专家博主。2023…

Java中的微服务架构:设计、部署与管理

Java中的微服务架构&#xff1a;设计、部署与管理 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01;今天&#xff0c;我想和大家分享一下Java中的微服务架构&…

【PythonWeb开发】Flask四大内置对象

在Flask中&#xff0c;current_app、g、request、session是非常关键的内置对象&#xff0c;它们分别承担着不同的作用&#xff0c;并广泛应用于Web开发中的多个环节。 &#xff08;1&#xff09;current_app 它是一个代表当前Flask应用实例的代理对象&#xff0c;允许开发者在…

SQL之日期时间相关知识点及函数

1.日期函数 DATE(): 从日期时间值中提取日期部分。 SELECT DATE(2024-06-16 12:34:56); -- 返回 2024-06-16 CURDATE(): 返回当前日期。 SELECT CURDATE(); -- 返回当前日期&#xff0c;例如 2024-06-16 NOW(): 返回当前日期和时间。 SELECT NOW(); -- 返回当前日期和…

C# 中的 Null:处理缺失值和可空类型

探索数据库和编程语言中的 NULL 概念&#xff0c;它表示值缺失或数据缺失。了解其在 SQL 中的重要性、其作为占位符的作用等。 在 C# 中&#xff0c;null 是一个关键字&#xff0c;表示不引用任何对象的引用。它用于指示不存在值或未初始化的引用。 当变量被赋值为 null 时&a…

微信小程序传统开发登录和云开发登录的区别

1. 传统开发登录流程 1. 用户端调用wx.login从微信服务器获取code; 2. 用户端用wx.request将获取的code传递给后端服务器&#xff1b; 3. 后端服务器将拿到的code传给微信服务器&#xff0c;换取openid和session_key; 4. 后端服务器将获取到的信息返回给用户端&#xff1b…

Nuxt3 的生命周期和钩子函数(一)

title: Nuxt3 的生命周期和钩子函数&#xff08;一&#xff09; date: 2024/6/25 updated: 2024/6/25 author: cmdragon excerpt: 摘要&#xff1a;本文是关于Nuxt3的系列文章之一&#xff0c;主要探讨Nuxt3的生命周期和钩子函数&#xff0c;引导读者深入了解其在前端开发中…

C++ | Leetcode C++题解之第198题打家劫舍

题目&#xff1a; 题解&#xff1a; class Solution { public:int rob(vector<int>& nums) {if (nums.empty()) {return 0;}int size nums.size();if (size 1) {return nums[0];}int first nums[0], second max(nums[0], nums[1]);for (int i 2; i < size; …

革新城市景观:轻空间设计团队呈现“淄博会展中心”

“淄博会展中心”&#xff0c;作为国内最大的气膜会展建筑群&#xff0c;自启用以来已经成为淄博市的亮丽新名片和经济引擎。该会展中心在第二十届中国&#xff08;淄博&#xff09;国际陶瓷博览会上首次亮相&#xff0c;其独特的设计和先进的建筑理念吸引了广泛关注。今天&…

MaxWell实时监控Mysql并把数据写入到Kafka主题中

配置mysql 启用MySQL Binlog MySQL服务器的Binlog默认是未开启的&#xff0c;如需进行同步&#xff0c;需要先进行开启 修改MySQL配置文件/etc/my.cnf sudo vim/etc/my.cof 增加如下配置 注&#xff1a;MySQL Binlog模式 Statement-based&#xff1a;基于语句&#xff0c;…

深入解析:批处理文件中echo命令的多功能用法

深入解析&#xff1a;批处理文件中echo命令的多功能用法 批处理文件&#xff0c;通常以.bat或.cmd为扩展名&#xff0c;在Windows操作系统中扮演着自动化脚本的角色。在这些脚本中&#xff0c;echo命令是使用最频繁的命令之一。本文将详细解释echo命令的多种用法&#xff0c;并…

记录bug导致测试部署出错,但是本地环境启动正常。雪花算法使用中报错。并带有源码分析。

bug出现背景 集群产生的日志要求traceId不重复&#xff0c;使用雪花算法生成traceId 报错形式如下 为什么本地无法复现测试环境的bug 因为bug的出现本身就是概率性的事件 代码如下 public static Long workId Long.parseLong(String.valueOf(NetUtil.getLocalhostStr().ha…

故障诊断 | HO-VMD-TCN河马优化算法优化变分模态分解时间卷积神经网络故障诊断模型

效果一览 文章概述 故障诊断 | HO-VMD-TCN河马优化算法优化变分模态分解时间卷积神经网络故障诊断模型&#xff01;河马优化算法&#xff08;Hippopotamus optimization algorithm&#xff0c;HO&#xff09;由Amiri等人于2024年提出&#xff0c;该算法模拟了河马在河流或池塘中…

“华为杯”第十四届中国研究生 数学建模竞赛-A题:无人机在抢险救灾中的优化运用

目录 摘 要: 1 问题重述 2 问题分析 3 问题假设 4 变量说明 5 模型的建立与求解 5.1 问题 1 的建立与求解 5.1.1 模型分析 5.1.2 问题 1 的建立 5.1.3.1 贪心算法 5.2 问题 2 的建立与求解 5.2.1 问题 2 的建立 5.2.2 问题 2 的求解 5.3 问题 3 的建立与求解 5.3.1 问题 3 的建…

21 Shell编程之正则表达式与文本处理器

目录 21.1 正则表达式 21.1.1 正则表达式概述 21.1.2 基础正则表达式 21.1.3 扩展正则表达式 21.2 文本处理器 21.2.1 sed工具 21.2.2 awk工具 21.2.3 sort工具 21.2.4 uniq工具 21.1 正则表达式 21.1.1 正则表达式概述 1.正则表达式概述 正则表达式又称正规表达式、常规表达…

离线部署OpenIM

目录 1.提取相关安装包和镜像 2.安装docker和docker-compose 3.依次导入镜像 4.解压安装包 5.执行安装命令 6.PC Web 验证 7.开放端口 7.1IM 端口 7.2Chat 端口 7.3 PC Web 及管理后台前端资源端口 “如果您在解决类似问题时也遇到了困难&#xff0c;希望我的经验分享…

HTML+CSS 彩色浮雕按钮

效果演示 实现了一个彩色按钮特效&#xff0c;包括一个按钮&#xff08;button&#xff09;和一个前景色&#xff08;::before&#xff09;。按钮具有四种不同的颜色&#xff0c;当鼠标悬停在按钮上时&#xff0c;前景色会出现渐变效果&#xff0c;并且按钮的颜色、文本阴影和边…

Windows 获取打印机及端口号方法 (C#)

1. 打开注册表编辑器 regedit 2.选择如下配置 计算机\HKEY_CURRENT_USER\SOFTWARE\Microsoft\Windows NT\CurrentVersion\Device 3. 代码 C# using System; using Microsoft.Win32;class Program {static void Main(){string registryPath "SOFTWARE\Microsoft\Windows …

优选算法2

五、位运算 常见位运算总结 &&#xff1a;有0就是0&#xff1b; |&#xff1a;有1就是1 ^&#xff1a;相同为0&#xff0c;相异就是1/无进位相加 给定一个数n,确定它的二进制表示中的第x位是0还是1&#xff1a;二进制中权值最小的是第0位&#xff0c;所以int整型是从第0位到…