【PyTorch】6.Learn about the optimization loop 了解优化循环

Learn about the optimization loop 了解优化循环

Optimizing Model Parameters 优化模型参数

现在我们有了模型和数据,是时候通过优化数据上的参数来训练、验证和测试我们的模型了。训练模型是一个迭代过程;在每次迭代中,模型都会对输出进行猜测,计算其猜测中的误差(损失),收集相对于其参数的导数的误差(如我们在上一节中看到的),并使用梯度下降优化这些参数。有关此过程的更详细演练,请观看3Blue1Brown 的反向传播有关视频。

Prerequisite Code 前置代码

我们加载前面有关数据集和数据加载器 以及构建模型的代码。

%matplotlib inline
import torch
from torch import nn
from torch.utils.data import DataLoader
from torchvision import datasets
from torchvision.transforms import ToTensor, Lambdatraining_data = datasets.FashionMNIST(root = "data",train = True,download = True,transform = ToTensor()
)test_data = datasets.FashionMNIST(root = "data",train = False,download = True,transform = ToTensor()
)train_dataloader = DataLoader(training_data, batch_size = 64)
test_dataloader = DataLoader(test_data, batch_size = 64)class NeuralNetwork(nn.Module):def __init__(self):super().__init__()self.flatten = nn.Flatten()self.linear_relu_stack = nn.Sequential(nn.Linear(28*28, 512),nn.ReLU(),nn.Linear(512, 512),nn.ReLU(),nn.Linear(512, 10),nn.ReLU())def forward(self, x):x = self.flatten(x)logits = self.linear_relu_stack(x)return logitsmodel = NeuralNetwork()

Setting hyperparameters 设置超参数

超参数是可调整的参数,可让您控制模型优化过程。不同的超参数值会影响模型训练和收敛速度(阅读有关超参数调整的更多信息)

我们定义以下训练超参数:

  • Number of Epochs - 整个训练数据集通过网络的次数。
  • Batch Size - 每个Epoch模型看到的数据样本数量。迭代完成一个epoch所需的批次数。
  • Learning Rate- 模型在搜索可产生更高模型精度的最佳权重时匹配的步长大小。值越小意味着模型需要更长的时间才能找到最佳权重。较大的值可能会导致模型跳过并错过最佳权重,从而在训练期间产生不可预测的行为。
learning_rate = 1e-3
batch_size = 64
epochs = 5

Add an optimization loop 添加优化循环

一旦我们设置了超参数,我们就可以使用优化循环来训练和优化我们的模型。优化循环的每次迭代称为一个epoch

每个 epoch由两个主要部分组成:

  • The Train Loop - 迭代训练数据集并尝试收敛到最佳参数。
  • The Validation/Test Loop - 迭代测试数据集以检查模型性能是否有所改善。

让我们简单熟悉一下训练循环中使用的一些概念。向前跳转查看优化循环的完整实现。

Add a loss function 添加损失函数

当提供一些训练数据时,我们未经训练的网络可能不会给出正确的答案。损失函数衡量的是得到的结果与目标值的不相似程度,它是我们在训练时想要最小化的损失函数。为了计算损失,我们使用给定数据样本的输入进行预测,并将其与真实数据标签值进行比较。

常见的损失函数包括:

  • nn.MSELoss(Mean Square Error 均方误差) 用于回归任务
  • nn.NLLLoss(Negative Log Likelihood 负对数似然) 用于分类
  • nn.CrossEntropyLoss 结合了nn.LogSoftmaxnn.NLLLoss

我们将模型的输出 logits 传递给nn.CrossEntropyLoss,这将标准化 logits 并计算预测误差。

# Initialize the loss function
loss_fn = nn.CrossEntropyLoss()

Optimization pass 优化传递

优化是调整模型参数以减少每个训练步骤中模型误差的过程。Optimization algorithms定义了如何执行此过程(在本例中我们使用 Stochastic Gradient Descent 随机梯度下降)。所有优化逻辑都封装在optimizer对象中。这里,我们使用SGD优化器;此外,PyTorch 中还有许多不同的优化器 ,例如 ADAM 和 RMSProp,它们可以更好地处理不同类型的模型和数据。

注册需要训练的模型参数,并传入学习率超参数。我们通过这种方式,来初始化优化器。

optimizer = torch.optim.SGD(model.parameters(), lr= learning_rate)

在训练循环中,优化分三个步骤进行:

  • 调用optimizer.zero_grad()重置模型参数的梯度。默认情况下渐变相加;为了防止重复计算,我们在每次迭代时明确地将它们归零。
  • 通过调用loss.backward()来反向传播预测损失。PyTorch 存储每个参数的损失梯度。
  • 一旦我们有了梯度,通过后向传递中收集的梯度,我们就可以调用optimizer.step()来调整参数。

Full Implementation 全面实施

我们定义了train_loop优化代码的循环,test_loop根据我们的测试数据评估模型的性能。

def train_loop(dataloader, model, loss_fn, optimizer):size = len(dataloader.dataset)for batch, (X, y) in enumerate(dataloader):# Compute prediction and losspred = model(X)loss = loss_fn(pred, y)# Backpropagationoptimizer.zero_grad()loss.backward()optimizer.step()if batch % 100 == 0:loss, current = loss.item(), batch * len(X)print(f"loss: {loss:>7f} {current:>5d}/{size:>5d}")def test_loop(dataloader, model, loss_fn):size = len(dataloader.dataset)num_batches = len(dataloader)test_loss, correct = 0, 0with torch.no_grad():for X, y in dataloader:pred = model(X)test_loss += loss_fn(pred, y).item()correct += (pred.argmax(1) == y).type(torch.float).sum().item()test_loss /= num_batchescorrect /= sizeprint(f"Test Error: \n Accuracy: {100 * correct:>0.1f}%, Avg loss: {test_loss:>8f} \n")

我们初始化损失函数和优化器,并将其传递给train_looptest_loop。请随意增加epoch数来跟踪模型改进的性能。

loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr = learning_rate)epochs = 10
for t in range(epochs):print(f"Epoch {t+1} \n ----------")train_loop(train_dataloader, model, loss_fn, optimizer)test_loop(train_dataloader, model, loss_fn)
print("Done!")
Epoch 1 ----------
loss: 2.301911     0/60000
loss: 2.292816  6400/60000
loss: 2.287881 12800/60000
loss: 2.287051 19200/60000
loss: 2.255377 25600/60000
loss: 2.253076 32000/60000
loss: 2.260443 38400/60000
loss: 2.247314 44800/60000
loss: 2.241305 51200/60000
loss: 2.210870 57600/60000
Test Error: Accuracy: 36.2%, Avg loss: 2.231190 Epoch 2 ----------
loss: 2.239081     0/60000
loss: 2.230416  6400/60000
loss: 2.228071 12800/60000
loss: 2.236214 19200/60000
loss: 2.153478 25600/60000
loss: 2.158298 32000/60000
loss: 2.178127 38400/60000
loss: 2.160697 44800/60000
loss: 2.154827 51200/60000
loss: 2.075521 57600/60000
Test Error: Accuracy: 36.6%, Avg loss: 2.133443 Epoch 3 ----------
loss: 2.146330     0/60000
loss: 2.128829  6400/60000
loss: 2.128925 12800/60000
loss: 2.157317 19200/60000
loss: 1.988493 25600/60000
loss: 2.024168 32000/60000
loss: 2.047211 38400/60000
loss: 2.034990 44800/60000
loss: 2.041876 51200/60000
loss: 1.895464 57600/60000
Test Error: Accuracy: 36.6%, Avg loss: 2.005870 Epoch 4 ----------
loss: 2.021032     0/60000
loss: 1.997008  6400/60000
loss: 2.011971 12800/60000
loss: 2.068262 19200/60000
loss: 1.803704 25600/60000
loss: 1.892051 32000/60000
loss: 1.908679 38400/60000
loss: 1.918824 44800/60000
loss: 1.930000 51200/60000
loss: 1.739982 57600/60000
Test Error: Accuracy: 36.9%, Avg loss: 1.891897 Epoch 5 ----------
loss: 1.902151     0/60000
loss: 1.882296  6400/60000
loss: 1.913334 12800/60000
loss: 1.990550 19200/60000
loss: 1.657651 25600/60000
loss: 1.794650 32000/60000
loss: 1.795805 38400/60000
loss: 1.831202 44800/60000
loss: 1.833831 51200/60000
loss: 1.629697 57600/60000
Test Error: Accuracy: 37.4%, Avg loss: 1.799645 Epoch 6 ----------
loss: 1.802362     0/60000
loss: 1.789743  6400/60000
loss: 1.826163 12800/60000
loss: 1.926406 19200/60000
loss: 1.548903 25600/60000
loss: 1.718380 32000/60000
loss: 1.711547 38400/60000
loss: 1.762800 44800/60000
loss: 1.758859 51200/60000
loss: 1.552383 57600/60000
Test Error: Accuracy: 38.0%, Avg loss: 1.727585 Epoch 7 ----------
loss: 1.725688     0/60000
loss: 1.717472  6400/60000
loss: 1.751318 12800/60000
loss: 1.876573 19200/60000
loss: 1.472371 25600/60000
loss: 1.662801 32000/60000
loss: 1.653247 38400/60000
loss: 1.712392 44800/60000
loss: 1.704763 51200/60000
loss: 1.500154 57600/60000
Test Error: Accuracy: 39.0%, Avg loss: 1.674637 Epoch 8 ----------
loss: 1.668191     0/60000
loss: 1.661058  6400/60000
loss: 1.691381 12800/60000
loss: 1.841454 19200/60000
loss: 1.421006 25600/60000
loss: 1.622762 32000/60000
loss: 1.614252 38400/60000
loss: 1.674310 44800/60000
loss: 1.665184 51200/60000
loss: 1.463472 57600/60000
Test Error: Accuracy: 40.0%, Avg loss: 1.635488 Epoch 9 ----------
loss: 1.624500     0/60000
loss: 1.616901  6400/60000
loss: 1.642325 12800/60000
loss: 1.813562 19200/60000
loss: 1.385301 25600/60000
loss: 1.592487 32000/60000
loss: 1.585913 38400/60000
loss: 1.645142 44800/60000
loss: 1.634234 51200/60000
loss: 1.435932 57600/60000
Test Error: Accuracy: 41.0%, Avg loss: 1.604748 Epoch 10 ----------
loss: 1.588852     0/60000
loss: 1.580336  6400/60000
loss: 1.601489 12800/60000
loss: 1.791107 19200/60000
loss: 1.359017 25600/60000
loss: 1.568917 32000/60000
loss: 1.563138 38400/60000
loss: 1.620597 44800/60000
loss: 1.591901 51200/60000
loss: 1.372489 57600/60000
Test Error: Accuracy: 42.0%, Avg loss: 1.533991 Done!

您可能已经注意到该模型最初不是很好(没关系!)。尝试运行循环更多的 epochs 或将 learning_rate 调整为更大的数字。也可能是这样的情况,我们选择的模型配置可能不是解决此类问题的最佳配置(事实并非如此)。后续课程将更深入地研究适用于视觉问题的模型形状。

保存模型

当您对模型的性能感到满意时,可以使用 torch.save 保存它。 PyTorch 模型将学习到的参数存储在internal state dictionar内部状态字典中,称为 state_dict 。这些可以通过 torch.save 方法保存:

torch.save(model.state_dict(), "data/model.pth")print("Save PyToch Model State to model.pth")
Save PyToch Model State to model.pth

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/641894.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Vue 动态组件与异步组件:深入理解与全面应用

聚沙成塔每天进步一点点 本文内容 ⭐ 专栏简介1. 动态组件实现原理:用法示例: 2. 异步组件实现原理:用法示例: 3. 异步组件的高级应用a. 异步组件的命名:b. 异步组件的加载状态管理: ⭐ 写在最后 ⭐ 专栏简…

element plus表格的表头和内容居中

文章目录 需求分析 需求 对于 element-plus 中的 table 进行表头和内容的居中显示 分析 单列的表头和内容居中 &#xff1a; 在对应的那一列加上align“center” 即可 <el-table-column prop"name" label"商品名称" align"center" />…

c++QT文件IO

1、QFileDialog文件对话框 与QMessageBox一样&#xff0c;QFileDialog也继承了QDialog类&#xff0c;直接使用静态成员函数弹窗。弹出的结果&#xff08;选择文件的路径&#xff09;通过返回值获取。 1&#xff09;获取一个打开或保存的文件路径 // 获取一个打开或保存的文件路…

WEB前端IDE的使用以及CSS的应用

IDE的使用 <!DOCTYPE html> <html lang"zh"><head><meta charset"UTF-8"><meta http-equiv"X-UA-Compatible" content"IEedge"><meta name"viewport" content"widthdevice-width, i…

Unity3D控制人物移动的多种方法

系列文章目录 unity知识点 文章目录 系列文章目录前言一、人物移动之键盘移动1-1、代码如下1-2、效果 二、人物移动之跟随鼠标点击移动2-1、代码如下2-2、效果 三、人物移动之刚体移动3-1、代码如下3-2、效果 四、人物移动之第一人称控制器移动4-1、代码如下4-2、效果 五、And…

从编程中思考:大脑的局部与全局模式(一)

郭靖正在帐篷中用Unity写代码&#xff0c;刚写完一段代码。欧阳锋从帐篷外走进来&#xff0c;正要说点什么&#xff0c;郭靖反应敏捷&#xff0c;转身反手一招神龙摆尾击出&#xff0c;将欧阳锋震出帐篷&#xff0c;灰溜溜逃跑。 using UnityEngine;public class LocalGlobalD…

Maven 综合案例

1. 项目需求和结构分析 需求案例&#xff1a;搭建一个电商平台项目&#xff0c;该平台包括用户服务、订单服务、通用工具模块等。 项目架构&#xff1a; 用户服务&#xff1a;负责处理用户相关的逻辑&#xff0c;例如用户信息的管理、用户注册、登录等。 spring-context 6.0.…

P1320 压缩技术(续集版)(C语言)

基本思路是&#xff1a; 1.读入字符串并计算n值 2.字符串连接&#xff08;要用到strcat&#xff09; 3.输出n值 4.计算字符数并输出 其中输出时第一个数字是0的个数&#xff0c;这个很容易被遗漏。 #include<stdio.h> #include<string.h> int main() {char a[…

centos 7.6 进入单用户模式

1、重启服务器&#xff0c;在选择内核界面使用上下箭头移动 2、选择内核并按“e” 将“RO”改成 rw ,删除 rhgb quiet 添加 init/bin/bash Ctrl X 进入单用户模式 为防止乱码&#xff0c;修改语言为英语 修改完密码建议输入&#xff1a;touch /.autorelabel 更新系统信…

imgaug库图像增强指南(34):揭秘【iaa.Clouds】——打造梦幻般的云朵效果

引言 在深度学习和计算机视觉的世界里&#xff0c;数据是模型训练的基石&#xff0c;其质量与数量直接影响着模型的性能。然而&#xff0c;获取大量高质量的标注数据往往需要耗费大量的时间和资源。正因如此&#xff0c;数据增强技术应运而生&#xff0c;成为了解决这一问题的…

vue页面样式在微信中不生效

有几个可能的原因导致你的Vue页面样式在微信中不生效&#xff1a; 缓存问题&#xff1a;微信客户端可能会缓存页面的样式文件。你可以尝试在开发环境下清除缓存&#xff0c;或者在部署时给样式文件添加一个版本号&#xff0c;强制客户端重新加载最新的样式。 兼容性问题&#…

mysql 导入数据 1273 - Unknown collation: ‘utf8mb4_0900_ai_ci‘

前言: mysql 导入数据 遇到这个错误 1273 - Unknown collation: utf8mb4_0900_ai_ci 具体原因没有深究 但应该是设计数据库的 字符集类型会出现这个问题 例如: char varchar text..... utf8mb4 类型可以存储表情 在现在这个时代会用很多 以后会用的更多 所以不建议改…

GBASE南大通用分享,适用于 GBase 8s ESQL/C的Insert 游标

关闭 Insert 游标 由于 GBase 8s 在 SPL 例程中不支持 Insert 游标&#xff0c;本节有关 Insert 游标的讨论仅适用于 GBase 8s ESQL/C。在 SPL 例程中&#xff0c;只能执行 DECLARE 语句定义的 Select 或 Function 游标的 CLOSE 语句。&#xff08;SPL 的 FOREACH 语句在其语…

SV-7101V网络音频终端产品简介

SV-7101V网络音频终端产品简介 网络广播终端SV-7101V&#xff0c;接收网络音频流&#xff0c;实时解码播放。本设备只有网络广播功能&#xff0c;是一款简单的网络广播终端。提供一路线路输出接功放或有源音箱。18123651365微信 产品特点 ■ 提供固件网络远程升级■ 标准RJ…

XML 注入漏洞原理以及修复方法

漏洞名称&#xff1a;XML注入 漏洞描述&#xff1a;可扩展标记语言 (Extensible Markup Language, XML) &#xff0c;用于标记电子文件使其具 有结构性的标记语言&#xff0c;可以用来标记数据、定义数据类型&#xff0c;是一种允许用户对自己的标记语言进行定义的源语言。 XM…

CSS之边框样式

让我为大家介绍一下边框样式吧&#xff01;如果大家想更进一步了解边框的使用&#xff0c;可以阅读这一篇文章&#xff1a;CSS边框border 属性描述none没有边框,即忽略所有边框的宽度(默认值)solid边框为单实线dashed边框为虚线dotted边框为点线double边框为双实线 代码演示&…

教你怎么用Docker 部署前端

越来越多的前端团队选择用 Docker 部署前端项目&#xff0c;方法是将项目打包成一个镜像&#xff0c;然后在服务端直接拉镜像启动项目。这种方式可以忽略服务器环境差异&#xff0c;更容易做版本管理。 但我们平常使用 Docker 拉取镜像时&#xff0c;默认会从 Docker Hub 这个…

PWM调光 降压恒流LED芯片FP7127:为照明系统注入新能量(台灯、GBR、调光电源、汽车大灯)

目录 一、降压恒流LED芯片FP7127 二、降压恒流LED芯片FP7127具有以下特点&#xff1a; 三、降压恒流LED芯片FP7127应用领域&#xff1a; LED照明和调光的新纪元随着LED照明技术的不断发展&#xff0c;人们对于照明调光的需求也越来越高。PWM调光技术作为一种常用的调光方法&…

一、认识 JVM 规范(JVM 概述、字节码指令集、Class文件解析、ASM)

1. JVM 概述 JVM&#xff1a;Java Virtual Machine&#xff0c;也就是 Java 虚拟机 所谓虚拟机是指&#xff1a;通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的计算机系统。 即&#xff1a;虚拟机是一个计算机系统。这种计算机系统运行在完全隔离的环境中…

【心得】java反序列化漏洞利用启蒙个人笔记

目录 前置基础概念 java的反序列化利用概念baby题 例题1 例题2 java反序列化启蒙小结&#xff1a; URLDNS链 一句话总结&#xff1a; 简单分析&#xff1a; 利用点&#xff1a; 示例&#xff1a; 前置基础概念 序列化 类实例->字节流 反序列化 字节流->类实…