PyTorch学习7:加载数据集

文章目录

  • 前言
  • 一、epoch,batch-size和iteration
  • 二、示例
    • 1.说明
    • 2.代码示例
  • 总结


前言

介绍PyTorch中加载数据集的相关操作。Dataset和DataLoader

一、epoch,batch-size和iteration

epoch:所有训练数据完成一次前馈和反馈
batch-size:每次小样本选取的数量
iteration:样本总数除以batch-size

二、示例

1.说明

1.Dataset为抽象类,不能实例化对象,只能继承来用。
2.DataLoader用于帮助加载数据。
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=2)
dataset:数据集
batch_size:每一批次的数据大小
shuffle:是否打乱随机取,增加随机性
num_workers:多线程

2.代码示例

代码如下(示例):

import torch
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoader
import matplotlib.pyplot as plt# prepare datasetclass DiabetesDataset(Dataset):def __init__(self, filepath):xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)self.len = xy.shape[0]  # shape(多少行,多少列)self.x_data = torch.from_numpy(xy[:, :-1])self.y_data = torch.from_numpy(xy[:, [-1]])def __getitem__(self, index):return self.x_data[index], self.y_data[index]def __len__(self):return self.lendataset = DiabetesDataset('diabetes.csv')
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=2)  # num_workers 多线程# design model using classclass Model(torch.nn.Module):def __init__(self):super(Model, self).__init__()self.linear1 = torch.nn.Linear(8, 6)self.linear2 = torch.nn.Linear(6, 4)self.linear3 = torch.nn.Linear(4, 1)self.sigmoid = torch.nn.Sigmoid()def forward(self, x):x = self.sigmoid(self.linear1(x))x = self.sigmoid(self.linear2(x))x = self.sigmoid(self.linear3(x))return xmodel = Model()# construct loss and optimizer
criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)# training cycle forward, backward, update
if __name__ == '__main__':epoch_list = []loss_list = []for epoch in range(100):epoch_list.append(epoch)loss_temp = 0for i, data in enumerate(train_loader, 0):  # train_loader 是先shuffle后mini_batchinputs, labels = datay_pred = model(inputs)loss = criterion(y_pred, labels)loss_temp += loss.item()print(epoch, i, loss.item())optimizer.zero_grad()loss.backward()optimizer.step()loss_list.append(loss_temp)plt.plot(epoch_list, loss_list)plt.ylabel('loss')plt.xlabel('epoch')plt.show()

得到如下结果:
在这里插入图片描述

总结

PyTorch学习7:加载数据集

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/25556.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

[大模型]Gemma-2B-Instruct FastApi 部署调用

环境准备 在 平台中租赁一个 3090 等 24G 显存的显卡机器,如下图所示镜像选择 PyTorch-->2.1.0-->3.10(ubuntu22.04)-->12.1。 接下来打开刚刚租用服务器的 JupyterLab,并且打开其中的终端开始环境配置、模型下载和运行演示。 pip 换源加速下载…

Android AOSP定制去掉Google搜索栏

Android AOSP定制去掉Google搜索栏 1.前言: ​ 最近接触了Android系统定制的需求,感觉非常有意思,之前做过Launcher和串口,也自己安装过虚拟机,不过几年没用Linux系统了有点不习惯,Linux命令也不熟悉&…

SpringBoot实现图片文件上传和回显的两种方式

目录 一 功能需求 二 上传本地 2.1 实现文件上传的controller层 2.2 图片访问资源映射 二 上传OSS 一 功能需求 实现图片的上传和回显功能其实在业务中是非常常见的,比如需要上传头像,或者交易平台需要上传物品的图片等等,都需要上传和回显,所以我接下来给大家介绍两种…

Android Verified Boot (AVB) 与 dm-verity 之间的关系、相同点与差异点

标签: AVB; dm-verity ;Android Android Verified Boot (AVB) 与 dm-verity 之间的关系、相同点与差异点 概述 Android Verified Boot (AVB) 和 dm-verity 是 Android 操作系统中用于确保设备启动过程和运行时数据完整性的两个重要技术。尽管它们有着不同的实现和侧重点,…

大模型-智能儿科助手

论文摘要 论文标题为“PediatricsGPT: Large Language Models as Chinese Medical Assistants for Pediatric Applications”,提出了一种用于儿科应用的中文大模型助手。为了解决现有大模型在儿科应用中表现欠佳的问题,作者构建了一个高质量的数据集 Pe…

qt自适应图片

在 Qt 中,通过重写 paintEvent 方法来添加自适应背景图片的过程如下: 创建一个自定义的 QWidget 子类。重写 paintEvent 方法,在该方法中使用 QPainter 绘制背景图片。使用 QPixmap 加载图片,并调整图片的大小以适应窗口的大小。…

Spring知识点总结

1. 简介一下Spring框架。 答:Spring框架是一个开源的容器性质的轻量级框架。主要有三大特点:容器、IOC(控制反转)、AOP(面向切面编程)。 2. Spring框架有哪些优点?谈谈你的看法。 答&#xff…

window.open(“.html“,“_blank“) 执行是下载,并没有打开新窗口显示html

window.open() 方法在浏览器中打开一个新窗口或者新标签页。如果你的 .html 文件被下载而不是在新窗口中打开,那可能是因为服务器的响应头设置了 Content-Disposition: attachment,这会导致浏览器把响应的内容作为一个文件下载。 如果你有权限修改服务器…

Java集合汇总

Java中的集合框架是Java语言的核心部分,提供了强大的数据结构来存储和操作对象集合。集合框架位于java.util包中,主要可以分为两大类:Collection(单列集合)和Map(双列集合)。下面是对它们的总结…

快速开始一个go程序(极简-快速入门)

一、 实验介绍 1.1 实验简介 为了能更高效地使用语言进行编码,Go 语言有自己的哲学和编程习惯。Go 语言的设计者们从编程效率出发设计了这门语言,但又不会丢掉访问底层程序结构的能力。设计者们通过一组最少的关键字、内置的方法和语法,最终…

直接用sql语句来查询和分析excel表,不需要导数据,提供了sql语句自动生成,不会sql也能用

用sql语句来查询excel表,我们需要把excel表格导入到数据库中,然后用数据库的管理工具写sql语句来进行查询。方法有很多,我们不一一描述。 今天我们要说的是直接用sql语句来查询和分析excel表。为什么有这么一个想法呢?程…

网络安全法对个人保护的要求

概述 《网络安全法》作为我国网络安全领域的基本法,对个人信息的保护提出了明确要求,旨在构建一个安全、可靠的网络环境,保护公民、法人和其他组织的合法权益。下面就从三个角度进行解读。 个人信息收集与使用 《网络安全法》规定&#xf…

配置 JDK 和 Android SDK

目录 一、配置JDK 1. 安装 JDK 2. JDK 环境配置 3. JDK的配置验证 二、配置 adb 和Android SDK环境 1、下载 2、配置 Android SDK 环境 一、配置JDK 1. 安装 JDK 安装链接:Java Downloads | Oracle 我安装的是 .zip ,直接在指定的文件夹下解压就…

[AIGC] 图论在LeetCode算法题中的应用

图论是计算机科学中一个广泛应用的理论基础,学好图论对解决LeetCode等平台上的算法问题至关重要。本文将介绍几种基于图论的LeetCode算法题目,并提供一个基本的解决策略。 文章目录 1. 基础定义2. 示例问题3. 解决策略结论 1. 基础定义 在深入研究示例之…

【Pyqt6 学习笔记】DIY一个二维码解析生成小工具

文章目录 Pycharm 配置QtDesignerPyUIC基本模板 代码示例依赖包main.pyscreen_shot_module.pyuntitled.pyuntitled.ui Pycharm 配置 摘自PyQT6的从零开始在Pycharm中配置与使用——蹦跑的蜗牛 pip install PyQt6 PyQt6-toolsQtDesigner File -> Settings -> External …

c++【入门】请假时间计算

限制 时间限制 : 1 秒 内存限制 : 128 MB 题目 假设小明的妈妈向公司请了n天的假,那么请问小明的妈妈总共请了多少小时的假,多少分钟的假?(提示:1天有24小时,1小时有60分钟) 输入 一个整数…

等级保护与网络安全:构建信息安全的坚实防线

# 等级保护与网络安全:构建信息安全的坚实防线 引言 在数字化时代,网络安全已成为国家安全的重要组成部分。等级保护作为我国网络安全保障体系的核心,对于维护网络空间的安全稳定起到了至关重要的作用。本文将探讨等级保护与网络安全的关系&…

自定义类型:枚举(enum)+联合体(union)

枚举联合体 一.枚举1.枚举类型的声明2.枚举类型的优点3.枚举类型的使用 二.联合体1.联合体类型的声明2.联合体的特点3.相同成员的结构体和联合体对比4.联合体大小的计算5.联合体的练习(判断大小端)6.联合体节省空间例题 一.枚举 1.枚举类型的声明 枚举…

Edge浏览器双击关闭标签页,双击关闭浏览器选项卡

设置》外观》自定义浏览器,开启“使用双击关闭浏览器选项卡” 设置里面搜索“双击”,这是最快的方式 鼠标滚轮单击 或者进入“设置”-“辅助功能” 呼吁已久的功能来了!Edge浏览器双击关闭标签页功能上线新 国产浏览器大多都有双击关闭标签页…

大模型PEFT(二) 之 大模型LoRA指令微调学习记录

1.peft 1.1 微调方法批处理大小模式GPU显存速度 1.2 当前高效微调技术存在的一些问题 当前的高效微调技术很难在类似方法之间进行直接比较并评估它们的真实性能,主要的原因如下所示: 参数计算口径不一致:参数计算可以分为三类: 可训练参数的数量、微调模型与原…