【Pytorch】1.读取训练数据集

导入Dataset类

from torch.utils.data import Dataset
# 注意是Dataset（大写）的才是类

通过jupyter我们可以阅读一下Dataset类的具体使用方法

help(Dataset)
# 或者直接
Dataset??

在这里插入图片描述
我们可以看到具体对Dataset类的解释
从蓝色字体我们可以得出

所有的代表map的数据集应该继承这个类
所有继承的子类都重写__getitem__这个方法，这个方法支持获取数据样本中的指定键
同时子类也要重写__len__这个方法返回数据集大小
子类可以重写__getitem__，来加速样本生成
也就是说我们要重写__getitem__方法与__len__方法

其他导入包

from PIL import Image  # 主要用于图像的操作
import os  # 文件操作

Image用于将目标路径的文件转化为可以打开的图片变量
os用于文件操作

listdir对目标文件夹中的文件名称列成列表
os.path.join用于将两个地址进行拼接

MyData类的定义

class MyData(Dataset):  # 创建一个MyData类，同时继承Dataset类def __init__(self, root_dir, label_dir):  # 类似于c++的构造函数# root_dir 一般设置为训练集文件夹的地址(train)# label_dir 一般设置为分类文件夹的地址(ants)self.root_dir = root_dirself.label_dir = label_dirself.path = os.path.join(root_dir, label_dir)  # 这个函数的作用是将root_dir的地址与label_dir的地址拼接起来self.img_path = os.listdir(self.path)  # 将特定文件夹地址(path)中的所有文件列成一个listdef __getitem__(self, index):  # 重写父类的方法img_name = self.img_path[index]  # 获取对应下标的图片名img_item_path = os.path.join(self.path, img_name)  # 获取图片路径img = Image.open(img_item_path)  # 根据图片路径打开图片# img.show()    展示图片label = self.label_dirreturn img, labeldef __len__(self):return len(self.img_path)

类的实例化

# root_dir 一般设置为训练集文件夹的地址(train)
# label_dir 一般设置为分类文件夹的地址(ants)
root_dir = "hymenoptera_data/train"
ant_label_dir = "ants"
bee_label_dir = "bees"
# 生成对应训练集的图片、标签列表
ants_dataset = MyData(root_dir, ant_label_dir)
bees_dataset = MyData(root_dir, bee_label_dir)# 列表相加，前提是必须重载__len__方法
train_dataset = ants_dataset + bees_dataset