PyTorch深度学习快速入门（上）

一、前言
- （一）PyTorch环境配置
- （二）Python编译器的选择
- （三）Python学习中的两大法宝函数
二、如何加载数据
- （一）Dataset与Dataloader的作用
- （二）Dataset的常见组成形式与实战
- （三）Dataloader的组成形式与实战
三、TensorBoard
- （一）TensorBoard的作用
- （二）TensorBoard的安装&打开事件文件的指令
- - （1）TensorBoard 的安装
  - （2）如何用 tensorboard 打开事件文件
  - （3）两个运行时常见报错
- （三）add_scalar( ) 的使用 — 常用来绘制 train/val loss
- （四）add_image( ) 的使用 — 常用来观察训练结果
四、torchvision中的transforms
- （一）transforms的作用与使用技巧
- （二）transforms的使用
- （三）transforms中常见类的使用
- （四）与torchvision中的datasets联合使用

一、前言

（一）PyTorch环境配置

CPU下的环境配置问题，在之前的博客中已经详细介绍（链接放在下方自取），这里不再阐述
Windows下Pytorch入门深度学习环境安装与配置（CPU版本）

（二）Python编译器的选择

（1）PyCharm
在这里插入图片描述
（2）Jupyter（衍生自ipython：可交互）
默认只安装在base环境中

要想在我们创建的虚拟环境中安装，需要在虚拟环境的命令行中输入以下指令：

conda install nb_conda

想使用本地已下载好的包进行安装的指令：

conda install --use-local 包名

想要启动 jupyter，只需要在虚拟环境的命令行中输入以下指令：

jupyter notebook

验证可以使用 Pytorch 环境

关于Jupyter更详细的使用教程（优点、如何创建在指定目录底下、常用快捷键），可查看下面这篇博客：快速入门Jupyter notebook

（三）Python学习中的两大法宝函数

在这里插入图片描述

二、如何加载数据

（一）Dataset与Dataloader的作用

在这里插入图片描述

（二）Dataset的常见组成形式与实战

Dataset 的三种组织形式
Dataset 的官方解读
实战

在这里插入图片描述

from torch.utils.data import Dataset
from PIL import Image
import osclass MyData(Dataset): #MyData继承Datasetdef __init__(self, root_dir, label_dir):  #要获取文件夹下的所有图片  也要获取图片上一级的名称#获取文件夹的地址self.root_dir = root_dirself.label_dir = label_dirself.path = os.path.join(self.root_dir,self.label_dir)#将文件夹里数据（所有照片的路径地址）以列表的形式存储再列表里self.img_path_list = os.listdir(self.path)#获取其中每一个图片def __getitem__(self, idx):img_name = self.img_path_list[idx]img_item_path = os.path.join(self.root_dir,self.label_dir,img_name)img = Image.open(img_item_path)label = self.label_dirreturn img,label  #训练的时候需要图像和标签def __len__(self):return len(self.img_path_list)root_dir = "dataset/train"
ants_label_dir = "ants"
bees_label_dir = "bees"
ants_dataset = MyData(root_dir,ants_label_dir)
bees_dataset = MyData(root_dir,bees_label_dir)train_dataset = ants_dataset + bees_dataset

另：改造成更常见的标注方法

（三）Dataloader的组成形式与实战

在这里插入图片描述

import torchvision
from torch.utils.data import DataLoader
from torch.utils.tensorboard import SummaryWritertest_data = torchvision.datasets.CIFAR10("./dataset",train=False,transform=torchvision.transforms.ToTensor())test_loader = DataLoader(dataset=test_data,batch_size=64,shuffle=True,num_workers=0,drop_last=True)img,target = test_data[0]
print(img.shape)
print(target)writer = SummaryWriter("dataloader")
step = 0
for epoch in range(2):for data in test_loader: # test_loader是一个迭代对象，data可以拿到test_loader中的每一个元素imgs,targets = data  # batch_size=64，这里一次拿64个（默认随机抓取）# print(imgs.shape)# print(targets)writer.add_images(f"Epoch：{epoch}",imgs,step) # 注意add_images要加sstep = step + 1writer.close()

在这里插入图片描述

三、TensorBoard

（一）TensorBoard的作用

在这里插入图片描述

（二）TensorBoard的安装&打开事件文件的指令

（1）TensorBoard 的安装

在命令行中输入以下指令

pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple

（2）如何用 tensorboard 打开事件文件

tensorboard --logdir=事件文件所在文件夹名

在这里插入图片描述
有的时候，一台服务器上好几个人训练，大家都指向一个端口，很麻烦，就可以用下面的代码指定端口，防止和别人冲突

tensorboard --logdir=事件文件所在文件夹名 --port=端口号（eg.6007、6008……）

（3）两个运行时常见报错

训练时调取tensorboard报错：TypeError: MessageToJson() got an unexpected keyword argument including。并且没有显示图像。

这是由于tensorboard版本过高导致。只需要将tensorboard版本降低即可，降低至2.12.0便可以正常使用。

pip install tensorboard==2.12.0

这个时候运行，往往又会出现第二个报错：ValueError:Duplicate plugins for name projector

这是由于改版本后，之前版本的 tensorboard 没有删除，被保留下来了，多个 tensorboard 冲突。只需要在此虚拟环境的文件夹中，找到 tensorboard–x.x.xdist-info 文件（在虚拟环境->Lib->site-packages中），把它删除即可解决

（三）add_scalar( ) 的使用 — 常用来绘制 train/val loss

按 Ctr+ 鼠标移至函数处点击，即可查看函数的源代码

SummaryWriter( ) 的解读

add_scalar( ) 的解读

全代码

from torch.utils.tensorboard import SummaryWriter # 按 ctr+鼠标移至函数处，有提示writer = SummaryWriter("logs")# y = 2x
for i in range(100):writer.add_scalar("y=2x",2*i,i) # 添加标量writer.close()

在这里插入图片描述

另：如果两次运行用同一个 tag，可能会导致生成下图中所示的图

解释：新的事件记入到了上一个事件当中，系统会自动做一个拟合
解决方法：一种解决方法就是把对应的logs下文件都删掉，在重新运行，还有一种更好的解决方法是创建新的文件

（四）add_image( ) 的使用 — 常用来观察训练结果

在这里插入图片描述

add_image( ) 的解读

如果想用openCV，需下载，在命令行中输入以下指令：

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

全代码

from torch.utils.tensorboard import SummaryWriter 
import numpy as np
from PIL import Imagewriter = SummaryWriter("logs")
image_path = "data/train/ants_image/0013035.jpg"
img_PIL = Image.open(image_path)
img_array = np.array(img_PIL)print(img_array.shape)  # 看一下 img 的格式，是(512, 768, 3)，HWC格式，也可以直接通过控制台查看
writer.add_image("test",img_array,1,dataformats='HWC') writer.close()

在这里插入图片描述

四、torchvision中的transforms

（一）transforms的作用与使用技巧

（1）作用
transforms提供了一系列的工具，使得数据可以在加载到模型之前被适当地转换和标准化
在这里插入图片描述
（2）使用方法

1. 关注输入和输出

不知道返回值的类型时，用以下方法查看
法一： print ( type( … ) )
法二：print ( ) + 打断点 debug

2. 多看官方文档，关注方法需要什么参数

重点关注 Args：、__ init __( ) ：部分

在这里插入图片描述

（二）transforms的使用

在这里插入图片描述

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms  # transforms:工具箱img_path = "data/train/ants_image/0013035.jpg"
img = Image.open(img_path)
print(img) # PILwriter = SummaryWriter("logs")# 1、transforms（工具箱）改如何被使用？
# 通过工具的模板创建具体的工具 tool = transforms.ToTensor()  # ToTensor()：蓝图、模具 （实例化）
tensor_trans = transforms.ToTensor()
# result = tool(input)  （直接调用__call__方法）
tensor_img = tensor_trans(img)   # 光标在()中，按ctrl+P：显示需要什么参数
# print(tensor_img)# 2、为什么需要 Tensor 数据类型？ -->  Tensor包装了神经网络所需理论基础的参数
writer.add_image("Tensor_img",tensor_img)writer.close()

在这里插入图片描述

（三）transforms中常见类的使用

在这里插入图片描述

from PIL import Image
from torch.utils.tensorboard import SummaryWriter
from torchvision import transforms# 将条目直接写入 log_dir 中的事件文件以供 TensorBoard 使用
writer = SummaryWriter("logs")
img = Image.open("images/C.png")
print(img)# ToTensor的使用
trans_totensor = transforms.ToTensor()
img_tensor = trans_totensor(img)
writer.add_image("ToTensor",img_tensor)# Normalize(归一化) --> 先归一化，再标准化  eg.input∈[0,1] => output∈[-1,1]
# output[channel] = (input[channel] - mean[channel]) / std[channel]
print(img_tensor[0][0][0])
trans_norm = transforms.Normalize([0.5, 0.5, 0.5, 0.5],[0.5, 0.5, 0.5, 0.5])
img_norm = trans_norm(img_tensor)
print(img_norm[0][0][0])
writer.add_image("Normalize",img_norm,0)# Resize
print(img.size)
trans_resize = transforms.Resize((510,512)) #设置新尺寸大小的数值是一个整体，要在一个括号里写
img_resize = trans_resize(img)
img_resize = trans_totensor(img_resize) # 想要在tensorboard中显示，要变成tensor类型
writer.add_image("Resize",img_resize,0)# Compose 相当于一个合并功能，按照写的列表去执行流程，前一个的输出是后一个的输入（类型要匹配）
trans_resize_2 = transforms.Resize(512) # 最短边输出像素的数量，长边按等比缩放
trans_compose = transforms.Compose([trans_resize_2,trans_totensor]) #参数需要是一个列表
img_resize2 = trans_compose(img)
writer.add_image("Resize",img_resize2,1)# RandomCrop 随机裁剪
trans_random = transforms.RandomCrop((500,200)) # 只给一个参数，就会裁剪成正方形
trans_compose_2 = transforms.Compose([trans_random,trans_totensor])
for i in range(10):img_crop = trans_compose_2(img)writer.add_image("RandomCropHW",img_crop,i)writer.close()

在这里插入图片描述

（四）与torchvision中的datasets联合使用

在这里插入图片描述

（1）图片原本是 PIL 数据类型
在这里插入图片描述

import torchvisiontrain_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,download=True)
test_set = torchvision.datasets.CIFAR10(root="./dataset",train=False,download=True)
print(test_set[0])
print(test_set.classes)img,target = test_set[0]
print(img)
print(target)
print(test_set.classes[target])
img.show()

（2）如何跟 transforms 联合使用？
转变成 tensor 数据类型了，就可以用 tensorboard 显示
在这里插入图片描述

import torchvision
from torch.utils.tensorboard import SummaryWriterdataset_transform = torchvision.transforms.Compose([torchvision.transforms.ToTensor()
])
train_set = torchvision.datasets.CIFAR10(root="./dataset",train=True,transform=dataset_transform,download=True) # ./表示当前目录
test_set = torchvision.datasets.CIFAR10(root="./dataset",train=False,transform=dataset_transform,download=True)writer = SummaryWriter("logs")
for i in range(10):img,target = test_set[i]writer.add_image("test_set",img,i)writer.close() # 一定要关闭，否则显示不出来图片