第P3周:天气识别

一、前期准备

1、设置GPU

import torch
import torch.nn as nn
import torchvision.transforms as transforms
import torchvision
from torchvision import transforms, datasetsimport os,PIL,pathlibdevice = torch.device("cuda" if torch.cuda.is_available() else "cpu")print(device)

2.导入数据


data_dir = pathlib.Path('D:/P5data/weather_photos') 
data_paths = list(data_dir.glob('*')) 
classNames = [path.name for path in data_paths]  
print(classNames) 

data_dir = pathlib.Path('./data/')  : 使用pathlib.Path处理路径,它提供了更多关于路径的方法和属性
data_paths = list(data_dir.glob('*'))  : 使用Path.glob方法搜索当前目录下的所有文件/文件夹。这个方法返回一个迭代器,所以使用list()将其转换为列表。
classNames = [path.name for path in data_paths]  #:使用列表推导式从每个路径中提取名称(即最后一个部分)。例如,路径./data/cloudy将提取为cloudy。

3.预处理和加载数据集 

total_datadir = 'D:/P5data/weather_photos'  ## train_transforms 进行图像预处理
train_transforms = transforms.Compose([transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸224 x 224大小transforms.ToTensor(),          # 转换为tensor格式, 且归一化transforms.Normalize(           # 标准化处理-->转换为标准正态分布(高斯分布),使模型更容易收敛mean=[0.485, 0.456, 0.406],std=[0.229, 0.224, 0.225])  # 其中mean=[0.485, 0.456, 0.406]与std=[0.229, 0.224, 0.225] 从数据集中随机抽样计算得到的。
])total_data = datasets.ImageFolder(total_datadir,transform=train_transforms)  # 加载数据集并应用预处理
print(total_data)

4.划分数据集

train_size = int(0.8 * len(total_data)) # 训练数据集80%
test_size = len(total_data) - train_size # 测试集 20%# 使用 torch.utils.data.random_split 将数据集分为训练集和测试集
train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])print(train_dataset)
print(test_dataset)
print(train_size)
print(test_size)

5.数据加载器 

batch_size = 32  # 定义每个批次中包含的样本数量# 使用DataLoader创建训练和测试的数据加载器,用于从数据集中加载批次的数据
train_dl = torch.utils.data.DataLoader(train_dataset,batch_size=batch_size,shuffle=True,num_workers=0)
test_dl = torch.utils.data.DataLoader(test_dataset,batch_size=batch_size,shuffle=True,num_workers=0)for X, y in test_dl:print("Shape of X [N, C, H, W]: ", X.shape)print("Shape of y: ", y.shape, y.dtype)break

二、构建简单的CNN网络 

定义一个带有批量归一化(Batch Normalization) 的卷积神经网络结构,该网络可以对输入的图像进行特征提取和分类。

# 导入PyTorch的函数式模块,其中包含了一些常用的非线性激活函数,如ReLU。
import torch.nn.functional as F	 # 定义网络模型:
class Network_bn(nn.Module): # 定义了一个名为'Network_bn'的类,继承自'nn.Module',这是Pytorch中构建神经网络模型的基类。def __init__(self): # 构造函数,用于初始化网络结构和参数super(Network_bn, self).__init__()  # 调用父类(nn.Module)的构造函数self.conv1 = nn.Conv2d(in_channels=3, out_channels=12, kernel_size=5, stride=1, padding=0)self.bn1 = nn.BatchNorm2d(12)self.conv2 = nn.Conv2d(in_channels=12, out_channels=12, kernel_size=5, stride=1, padding=0)self.bn2 = nn.BatchNorm2d(12)self.pool = nn.MaxPool2d(2,2)self.conv4 = nn.Conv2d(in_channels=12, out_channels=24, kernel_size=5, stride=1, padding=0)self.bn4 = nn.BatchNorm2d(24)self.conv5 = nn.Conv2d(in_channels=24, out_channels=24, kernel_size=5, stride=1, padding=0)self.bn5 = nn.BatchNorm2d(24)self.fc1 = nn.Linear(24*50*50, len(classNames))def forward(self, x):  # 前向传播函数x = F.relu(self.bn1(self.conv1(x)))  # 对输入应用卷积、批量归一化和ReLU激活函数。x = F.relu(self.bn2(self.conv2(x)))x = self.pool(x)  # 使用最大池化层对特征图进行下采样。在网络的不同部分进行,形成特征提取过程。x = F.relu(self.bn4(self.conv4(x)))x = F.relu(self.bn5(self.conv5(x)))x = self.pool(x)x = x.view(-1, 24*50*50)x = self.fc1(x) # 最后进行全连接层,将提取的特征映射到分类标签。return xdevice = "cuda" if torch.cuda.is_available() else "cpu"
print("Using {} device".format(device))model = Network_bn().to(device) # 创建Network_bn的实例,将模型移动到指定的设备上。
print(model)

三、训练模型 

1.设置超参数

loss_fn = nn.CrossEntropyLoss() # 创建交叉熵损失函数,用于计算模型输出与真实标签之间的差距
learn_rate = 1e-4 # 学习率,即优化器在更新模型参数时使用的步长
opt = torch.optim.SGD(model.parameters(), lr=learn_rate) # opt, 创建SGD优化器,用于更新模型的参数。(传入模型的参数和学习率)

loss_fn = nn.CrossEntropyLoss() #:创建交叉熵损失函数,用于计算模型输出与真实标签之间的差距
learn_rate = 1e-4 : 学习率,即优化器在更新模型参数时使用的步长
opt = torch.optim.SGD(model.parameters(), lr=learn_rate) : opt, 创建SGD优化器,用于更新模型的参数。(传入模型的参数和学习率) 

2.编写训练函数

def train(dataloader, model, loss_fn, optimizer):size = len(dataloader.dataset)  # 获取训练集的大小num_batches = len(dataloader)   # 获取批次数量train_loss, train_acc = 0, 0    # 初始化训练损失和正确率for X, y in dataloader: # 遍历训练集的每个批次,获取图片及其标签X, y = X.to(device), y.to(device)  # 将数据移动到设备上# 计算预测误差pred = model(X)          # 网络输出,前向传播得到模型预测值loss = loss_fn(pred, y)  # 计算网络输出和真实值之间的差距,targets为真实值, 计算二者差值即为损失# 反向传播optimizer.zero_grad()    # grad属性归零,清除之前的梯度loss.backward()          # 反向传播,计算梯度optimizer.step()         # 每一步自动更新模型参数# 记录acc与losstrain_acc += (pred.argmax(1) == y).type(torch.float).sum().item()train_loss += loss.item()train_acc /= sizetrain_loss /= num_batchesreturn train_acc, train_loss

3.编写测试函数

def test (dataloader, model, loss_fn):size = len(dataloader.dataset)  # 获取测试集的大小num_bathes = len(dataloader)    # 获取批次数量test_loss, test_acc = 0, 0		# 初始化测试损失和测试准确率# 当不进行训练时,停止梯度更新, 节省计算内存消耗with torch.no_grad():	# 在测试过程中,不需要计算梯度for imgs, target in dataloader:	 遍历测试数据集的每个批次imgs, target = imgs.to(device), target.to(device)  # 将数据移动到设备上# 计算losstarget_pred = model(imgs)  # 模型预测loss = loss_fn(target_pred, target)  # 计算损失test_loss += loss.item()test_acc += (target_pred.argmax(1) == target).type(torch.float).sum().item()test_acc /= sizetest_loss /= num_bathesreturn test_acc, test_loss

4.编写训练函数

epochs = 20
train_loss = []
train_acc = []
test_loss = []
test_acc = []for epoch in range(epochs):model.train()  # 设置模型为训练模式epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)model.eval() # 设置模型为评估模式,不启用Batch Normalization 和Dropoutepoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)train_acc.append(epoch_train_acc)train_loss.append(epoch_train_loss)test_acc.append(epoch_test_acc)test_loss.append(epoch_test_loss)template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}')print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss))
print("Done")

 

5.结果可视化

# 隐藏警告
import warnings
warnings.filterwarnings('ignore')             # 忽略警告信息
plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False    # 用来正常显示负号
plt.rcParams['figure.dpi'] = 100              # 分辨率epochs_range = range(epochs)plt.figure(figsize=(12, 3))
plt.subplot(1, 2, 1)plt.plot(epochs_range, train_acc, label='Training Accuracy')
plt.plot(epochs_range, test_acc, label='Test Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')plt.subplot(1, 2, 2)
plt.plot(epochs_range, train_loss, label='Training Loss')
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

 

四、 实验总结

本次深度学习实验的主要目标是学习如何使用 PyTorch 框架构建、训练和验证卷积神经网络(CNN)模型,以解决彩色图片识别问题。我们选择了经典的 CIFAR-10 数据集作为实验的数据源,该数据集包含10个不同类别的彩色图片,是一个适合深度学习初学者的挑战性任务。在实验中,我们将了解数据加载与预处理、模型构建、模型训练、模型验证以及超参数设置等关键概念和技术。

一、方法与步骤

1. 数据加载与预处理

我们首先使用 PyTorch 的 torchvision 库中提供的 `CIFAR10` 方法加载 CIFAR-10 数据集,并通过 `ToTensor()` 转换将图像数据转化为 PyTorch Tensor 格式。这一步骤是为了将原始图像数据转化为神经网络可处理的数据格式。

2. 模型构建

我们定义了一个卷积神经网络(CNN)模型,该模型包含了三个卷积层(`Conv2d`)、三个最大池化层(`MaxPool2d`)和两个全连接层(`Linear`)。ReLU 激活函数被应用于卷积层和全连接层,以引入非线性性质。

 3. 模型训练

训练过程在 `train` 函数中完成。在每个训练轮次(epoch)中,该函数迭代训练数据集,计算模型的预测结果与真实标签之间的交叉熵损失,并使用随机梯度下降(SGD)优化器更新模型参数。这一步骤是为了使模型能够逐渐学习如何正确地对图像进行分类。

4. 模型验证

测试函数(`test`)用于在每个训练轮次结束后,在测试数据集上验证模型的性能。它计算模型的准确率和损失,以评估模型在未见过的数据上的表现,以防止过拟合。这个步骤帮助我们了解模型的泛化能力。

5. 结果可视化

为了更好地了解模型在训练过程中的表现,我们使用 `matplotlib` 库绘制了训练和验证准确率以及损失的曲线。这些曲线帮助我们观察模型的收敛情况以及是否存在训练不足或过拟合等问题。

6. 超参数设置

在实验中,我们调整了一些关键的超参数,如学习率、批次大小和训练轮次等。超参数的合适设置对模型的性能具有重要影响,因此我们进行了多次实验来找到最佳的超参数组合。

二、实验结果与讨论

经过多次实验和调整超参数,我们得到了一个在 CIFAR-10 数据集上表现良好的卷积神经网络模型。该模型在测试集上达到了令人满意的准确率,证明了其在彩色图片识别任务上的有效性。

在实验过程中,我们也发现了一些有趣的现象和挑战。例如,适当的学习率和训练轮次能够促进模型的收敛,但如果学习率设置过高,可能导致模型无法收敛或者陷入局部最小值。此外,合适的数据增强技术可以提高模型的泛化能力,减少过拟合的风险。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/68935.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【探索Linux】—— 强大的命令行工具 P.7(进程 · 进程的概念)

阅读导航 前言一、冯诺依曼体系结构二、操作系统(OS)1. 概念 三、进程1. 进程的概念2. PCB(Process Control Block)3. 查看进程 四、fork函数1. 函数简介2. 调用方式3. 返回值4. 使用示例 五、进程的几种状态1. 状态简介2. 进程状…

SQLServer如何获取客户端IP

SQLServer如何获取客户端IP 很多用户询问如何通过SQLServer获取客户端IP从而定位一些问题,比如链接泄露,其实主要是利用几个相关视图,如下给出一些SQL方便用户排查 当前链接 SELECT CONNECTIONPROPERTY(PROTOCOL_TYPE) AS PROTOCOL_TYPE,CO…

Redis 数据类型详细解析

Redis是一个开源的、内存中的数据结构存储系统,可用作数据库、缓存和消息代理。Redis支持多种类型的数据结构,包括字符串(String)、哈希(Hashes)、列表(Lists)、集合(Set…

sql中的排序函数dense_rank(),RANK()和row_number()

dense_rank(),RANK()和row_number()是SQL中的排序函数。 为方便后面的函数差异比对清晰直观,准备数据表如下: 1.dense_rank() 函数语法:dense_rank() over( order by 列名 【desc/asc】) DENSE_RANK()是连续排序,比如…

《Linux 系统命令及Shell脚本实践指南》

Linux 系统命令及Shell脚本实践指南 《Linux 系统命令及Shell脚本实践指南》该书从结构上分为三部分:第一部分1.1Linux的历史发展1.2用户管理1.3任务管理单一时刻执行一次任务使用at周期性任务使用:cron表达式,命令crontab 1.4文件管理1.4.1 Linux shell…

Java8实战-总结18

Java8实战-总结18 使用流筛选和切片用谓词筛选筛选各异的元素截短流跳过元素 使用流 流让你从外部迭代转向内部迭代。这样&#xff0c;就用不着写下面这样的代码来显式地管理数据集合的迭代(外部迭代)了&#xff1a; List<Dish> vegetarianDishes new ArrayList<>…

Docker介绍

Dockerfile 是一个用来构建镜像的文本文件&#xff0c;文本内容包含了一条条构建镜像所需的指令和说明。注意&#xff1a;Dockerfile 的指令每执行一次都会在 docker 上新建一层。所以过多无意义的层&#xff0c;会造成镜像膨胀过大。上下文路径下不要放无用的文件&#xff0c;…

Mybatis批量更新数据及其优化

需求场景&#xff1a;定时任务中&#xff0c;从其他平台同步数据&#xff0c;并更新当前平台数据库&#xff0c;表数据3W&#xff0c;分批更新某个字段&#xff0c;耗时巨大&#xff0c;约30min&#xff0c;尝试性能优化。 批量更新的几种常见方式&#xff1a; 1.foreach 循环…

数据库的三个范式

数据库的三个范式是关系数据库设计中的一组规范&#xff0c;用于确保数据的有效性和一致性。这三个范式分别是&#xff1a; 第一范式&#xff08;1NF&#xff09;&#xff1a;要求数据库表中的每一列都是不可分割的原子值。换句话说&#xff0c;每个表中的每个字段不能包含多个…

Django实现音乐网站 ⒃

使用Python Django框架制作一个音乐网站&#xff0c; 本篇主要是歌手详情页-专辑列表、专辑详情-单曲列表开发实现内容。 目录 歌手详情-专辑列表 路由设置 跳转设置 视图方法 模板内容 专辑详情-单曲列表 设置路由 视图处理并返回 模板渲染 分页优化 引入错误类型库…

v-model和v-bind

v-model&#xff0c;它其实就是一个语法糖&#xff0c;作用就是双向绑定表单控件&#xff08;radio, text,address,email,select,checkbox,textarea&#xff09; v-bind(简写形式:value值),用于绑定属性值&#xff0c;只能实现数据的单项绑定。 <template> <div>…

9.2 消息对话框 画板 定时器

#include "widget.h"Widget::Widget(QWidget *parent): QWidget(parent) {//设置定时器timernew QTimer(this);timeidthis->startTimer(1000);connect(timer,&QTimer::timeout,this,&Widget::timeout_slot);speechernew QTextToSpeech(this);//边框this-&…

字节码和机器码的区别

字节码和机器码是计算机程序在不同阶段的表示形式&#xff0c;它们的主要区别如下&#xff1a; 抽象级别不同&#xff1a;字节码是一种中间表示形式&#xff0c;位于源代码和机器码之间。它是一种与特定平台无关的低级表示形式&#xff0c;通常由编译器将源代码转换而来。而机器…

AP51656 LED车灯电源驱动IC 兼容替代PT4115 PT4205 PWM和线性调光

产品描述 AP51656是一款连续电感电流导通模式的降压恒流源 用于驱动一颗或多颗串联LED 输入电压范围从 5V 到 60V&#xff0c;输出电流 可达 1.5A 。根据不同的输入电压和 外部器件&#xff0c; 可以驱动高达数十瓦的 LED。 内置功率开关&#xff0c;采用高端电流采样设置 …

Qt中布局管理使用总结

目录 1. 五大布局 1.1 QVBoxLayout垂直布局 1.2 QHBoxLayout水平布局 1.3 QGridLayout网格布局 1.4 QFormLayout表单布局 1.5 QStackedLayout分组布局 1.6 五大布局综合应用 2. 分割窗口 3. 滚动区域 4. 停靠区域 1. 五大布局 1.1 QVBoxLayout垂直布局 #include <…

华为mate60的发布代表着什么?有什么意义?

华为Mate60的发布代表着华为在技术领域的持续突破和创新。该产品预计将引入更强大的处理器、更高分辨率的屏幕、更强大的摄像头等前沿技术&#xff0c;进一步巩固华为在技术领域的领先地位。 此外&#xff0c;华为Mate60的发布还具有重塑品牌形象的意义。在美国制裁下&#xff…

服装商城小程序制作:打造便捷购物体验和提升销售额的利器

随着移动互联网的发展&#xff0c;服装商城小程序成为各大服装品牌推广销售的重要工具。它不仅能够为用户提供便捷的购物体验&#xff0c;还能帮助服装商城实现更高效的销售和管理。下面给大家介绍下服装商城小程序的优点以及制作流程&#xff0c;让您了解并充分利用这一利器。…

Vue + Element UI 前端篇(一):搭建开发环境

Vue Element UI 实现权限管理系统 前端篇&#xff08;一&#xff09;&#xff1a;搭建开发环境 技术基础 开发之前&#xff0c;请先熟悉下面的4个文档 vue.js2.0中文, 优秀的JS框架vue-router, vue.js 配套路由vuex&#xff0c;vue.js 应用状态管理库Element&#xff0c;饿…

海域可视化监管:浅析海域动态远程视频智能监管平台的构建方案

一、方案背景 随着科技的不断进步&#xff0c;智慧海域管理平台已经成为海洋领域监管的一种重要工具。相比传统的视频监控方式&#xff0c;智慧海域管理平台通过建设近岸海域视频监控网、海洋环境监测网和海上目标探测网络等&#xff0c;可实现海洋管理的数字化转型。 传统的…

Springboot + Sqlite实战(离线部署成功)

最近有个需求&#xff0c;是手机软件离线使用&#xff0c; 用的springboot mybatis-plus mysql&#xff0c;无法实现&#xff0c;于是考虑使用内嵌式轻量级的数据库SQLlite 引入依赖 <dependency><groupId>org.xerial</groupId><artifactId>sqlite-…