【Week-P4】CNN猴痘病识别

文章目录

  • 一、环境配置
  • 二、准备数据
  • 三、搭建网络结构
  • 四、开始训练
  • 五、查看训练结果
  • 六、总结
    • 2.3 ⭐`torch.utils.data.DataLoader()`参数详解
    • 6.1 `print()`常用的三种输出格式
    • 6.2 修改网络结构，观察训练结果
      • 6.2.1 增加pool2、conv6、bn6，test_accuracy=82.5%
      • 6.2.2 去掉pool2，保留conv6、bn6，增加conv7、bn7，test_accuracy=84.4%
      • 6.2.3 继续增加conv8、bn8、conv9、bn9，test_accuracy=87.2%
      • 6.2.4 继续增加conv10、bn10、conv11、bn11，test_accuracy=82.1%

  • 🍨 本文为🔗365天深度学习训练营 中的学习记录博客
  • 🍖 原作者：K同学啊 | 接辅导、项目定制
    在这里插入图片描述
  • 本周的代码相对于上周增加指定图片预测与保存并加载模型这个两个模块，在学习这个两知识点后，时间有余的同学请自由探索更佳的模型结构以提升模型是识别准确率，模型的搭建是深度学习程度的重点。

一、环境配置

import torch
import torch.nn as nn
import torchvision.transforms as transforms
import torchvision
from torchvision import transforms, datasetsimport os,PIL,pathlibimport sys
from datetime import datetime
print("---------------------1.配置环境------------------")
print("Start time: ", datetime.today())
print("Pytorch version: " + torch.__version__)
print("Python version: " + sys.version)device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
device

在这里插入图片描述

二、准备数据

2.1 打印classeNames列表，显示每个文件所属的类别名称
2.2 打印归一化后的类别名称，0或1
2.3 划分数据集，划分为训练集&测试集，torch.utils.data.DataLoader()参数详解
2.4 检查数据集的shape

  • 第一步：使用pathlib.Path()函数将字符串类型的文件夹路径转换为pathlib.Path对象。
  • 第二步：使用glob()方法获取data_dir路径下的所有文件路径，并以列表形式存储在data_paths中。
  • 第三步：通过split()函数对data_paths中的每个文件路径执行分割操作，获得各个文件所属的类别名称，并存储在classNames中
  • 第四步：打印classNames列表，显示每个文件所属的类别名称。
import os,PIL,random,pathlib
print("------------2.1 打印classeNames列表，显示每个文件所属的类别名称------------")
total_datadir= './4-data/'
data_dir = pathlib.Path(total_datadir)data_paths = list(total_datadir.glob('*'))
classNames = [str(path).split("\\")[1] for path in data_paths]
print("classNames: ", classNames)print("------------2.2 打印归一化后的类别名称，0或1------------")
# 关于transforms.Compose的更多介绍可以参考：https://blog.csdn.net/qq_38251616/article/details/124878863
train_transforms = transforms.Compose([transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸transforms.ToTensor(),          # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间transforms.Normalize(           # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
])total_data = datasets.ImageFolder(total_datadir,transform=train_transforms)
print("total_data: ", total_data)
print("total_data.class_to_idx: ", total_data.class_to_idx)print("------------2.3 划分数据集，划分为训练集&测试集------------")
train_size = int(0.8 * len(total_data))
test_size  = len(total_data) - train_size
train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])
print( f"train_dataset: {train_dataset}, test_dataset: {test_dataset}")
print( f"train_size: {train_size}, test_size: {test_size}")print("------------2.4 检查数据集的shape------------")
batch_size = 32
train_dl = torch.utils.data.DataLoader(train_dataset,batch_size=batch_size,shuffle=True,num_workers=1)
test_dl = torch.utils.data.DataLoader(test_dataset,batch_size=batch_size,shuffle=True,num_workers=1)
for X, y in test_dl:print("Shape of X [N, C, H, W]: ", X.shape)print("Shape of y: ", y.shape, y.dtype)break

在这里插入图片描述

三、搭建网络结构

print("------------3 搭建简单CNN网络------------")
import torch.nn.functional as Fclass Network_bn(nn.Module):def __init__(self):super(Network_bn, self).__init__()"""nn.Conv2d()函数：第一个参数（in_channels）是输入的channel数量第二个参数（out_channels）是输出的channel数量第三个参数（kernel_size）是卷积核大小第四个参数（stride）是步长，默认为1第五个参数（padding）是填充大小，默认为0"""self.conv1 = nn.Conv2d(in_channels=3, out_channels=12, kernel_size=5, stride=1, padding=0)self.bn1 = nn.BatchNorm2d(12)self.conv2 = nn.Conv2d(in_channels=12, out_channels=12, kernel_size=5, stride=1, padding=0)self.bn2 = nn.BatchNorm2d(12)self.pool = nn.MaxPool2d(2,2)self.conv4 = nn.Conv2d(in_channels=12, out_channels=24, kernel_size=5, stride=1, padding=0)self.bn4 = nn.BatchNorm2d(24)self.conv5 = nn.Conv2d(in_channels=24, out_channels=24, kernel_size=5, stride=1, padding=0)self.bn5 = nn.BatchNorm2d(24)self.fc1 = nn.Linear(24*50*50, len(classNames))def forward(self, x):x = F.relu(self.bn1(self.conv1(x)))      x = F.relu(self.bn2(self.conv2(x)))     x = self.pool(x)                        x = F.relu(self.bn4(self.conv4(x)))     x = F.relu(self.bn5(self.conv5(x)))  x = self.pool(x)                        x = x.view(-1, 24*50*50)x = self.fc1(x)return xdevice = "cuda" if torch.cuda.is_available() else "cpu"
print("Using {} device".format(device))model = Network_bn().to(device)
model

在这里插入图片描述

四、开始训练

4.1 设置超参数
4.2 编写训练函数
4.3 编写测试函数
4.4 开始正式训练，epochs==20

print("------------4.1 设置超参数------------")
loss_fn    = nn.CrossEntropyLoss() # 创建损失函数
learn_rate = 1e-4 # 学习率
opt        = torch.optim.SGD(model.parameters(),lr=learn_rate)print("------------4.2 编写训练函数------------")
# 训练循环
def train(dataloader, model, loss_fn, optimizer):size = len(dataloader.dataset)  # 训练集的大小，一共60000张图片num_batches = len(dataloader)   # 批次数目，1875（60000/32）train_loss, train_acc = 0, 0  # 初始化训练损失和正确率for X, y in dataloader:  # 获取图片及其标签X, y = X.to(device), y.to(device)# 计算预测误差pred = model(X)          # 网络输出loss = loss_fn(pred, y)  # 计算网络输出和真实值之间的差距，targets为真实值，计算二者差值即为损失# 反向传播optimizer.zero_grad()  # grad属性归零loss.backward()        # 反向传播optimizer.step()       # 每一步自动更新# 记录acc与losstrain_acc  += (pred.argmax(1) == y).type(torch.float).sum().item()train_loss += loss.item()train_acc  /= sizetrain_loss /= num_batchesreturn train_acc, train_lossprint("------------4.3 编写测试函数------------")
def test (dataloader, model, loss_fn):size        = len(dataloader.dataset)  # 测试集的大小，一共10000张图片num_batches = len(dataloader)          # 批次数目，313（10000/32=312.5，向上取整）test_loss, test_acc = 0, 0# 当不进行训练时，停止梯度更新，节省计算内存消耗with torch.no_grad():for imgs, target in dataloader:imgs, target = imgs.to(device), target.to(device)# 计算losstarget_pred = model(imgs)loss        = loss_fn(target_pred, target)test_loss += loss.item()test_acc  += (target_pred.argmax(1) == target).type(torch.float).sum().item()test_acc  /= sizetest_loss /= num_batchesreturn test_acc, test_lossprint("------------4.4 开始正式训练，epochs==20------------")
epochs     = 20
train_loss = []
train_acc  = []
test_loss  = []
test_acc   = []for epoch in range(epochs):model.train()epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, opt)model.eval()epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)train_acc.append(epoch_train_acc)train_loss.append(epoch_train_loss)test_acc.append(epoch_test_acc)test_loss.append(epoch_test_loss)template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%，Test_loss:{:.3f}')print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss))
print('Done')

在这里插入图片描述

五、查看训练结果

5.1 Loss与Accuracy图
5.2 指定图片进行预测
5.3 保存并加载模型

print("------------5.1 Loss与Accuracy图------------")
import matplotlib.pyplot as plt
#隐藏警告
import warnings
warnings.filterwarnings("ignore")               #忽略警告信息
plt.rcParams['font.sans-serif']    = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
plt.rcParams['figure.dpi']         = 100        #分辨率epochs_range = range(epochs)plt.figure(figsize=(12, 3))
plt.subplot(1, 2, 1)plt.plot(epochs_range, train_acc, label='Training Accuracy')
plt.plot(epochs_range, test_acc, label='Test Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')plt.subplot(1, 2, 2)
plt.plot(epochs_range, train_loss, label='Training Loss')
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()print("------------5.2 指定图片进行预测------------")
from PIL import Image classes = list(total_data.class_to_idx)def predict_one_image(image_path, model, transform, classes):test_img = Image.open(image_path).convert('RGB')# plt.imshow(test_img)  # 展示预测的图片test_img = transform(test_img)img = test_img.to(device).unsqueeze(0)model.eval()output = model(img)_,pred = torch.max(output,1)pred_class = classes[pred]print(f'预测结果是：{pred_class}')# 预测训练集中的某张照片
predict_one_image(image_path='./4-data/Monkeypox/M01_01_00.jpg', model=model, transform=train_transforms, classes=classes)print("------------5.3 保存并加载模型------------")
# 模型保存
PATH = './model.pth'  # 保存的参数文件名
torch.save(model.state_dict(), PATH)# 将参数加载到model当中
model.load_state_dict(torch.load(PATH, map_location=device))

在这里插入图片描述

六、总结

2.3 ⭐torch.utils.data.DataLoader()参数详解

torch.utils.data.DataLoader 是 PyTorch 中用于加载和管理数据的一个实用工具类。它允许你以小批次的方式迭代你的数据集，这对于训练神经网络和其他机器学习任务非常有用。DataLoader 构造函数接受多个参数，下面是一些常用的参数及其解释：

  1. dataset（必需参数）：这是你的数据集对象，通常是 torch.utils.data.Dataset 的子类，它包含了你的数据样本。
  2. batch_size（可选参数）：指定每个小批次中包含的样本数。默认值为 1。
  3. shuffle（可选参数）：如果设置为 True，则在每个 epoch 开始时对数据进行洗牌，以随机打乱样本的顺序。这对于训练数据的随机性很重要，以避免模型学习到数据的顺序性。默认值为 False。
  4. num_workers（可选参数）：用于数据加载的子进程数量。通常，将其设置为大于 0 的值可以加>快数据加载速度，特别是当数据集很大时。默认值为 0，表示在主进程中加载数据。
  5. pin_memory（可选参数）：如果设置为 True，则数据加载到 GPU 时会将数据存储在 CUDA 的锁页内存中，这可以加速数据传输到 GPU。默认值为 False。
  6. drop_last（可选参数）：如果设置为 True，则在最后一个小批次可能包含样本数小于 batch_size 时，丢弃该小批次。这在某些情况下很有用，以确保所有小批次具有相同的大小。默认值为 False。
  7. timeout（可选参数）：如果设置为正整数，它定义了每个子进程在等待数据加载器传递数据时的超时时间（以秒为单位），这可以用于避免子进程卡住的情况。默认值为 0，表示没有超时限制。
  8. worker_init_fn（可选参数）：一个可选的函数，用于初始化每个子进程的状态。这对于设置每个子进程的随机种子或其他初始化操作很有用。

6.1 print()常用的三种输出格式

    1. 带格式输出,{0}是指输出的第0个元素，同理{1}为第1个元素，{2}为第2个… 可以不按顺序排列
      print( "Hello {0}， I'm {2}, I,m {1} year old".format("world", age, name) )
    1. 使用类型输出，指定输出类型
      print( "I am %s, today is %d year"%(name, year) )
    1. f字符串，{}中为元素，是.format的简化形式
      print( f"Today is {year}")　　

6.2 修改网络结构，观察训练结果

6.2.1 增加pool2、conv6、bn6，test_accuracy=82.5%

在这里插入图片描述
训练结果如下：
在这里插入图片描述
在这里插入图片描述
训练结果表明：修改网络结构之后，test_accuracy反而从85.3%降低到82.5%，说明此次修改结构不能提升test_accuracy的值。

6.2.2 去掉pool2，保留conv6、bn6，增加conv7、bn7，test_accuracy=84.4%

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
训练结果表明：与6.2.1的修改方法相比，test_accuracy从82.5%提升到84.4%。

6.2.3 继续增加conv8、bn8、conv9、bn9，test_accuracy=87.2%

在这里插入图片描述
训练情况如下：
在这里插入图片描述
在这里插入图片描述
训练结果表明：与6.2.2的修改方法相比，test_accuracy从84.4%提升到87.2%。

6.2.4 继续增加conv10、bn10、conv11、bn11，test_accuracy=82.1%

在这里插入图片描述
训练情况如下：
在这里插入图片描述
在这里插入图片描述
训练结果表明：与6.2.3的修改方法相比，test_accuracy从87.2%降低到82.1%。

综合上述4次修改，可以得出的结论是：适当增加conv、bn层可以有效提升test_accuracy，最好的效果是第三次修改，test_accuracy的值达到了87.2%。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/594951.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

canvas绘制直角梯形（向右）

canvas绘制直角梯形（向右）

查看专栏目录 canvas示例教程100专栏，提供canvas的基础知识，高级动画，相关应用扩展等信息。canvas作为html的一部分，是图像图标地图可视化的一个重要的基础，学好了canvas，在其他的一些应用上将会起到非常重…
阅读更多...
C++ 多态向下转型详解

C++ 多态向下转型详解

文章目录 1 . 前言2 . 多态3 . 向下转型3.1 子类没有改进父类的方法下，去调用该方法3.2 子类有改进父类的方法下，去调用该方法3.3 子类没有改进父类虚函数的方法下，去调用改方法3.4 子类有改进父类虚函数的方法下，去调用改方法3.5…
阅读更多...
Hive10_窗口函数

Hive10_窗口函数

窗口函数（开窗函数） 1 相关函数说明 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列…
阅读更多...
【MySQL·8.0·源码】MySQL 表的扫描方式

【MySQL·8.0·源码】MySQL 表的扫描方式

前言 在进一步介绍 MySQL 优化器时，先来了解一下 MySQL 单表都有哪些扫描方式。 单表扫描方法是基表的读取基础，也是完成表连接的基础，熟悉了基表的基本扫描方式， 即可以倒推理解 MySQL 优化器层的诸多考量。 基表，即…
阅读更多...
myysql的正则表达式

myysql的正则表达式

上周遇见一个需求，有这样一棵树： 点击上级，展现所有子集，点击集团，显示所有产线（例子） 这个时候有两种方式： 添加产线时，将集团、事业部、公司、车间的id存起来。 然后…
阅读更多...
数据结构【查找篇】

数据结构【查找篇】

数据结构【查找篇】 文章目录 数据结构【查找篇】前言为什么突然想学算法了？为什么选择码蹄集作为刷题软件？ 目录一、顺序查找二、折半查找三、 二叉排序树的查找四、红黑树 结语 前言 为什么突然想学算法了？ > 用较为“官方”的语言讲&am…
阅读更多...
普中STM32-PZ6806L开发板(HAL库函数实现-读取内部温度)

普中STM32-PZ6806L开发板(HAL库函数实现-读取内部温度)

简介 主芯片STM32F103ZET6，读取内部温度其他知识 内部温度所在ADC通道 温度计算公式 V25跟Avg_Slope值 参考文档 stm32f103ze.pdf 电压计算公式 Vout Vref * (D / 2^n) 其中Vref代表参考电压， n为ADC的位数， D为ADC输入的数字信号。 实现…
阅读更多...
人工智能在银行运营中的运用

人工智能在银行运营中的运用

机器学习在金融领域的运用：银行如何以最优的方式抓住 AI 机会？ 大型企业若想获得超越竞争对手的优势，那么采用 AI 作为其业务战略是他们的重要任务，而在这方面，大型银行走在了前面。银行开始将 AI 和机器学习应用于前…
阅读更多...
了解并使用django-rest-framework-jwt

了解并使用django-rest-framework-jwt

一 JWT认证 在用户注册或登录后，我们想记录用户的登录状态，或者为用户创建身份认证的凭证。我们不再使用Session认证机制，而使用Json Web Token（本质就是token）认证机制。 Json web token (JWT), 是为了在网络应用环…
阅读更多...
专题一_双指针(一)

专题一_双指针(一)

文章目录 283.移动零题目解析讲解算法原理扩展编写代码 1089.复习零题目解析讲解算法原理编写代码 202.快乐数题目解析讲解算法原理证明编写代码 11.盛最多水的容器题目解析讲解算法原理暴力解法优秀的解法时间复杂度分析 编写代码 283.移动零 题目链接 题目解析 题目还是比较…
阅读更多...
ThinkPHP6.0任意文件上传 PHPSESSION 已亲自复现

ThinkPHP6.0任意文件上传 PHPSESSION 已亲自复现

ThinkPHP6.0任意文件上传 PHPSESSION 已亲自复现 漏洞名称漏洞描述影响版本 漏洞复现环境搭建安装thinkphp6漏洞信息配置 漏洞利用 修复建议 漏洞名称 漏洞描述 2020年1月10日，ThinkPHP团队发布一个补丁更新，修复了一处由不安全的SessionId导致的任意文…
阅读更多...
【GlobalMapper精品教程】069：中文属性表乱码问题及解决方法

【GlobalMapper精品教程】069：中文属性表乱码问题及解决方法

参考阅读：【ArcGIS Pro微课1000例】0012：ArcGIS Pro属性表中文乱码完美解决办法汇总 文章目录 一、Globalmapper默认字符集设置二、shp属性表乱码三、转出的kmz乱码一、Globalmapper默认字符集设置 中文字体乱码通常是由字符编码不匹配造成的。 打开Globalmapper软件，点击工…
阅读更多...
【动态规划】【字符串】扰乱字符串

【动态规划】【字符串】扰乱字符串

作者推荐 视频算法专题 涉及知识点 动态规划 字符串 LeetCode87扰乱字符串 使用下面描述的算法可以扰乱字符串 s 得到字符串 t ： 如果字符串的长度为 1 ，算法停止 如果字符串的长度 > 1 ，执行下述步骤： 在一个随机下标处将…
阅读更多...
java struts2教务管理系统Myeclipse开发mysql数据库struts2结构java编程计算机网页项目

java struts2教务管理系统Myeclipse开发mysql数据库struts2结构java编程计算机网页项目

一、源码特点 java struts2 教务管理系统 是一套完善的web设计系统，对理解JSP java编程开发语言有帮助 struts2 框架开发，系统具有完整的源代码和数据库，系统主要采用B/S模式开发。开发环境 为TOMCAT7.0,Myeclipse8.5开发，数据库…
阅读更多...
【ikbp】数据可视化DataV

【ikbp】数据可视化DataV

天天查询一些数据，希望来一个托拉拽的展示，部署体验一下可视化大屏 快速搭建快速查询实时更新简单易用 启动服务 数据可视化 静态查询 配置数据 过滤数据 分享
阅读更多...
系列七、Ribbon

系列七、Ribbon

一、Ribbon 1.1、概述 Ribbon是基于Netflix Ribbon实现的一套客户端负载均衡的工具，是Netflix发布的一款开源项目，其主要功能是提供客户端的软件负载均衡算法和服务调用，Ribbon客户端组件提供一系列完善的配置项，例如&#xff1a…
阅读更多...
《低功耗方法学》翻译——卷首语

《低功耗方法学》翻译——卷首语

就目前半导体的发展现状来说，我们国家还处在奋力追赶阶段。在我国半导体行业历经多轮技术制裁的今天，我们不得不承认的是，半导体技术最先进的就是美国。我国早在上世纪六七十年代就有涉足半导体技术，大量华裔留美的爱国人士回国为…
阅读更多...
文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于碳捕集与封存-电转气-电解熔融盐协同的虚拟电厂优化调度》

文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于碳捕集与封存-电转气-电解熔融盐协同的虚拟电厂优化调度》

本专栏栏目提供文章与程序复现思路，具体已有的论文与论文源程序可翻阅本博主的专栏栏目《论文与完整程序》 这个标题涉及到多个关键概念，让我们逐一解读： 碳捕集与封存（Carbon Capture and Storage，CCS）&a…
阅读更多...
redis 三主六从高可用dockerswarm高级版(不固定ip)

redis 三主六从高可用dockerswarm高级版(不固定ip)

redis集群(cluster)笔记 redis 三主三从高可用集群docker swarm redis 三主六从高可用docker(不固定ip) redis 三主六从高可用dockerswarm高级版(不固定ip) 此博客解决，redis加入集群后，是用于停掉后重启，将nodes.conf中的旧的Ip替换为新的…
阅读更多...
SQL 在已有表中修改列名的方法

SQL 在已有表中修改列名的方法

文章目录 1. MySQL2. SQL Server3. Oracle / PostgreSQL Question： 假设有一张表 StudentInfo，表中有一个列名是 Student_Name ，想要把这个列名改成 StudentName 应该如何操作？ 建表语句如下： --建表 if object_id(S…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023