基于Pytorch的猫狗图片分类【深度学习CNN】

猫狗分类来源于Kaggle上的一个入门竞赛——Dogs vs Cats。为了加深对CNN的理解,基于Pytorch复现了LeNet,AlexNet,ResNet等经典CNN模型,源代码放在GitHub上,地址传送点击此处。项目大纲如下:
在这里插入图片描述


文章目录

  • 一、问题描述
  • 二、数据集处理
    • 1 损坏图片清洗
    • 2 抽取图片形成数据集
  • 三、图片预处理
    • (1)init 方法
    • (2)getitem方法
    • (3)len方法
    • (4)测试
  • 四、模型
    • 1 LeNet
    • 2 AlexNet模型
  • 五、训练
    • 1 开始训练
    • 2 tensorboard可视化
  • 六、不同模型训练结果分析
    • 1 LeNet模型
      • (1) 数据集数量=1000,无数据增强
      • (2) 数据集数量=4000,无数据增强
      • (3)数据集数量=4000,数据增强
      • (4)数据集=4000,数据增强
      • (5)使用dropout函数抑制过拟合
    • 2 AlexNet模型
    • 3 squeezeNet模型
    • 4 resNet模型
    • 总结
  • 七、预测


一、问题描述

基于训练集数据,训练一个模型,利用训练好的模型预测未知图片中的动物是狗或者猫的概率。

训练集有25,000张图片,测试集12,500 张图片。

数据集下载地址:https://www.kaggle.com/datasets/shaunthesheep/microsoft-catsvsdogs-dataset

截屏2024-02-19 15.56.01

二、数据集处理

1 损坏图片清洗

01_clean.py中,用多种方式来清洗损坏图片:

  1. 判断开头是否有JFIF
  2. 用imghdr库中的imghdr.what函数判断文件类型
  3. 用Image.open(filename).verify()验证图片是否损坏

结果如下:

截屏2022-04-20 下午1.54.15

2 抽取图片形成数据集

由于一万多张图片比较多,并且需要将Cat类和Dog类的图片合在一起并重新命名,方便获得每张图片的labels,所以可以从原图片文件夹复制任意给定数量图片到train的文件夹,并且重命名如下:

截屏2022-04-22 下午3.58.33

程序为:02_data_processing.py.

三、图片预处理

图片预处理部分需要完成:

  1. 对图片的裁剪:将大小不一的图片裁剪成神经网络所需的,我选择的是裁剪为**(224x224)**
  2. 转化为张量
  3. 归一化:三个方向归一化
  4. 图片数据增强
  5. 形成加载器:返回图片数据和对应的标签,利用Pytorch的Dataset包

dataset.py中定义Mydata的类,继承pytorch的Dataset,定义如下三个方法:

(1)init 方法

读取图片路径,并拆分为数据集和验证集(以下代码仅体现结构,具体见源码):

class Mydata(data.Dataset):"""定义自己的数据集"""def __init__(self, root, Transforms=None, train=True):"""进行数据集的划分"""if train:self.imgs = imgs[:int(0.8*imgs_num)]  #80%训练集else:self.imgs = imgs[int(0.8*imgs_num):]  #20%验证集"""定义图片处理方式"""if Transforms is None:normalize = transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])self.transforms = transforms.Compose([ transforms.CenterCrop(224), transforms.Resize([224,224]),transforms.ToTensor(), normalize])

(2)getitem方法

对图片处理,返回数据和标签:

 def __getitem__(self, index):return data, label

(3)len方法

返回数据集大小:

    def __len__(self):"""返回数据集中所有图片的个数"""  return len(self.imgs)

(4)测试

实例化数据加载器后,通过调用getitem方法,可以得到经过处理后的 3 × 244 × 244 3\times244\times244 3×244×244的图片数据

if __name__ == "__main__":root = "./data/train"train = Mydata(root, train=True)  #实例化加载器img,label=train.__getitem__(5)    #获取index为5的图片print(img.dtype)print(img.size(),label)   print(len(train))    #数据集大小
#输出
torch.float32
torch.Size([3, 224, 224]) 0
3200

裁剪处理后图片如下所示,大小为224X224

截屏2022-04-22 下午5.28.56

四、模型

模型都放在 models.py中,主要用了一些经典的CNN模型:

  1. LeNet
  2. ResNet
  3. ResNet
  4. SqueezeNet

下面给出重点关注的LeNet模型和AlexNet模型:

1 LeNet

LeNet模型是一个早期用来识别手写数字图像的卷积神经网络,这个名字来源于LeNet论文的第一作者Yann LeCun。LeNet展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的结果,LeNet模型结构图示如下所示:

截屏2022-04-29 下午7.54.44

由上图知,LeNet分为卷积层块全连接层块两个部分,在本项目中我对LeNet模型做了相应的调整

  1. 采用三个卷积层
  2. 三个全连接层
  3. ReLu作为激活函数
  4. 在卷积后正则化
class LeNet(nn.Module):def __init__(self):super(LeNet, self).__init__()self.relu = nn.ReLU()self.sigmoid = nn.Sigmoid()#三个卷积层self.conv1 = nn.Sequential(nn.Conv2d(in_channels=3,out_channels=16,kernel_size=3,stride=2,),nn.BatchNorm2d(16),nn.ReLU(),nn.MaxPool2d(kernel_size=2),)self.conv2 = nn.Sequential(nn.Conv2d(in_channels=16,out_channels=32,kernel_size=3,stride=2,),nn.BatchNorm2d(32),nn.ReLU(),nn.MaxPool2d(kernel_size=2),)self.conv3 = nn.Sequential(nn.Conv2d(in_channels=32,out_channels=64,kernel_size=3,stride=2,),nn.BatchNorm2d(64),nn.ReLU(),nn.MaxPool2d(kernel_size=2),)#三个全连接层self.fc1 = nn.Linear(3 * 3 * 64, 64)self.fc2 = nn.Linear(64, 10)self.out = nn.Linear(10, 2)   #分类类别为2,def forward(self, x):x = self.conv1(x)x = self.conv2(x)x = self.conv3(x)x = x.view(x.shape[0], -1)x = self.relu(self.fc1(x))x = self.relu(self.fc2(x))x = self.out(x)return x

调用torchsummary库,可以观察模型的结构、参数:

截屏2022-04-30 上午12.35.15

2 AlexNet模型

2012年,AlexNet横空出世,这个模型的名字来源于论文第一作者的姓名Alex Krizhevsky。AlexNet使用了8层卷积神经网络,由5个卷积层和3个池化Pooling 层 ,其中还有3个全连接层构成。AlexNet 跟 LeNet 结构类似,但使⽤了更多的卷积层和更⼤的参数空间来拟合⼤规模数据集 ImageNet,它是浅层神经⽹络和深度神经⽹络的分界线。

特点:

  1. 在每个卷积后面添加了Relu激活函数,解决了Sigmoid的梯度消失问题,使收敛更快。
  2. 使用随机丢弃技术(dropout)选择性地忽略训练中的单个神经元,避免模型的过拟合(也使用数据增强防止过拟合)
  3. 添加了归一化LRN(Local Response Normalization,局部响应归一化)层,使准确率更高。
  4. 重叠最大池化(overlapping max pooling),即池化范围 z 与步长 s 存在关系 z>s 避免平均池化(average pooling)的平均效应

五、训练

训练在 main.py中,主要是对获取数据、训练、评估、模型的保存等功能的整合,能够实现以下功能:

  1. 指定训练模型、epoches等基本参数
  2. 是否选用预训练模型
  3. 接着从上次的中断的地方继续训练
  4. 保存最好的模型和最后一次训练的模型
  5. 对模型的评估:Loss和Accuracy
  6. 利用TensorBoard可视化

1 开始训练

main.py程序中,设置参数和模型(models.py中可以查看有哪些模型):

截屏2022-04-29 下午11.22.34

在vscode中点击运行或在命令行中输入:

python3 main.py

即可开始训练,开始训练后效果如下:

截屏2022-04-30 上午8.24.14

若程序中断,设置resume参数为True,可以接着上次的模型继续训练,可以非常方便的任意训练多少次

2 tensorboard可视化

在vscode中打开tensorboard,或者在命令行中进入当前项目文件夹下输入

tensorboard --logdir runs

即可打开训练中的可视化界面,可以很方便的观察模型的效果:

截屏2022-04-30 上午8.28.37

如上图所示,可以非常方便的观察任意一个模型训练过程的效果!

六、不同模型训练结果分析

1 LeNet模型

在用LeNet模型训练的过程中,通过调整数据集数量、是否用数据增强等不同的方法,来训练模型,并观察模型的训练效果。

(1) 数据集数量=1000,无数据增强

通过Tensorboard可视化可以观察到:

  1. 验证集准确率(Accuracy)在上升,训练30epoch左右,达到最终**63%**左右的最好效果
  2. 但验证集误差(Loss)也在上升,训练集误差一直下降
  3. 训练集误差接近于0

说明模型在训练集上效果好,验证集上效果不好,泛化能力差,可以推测出模型过拟合了。而这个原因也是比较好推测的,数据集比较少。

截屏2022-04-29 下午8.23.09

(2) 数据集数量=4000,无数据增强

同样过拟合了,但是最后的准确率能达到**68%**左右,说明数据集增加有效果

截屏2022-04-29 下午8.32.01

(3)数据集数量=4000,数据增强

这次数据集数量同上一个一样为4000,但采用了如下的数据增强:

  1. 水平翻转,概率为p=0.5
  2. 上下翻转,概率为p=0.1

我们可以看到这次一开始验证集误差是下降的,说明一开始没有过拟合,但到15个epoch之后验证集误差开始上升了,说明已经开始过拟合了,但最后的准确率在**71%**左右,说明数据增强对扩大数据集有明显的效果。

截屏2022-04-29 下午8.38.00

(4)数据集=4000,数据增强

这次数据集数量为4000,但采用了如下的数据增强:

  1. 水平翻转,概率为p=0.5
  2. 上下翻转,概率为p=0.5
  3. 亮度变化截屏2022-04-29 下午8.48.10

可以看到:

  1. 35个epoch之前,验证集误差呈下降趋势,准确率也一直上升,最高能到75%
  2. 但在35个epoch之后,验证集误差开始上升,准确率也开始下降

说明使用了更强的数据增强之后,模型效果更好了。

截屏2022-04-29 下午8.50.01

(5)使用dropout函数抑制过拟合

本次数据集和数据增强方式同(4),但是在模型的第一个全连接层加入dropout函数。

dropout原理:

训练过程中随机丢弃掉一些参数。在前向传播的时候,让某个神经元的激活值以一定的概率p(伯努利分布)停止工作,这样可以使模型泛化性更强。截屏2022-04-29 下午8.59.39

不使用dropout示意图 使用dropout示意图

这样相当于每次训练的是一个比较"瘦"的模型,更不容易过拟合

加入dropout函数后,训练85个epochs,可以观察到效果十分显著

  1. 验证集的误差总体呈现下降趋势,且最后没有反弹
  2. 训练集误差下降比较慢了!
  3. 准确率一直上升,最后可以达到76%

说明模型最后没有过拟合,并且效果还不错。

截屏2022-04-29 下午9.03.21

2 AlexNet模型

将AlexNet模型参数打印出来:

截屏2022-04-30 上午12.58.58

可以看到AlexNet相比LeNet,参数数目有数量级的上升,而在数据量比较小的情况下,很容易梯度消失,经过反复的调试:

  1. 要在卷积层加入正则化
  2. 优化器选择SGD
  3. 学习率不能过大

才能避免验证集的准确率一直在50%

经过调试,较好的一次结果如下所示,最终准确率能达到78%

截屏2022-04-30 上午1.10.08

3 squeezeNet模型

在后面两个模型中,使用迁移学习的方法。

**迁移学习(Transfer Learning)**是机器学习中的一个名词,是指一种学习对另一种学习> 的影响,或习得的经验对完成其它活动的影响。迁移广泛存在于各种知识、技能与社会规范> 的学习中,将某个领域或任务上学习到的知识或模式应用到不同但相关的领域或问题中。``截屏2022-04-29 下午11.58.32```

使用squeezeNet预训练模型,在迭代16个epoch后,准确率可以达到93%

截屏2022-04-29 下午11.51.43

4 resNet模型

使用resnet50的预训练模型,训练25个epoch后,准确率可以达到98%!

截屏2022-04-30 上午12.12.36

总结

模型测试集预测准确率
LeNet(无数据增强)68%
LeNet(数据增强)75%
LeNet(采用Dropout)76%
Alexnet78%
squeezeNet(迁移学习)93%
resNet98%

七、预测

模型训练好后,可以打开 predict.py对新图片进行预测,给定用来预测的模型和预测的图片文件夹:

 model = LeNet1() # 模型结构modelpath = "./runs/LeNet1_1/LeNet1_best.pth" # 训练好的模型路径checkpoint = torch.load(modelpath)  model.load_state_dict(checkpoint)  # 加载模型参数root = "test_pics"

运行 predict.py 会将预测的图片储存在 output文件夹中,如下图所示:

pre_04_cat

会给出预测的类别和概率。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/701931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

idea使用debug妙招之消息队列kafka多消费者组消费同一Topic

1. 问题场景复现 不同类型的消息发到同一个Topic中,设置多个消费者组,为每个消费者组打一个标记。每一种消费者组只能消费对应的消息类型。这样做的好处是避免设置多个Topic,简化代码开发的同时性能损耗小。问题出现在消费端,由于…

[HTML]Web前端开发技术29(HTML5、CSS3、JavaScript )JavaScript基础——喵喵画网页

希望你开心,希望你健康,希望你幸福,希望你点赞! 最后的最后,关注喵,关注喵,关注喵,佬佬会看到更多有趣的博客哦!!! 喵喵喵,你对我真的很重要! 目录 前言 上一节的课后练习

题目 1277: Lucky Word

题目描述: 笨小猴的词汇量很小,所以每次做英语选择题的时候都很头疼。但是他找到了一种方法,经试验证明,用这种方法去选择选项的时候选对的几率非常大! 这种方法的具体描述如下:假设maxn是单词中出现次数最多的字母的…

janus-gateway的videoroom插件的RTP包录制功能源码详解

引: janus-gateway在配置文件设置后,可以实现对videoroom插件的每个publisher的音频,视频,数据的RTP流录制成mjr文件。 对于音频,视频的mjr文件,可以使用自带的postprocessing工具janus-pp-rec转成mp4文件。 每个pu…

docker运行onlyoffice,并配置https访问【参考仅用】

官方说明: Installing ONLYOFFICE Docs for Docker on a local server - ONLYOFFICEhttps://helpcenter.onlyoffice.com/installation/docs-developer-install-docker.aspx 一、容器端口、目录卷映射 sudo docker run --name容器名称 --restartalways -i -t -d -p…

#FPGA(基础知识)

1.IDE:Quartus II 2.设备:Cyclone II EP2C8Q208C8N 3.实验:正点原子-verilog基础知识 4.时序图: 5.步骤 6.代码:

零样本带解释性的医学大模型

带解释性的医学大模型 提出背景解法拆解方法的原因对比以前解法 零样本带解释性的医学大模型如何使用CLIP模型和ChatGPT来进行零样本医学图像分类用特定提示查询ChatGPT所生成的医学视觉特征描述相似性得分在不同症状上的可视化,用于解释模型的预测注意力图的可视化…

公众号回复idea能给出下载链接。

你可以使用字典来存储这些数据,然后在接收到消息时根据消息内容在字典中查找对应的回复内容。 这样做不仅可以更优雅地管理多组数据,还可以轻松地扩展和维护。msg parse_message(message) reply_dict {"idea": "https://pan.baidu.com/…

【数据结构】时间复杂度(加法乘法规则、渐近时间复杂度、循环时间复杂度总结

2.2 时间复杂度 什么是时间复杂度? 评估算法时间开销 T ( n ) O ( f ( n ) ) T(n)O(f(n)) T(n)O(f(n)) 在实际求解中,只留表达式中最高阶的部分,丢弃其他部分。 如何求解? 求解步骤 1.找到一个最深层的基本操作; 2.分…

数组去重的方法

一、利用es6 set 去重 function qu(arr){return Array.from(new Set(arr)) } 注意&#xff1a;此方法不能去重空对象 二、利用for嵌套for,然后splice去重 function qu(arr){for(var i0;i<arr.length;i){for(var ji1;j<arr.length;j){if(arr[i]arr[j]){arr.splice(j…

03|分页查询优化

1. 根据自增且连续的主键排序 使用条件&#xff1a;主键连续且自增 & 结果按照主键排序 select * from employees limit 90000,5;理论上应该走主键索引, 为什么现在type是 all呢? ● 查询第9w行数据开始的5条数据时属于深度分页。 ● limit 90000 5工作原理就是先读取前面…

mac下使用jadx反编译工具

直接执行步骤&#xff1a; 1.创建 jadx目录 mkdir jadx2.将存储库克隆到目录 git clone https://github.com/skylot/jadx.git 3. 进入 jadx目录 cd jadx 4.执行编译 等待片刻 ./gradlew dist出现这个就代表安装好了。 5.最后找到 jadx-gui 可执行文件&#xff0c;双击两下…

C/C++暴力/枚举/穷举题目(刷蓝桥杯基础题的进!)

目录 前言 一、百钱买百鸡 二、百元兑钞 三、门牌号码&#xff08;蓝桥杯真题&#xff09; 四、相乘&#xff08;蓝桥杯真题&#xff09; 五、卡片拼数字&#xff08;蓝桥杯真题&#xff09; 六、货物摆放&#xff08;蓝桥杯真题&#xff09; 七、最短路径&#xff08;蓝…

Unity中URP实现水体效果(泡沫)

文章目录 前言一、给水上色1、我们在属性面板定义两个颜色2、在常量缓冲区申明这两个颜色3、在片元着色器中&#xff0c;使用深度图对这两个颜色进行线性插值&#xff0c;实现渐变的效果 二、实现泡沫效果1、采样 泡沫使用的噪波纹理2、控制噪波效果强弱3、定义_FoamRange来控制…

自定义神经网络二之模型训练推理

文章目录 前言模型概念模型是什么&#xff1f;模型参数有哪些神经网络参数案例 为什么要生成模型模型的大小什么是大模型 模型的训练和推理模型训练训练概念训练过程训练过程中的一些概念 模型推理推理概念推理过程 总结 前言 自定义神经网络一之Tensor和神经网络 通过上一篇…

yolov8添加注意力机制模块-CBAM

修改 在tasks.py&#xff08;路径&#xff1a;ultralytics-main/ultralytics-main - attention/ultralytics/nn/tasks.py&#xff09;文件中&#xff0c;引入CBAM模块。因为yolov8源码中已经包含CBAM模块&#xff0c;在conv.py文件中&#xff08;路径&#xff1a;ultralytics-…

业务流程管理系统(BPMS):一文掌握,组织业务流程优化必备。

大家好&#xff0c;我是大美B端工场&#xff0c;本期继续分享商业智能信息系统的设计&#xff0c;欢迎大家关注&#xff0c;如有B端写系统界面的设计和前端需求&#xff0c;可以联络我们。 一、什么是BPMS系统 BPMS是Business Process Management System&#xff08;业务流程管…

学习Python分支结构不走弯路

1.单分支语句 """ 语法&#xff1a; if 表达式:执行语句 执行流程&#xff1a;当表达式成立的时候&#xff0c;执行语句&#xff0c;否则不执行 """age int(input(请输入你的年龄&#xff1a;)) if age > 18:print(欢迎光临&#xff01;) …

智慧农业技术解决方案总述

概述 农业作为关系着国计民生的基础产业,其信息化、智慧化的程度尤为重要。农业、农村的信息化是国家信息化、现代化的基础和重要组成部分,没有农业、农村的信息化、现代化就没有整个国家的信息化和现代化。 物联网本身是针对特定管理对象的“有限网络”,是以实现控制和管…

二进制部署k8s集群之cni网络插件

目录 k8s的三种网络模式 pod内容器之间的通信 同一个node节点中pod之间通信 不同的node节点的pod之间通信 flannel网络插件 flannel的三种工作方式 VxLAN host-GW UDP Flannel udp 模式 Flannel VXLAN 模式 flannel插件的三大模式的总结 calico网络插件 k8s 组网…