pytorch-16 复现经典网络:LeNet5与AlexNet

一、相关概念

对于(10,3,227,227)数据表示,10张3通道的图,图的大小(特征数)为227*227.
通道数:作为卷积的输入通道数和输出通道数。
特征数:特征图的大小
步长stride和填充padding:线性减小特征图的尺寸
池化pooling:非线性且高效减小特征图的尺寸
计算公式:hout = (hin +2p -k) /s +1

二、LeNet5:现代CNN的奠基者

LeNet的核心思想“卷积+池化+线性”。在PyTorch中实现其架构的代码如下:在这里插入图片描述

import torch
from torch import nn
from torch.nn import functional as F
from torchinfo import summarydata = torch.ones(size=(10,1,32,32))class Model(nn.Module):def __init__(self):super().__init__()self.conv1 = nn.Conv2d(1,6,5) #(H+2p-K)/S + 1self.pool1 = nn.AvgPool2d(kernel_size=2,stride=2)self.conv2 = nn.Conv2d(6,16,5)self.pool2 = nn.AvgPool2d(2)self.fc1 = nn.Linear(5*5*16,120)self.fc2 = nn.Linear(120,84)def forward(self,x):x = F.tanh(self.conv1(x))x = self.pool1(x)x = F.tanh(self.conv2(x))x = self.pool2(x)x = x.view(-1,5*5*16) #-1,我不关心-1这个位置上的数是多少,你根据我输入的x的结构帮我自己计算吧x = F.tanh(self.fc1(x))output = F.softmax(self.fc2(x),dim=1) #(samples, features)net = Model() #实例化
net(data)  #相当于在执行 net.forward(data) net = Model() #实例化
summary(net, input_size=(10,1,32,32))

结果显示:

==========================================================================================
Layer (type:depth-idx)                   Output Shape              Param #
==========================================================================================
Model                                    --                        --
├─Conv2d: 1-1                            [10, 6, 28, 28]           156
├─AvgPool2d: 1-2                         [10, 6, 14, 14]           --
├─Conv2d: 1-3                            [10, 16, 10, 10]          2,416
├─AvgPool2d: 1-4                         [10, 16, 5, 5]            --
├─Linear: 1-5                            [10, 120]                 48,120
├─Linear: 1-6                            [10, 84]                  10,164
==========================================================================================
Total params: 60,856
Trainable params: 60,856
Non-trainable params: 0
Total mult-adds (M): 4.22
==========================================================================================
Input size (MB): 0.04
Forward/backward pass size (MB): 0.52
Params size (MB): 0.24
Estimated Total Size (MB): 0.81
==========================================================================================

三、AlexNet:从浅层到深度

AlexNet的架构若用文字来表现,则可以
打包成4个组合:
输入→(卷积+池化)→(卷积+池化)→(卷积x3+池化)→(线性x3)→输出
相对的,LeNet5的架构可以打包成3个组合:
输入→(卷积+池化)→(卷积+池化)→(线性x2)→输出在这里插入图片描述
和只有6层(包括池化层)的LeNet5比起来,AlexNet主要做出了如下改变:
1、相比之下,卷积核更小、网络更深、通道数更多,这代表人们已经认识到了图像数据天生适合于多次
提取特征,“深度”才是卷积网络的未来。LeNet5是基于MNIST数据集创造,MNIST数据集中的图片尺寸
大约只有30*30的大小,LeNet5采用了5x5的卷积核,图像尺寸/核尺寸大约在6:1。而基于ImageNet
数据集训练的AlexNet最大的卷积核只有11x11,且在第二个卷积层就改用5x5,剩下的层中都使用3x3
的卷积核,图像尺寸/核尺寸至少也超过20:1。小卷积核让网络更深,但也让特征图的尺寸变得很小,
为了让信息尽可能地被捕获,AlexNet也使用了更多的通道。小卷积核、多通道、更深的网络,这些都
成为了卷积神经网络后续发展的指导方向。
2、使用了ReLU激活函数,摆脱Sigmoid与Tanh的各种问题。
3、使用了Dropout层来控制模型复杂度,控制过拟合。
4、引入了大量传统或新兴的图像增强技术来扩大数据集,进一步缓解过拟合。
5、使用GPU对网络进行训练,使得“适当的训练“(proper training)成为可能。

1、AlexNet的架构复现

在PyTorch中来复现AlexNet的架构:

import torch
from torch import nn
from torch.nn import functional as Fdata = torch.ones(size=(10,3,227,227)) #224 x 224class Model(nn.Module):def __init__(self):super().__init__()# 大卷积核、较大的步长、较多的通道# 为了处理尺寸较大的原始图片,先使用11x11的卷积核和较大的步长来快速降低特征图的尺寸# 同时,使用比较多的通道数,来弥补降低尺寸造成的数据损失self.conv1 = nn.Conv2d(3,96, kernel_size=11, stride=4)self.pool1 = nn.MaxPool2d(kernel_size=3, stride=2) #overlap pooling#卷积核、步长恢复正常大小,进一步扩大通道# 已经将特征图尺寸缩小到27x27,计算量可控,可以开始进行特征提取了# 卷积核、步长恢复到业界常用的大小,进一步扩大通道来提取数据self.conv2 = nn.Conv2d(96,256,kernel_size=5,padding=2)self.pool2 = nn.MaxPool2d(kernel_size=3, stride=2)# 疯狂提取特征,连续用多个卷积层# kernel 5, padding 2, kernel 3, padding 1 可以维持住特征图的大小self.conv3 = nn.Conv2d(256,384,kernel_size=3, padding =1) self.conv4 = nn.Conv2d(384,384,kernel_size=3, padding =1)self.conv5 = nn.Conv2d(384,256,kernel_size=3, padding =1)self.pool3 = nn.MaxPool2d(kernel_size=3, stride=2)# 进入全连接层,进行信息汇总self.fc1 = nn.Linear(6*6*256,4096) #上层所有特征图上的所有像素self.fc2 = nn.Linear(4096,4096)self.fc3 = nn.Linear(4096,1000)def forward(self,x):x = F.relu(self.conv1(x))x = self.pool1(x)x = F.relu(self.conv2(x))x = self.pool2(x)x = F.relu(self.conv3(x))x = F.relu(self.conv4(x))x = F.relu(self.conv5(x))x = self.pool3(x)x = x.view(-1,6*6*256)  #将数据拉平x = F.dropout(x,p=0.5)                      #dropout:随机让50%的权重为0x = F.relu(F.dropout(self.fc1(x),p=0.5))    #dropout:随机让50%的权重为0 x = F.relu(self.fc2(x))output = F.softmax(self.fc3(x),dim=1)net = Model()
net(data)from torchinfo import summary
summary(net,input_size=(10,3,227,227))

结果显示:

==========================================================================================
Layer (type:depth-idx)                   Output Shape              Param #
==========================================================================================
Model                                    --                        --
├─Conv2d: 1-1                            [10, 96, 55, 55]          34,944
├─MaxPool2d: 1-2                         [10, 96, 27, 27]          --
├─Conv2d: 1-3                            [10, 256, 27, 27]         614,656
├─MaxPool2d: 1-4                         [10, 256, 13, 13]         --
├─Conv2d: 1-5                            [10, 384, 13, 13]         885,120
├─Conv2d: 1-6                            [10, 384, 13, 13]         1,327,488
├─Conv2d: 1-7                            [10, 256, 13, 13]         884,992
├─MaxPool2d: 1-8                         [10, 256, 6, 6]           --
├─Linear: 1-9                            [10, 4096]                37,752,832
├─Linear: 1-10                           [10, 4096]                16,781,312
├─Linear: 1-11                           [10, 1000]                4,097,000
==========================================================================================
Total params: 62,378,344
Trainable params: 62,378,344
Non-trainable params: 0
Total mult-adds (G): 11.36
==========================================================================================
Input size (MB): 6.18
Forward/backward pass size (MB): 52.74
Params size (MB): 249.51
Estimated Total Size (MB): 308.44
==========================================================================================

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/17250.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

三相电子负载:行业前沿

三相电子负载是模拟电网中实际负载的装置,主要用于电源、电机、变压器等产品的测试和老化。随着科技的发展,三相电子负载在电力、通信、汽车电子、新能源等领域的应用越来越广泛,成为行业前沿技术之一。 三相电子负载在电源行业的应用非常广泛…

聚会活跃气氛神器小程序源码系统 各种小游戏 让聚会不再冷场 带源代码包以及安装搭建教程

系统概述 在社交聚会中,如何让气氛活跃起来一直是一个让人关注的问题。小编给大家分享一款聚会活跃气氛神器小程序源码系统。它不仅提供了丰富多样的小游戏,还带有源代码包和详细的安装搭建教程,让你轻松打造属于自己的聚会互动平台。 代码…

Jtti:配置Nginx的并发连接数可以通过哪些方法实现?

配置Nginx的并发连接数可以通过修改其配置文件来实现。主要涉及的参数包括worker_connections和worker_processes。以下是具体的配置方法: 1. 修改Nginx配置文件 Nginx的主配置文件通常位于/etc/nginx/nginx.conf。打开该文件,找到events和http块&…

从docker镜像反推Dockerfile

在项目运维的过程中,偶尔会遇到某个docker image打包时候的Dockerfile版本管理不善无法与image对应的问题,抑或需要分析某个三方docker image的构建过程,这时,就希望能够通过image反推构建时的instruction. 想实现这个过程可以使…

YOLO创新点改进点的消融实验设计规范

YOLO改进的消融实验是一种重要的方法,用于评估和验证模型中不同组件的影响。在进行YOLO改进的消融实验时,我们可以选择一些可能的改进点,比如Backbone网络、Anchor框设计和损失函数设计,然后通过实验来分析它们对模型性能的影响。 首先,我们需要确定实验设计。对于每个改…

Qt 项目(CMake)支持多国语言(2024/05)

目录 1.在工程手动创建languages文件夹2.修改CMakeLists.txt3.在qml上随便添加一下文字内容4.执行CMake 参考:Qt 项目(CMake)设置国际化支持 1.在工程手动创建languages文件夹 2.修改CMakeLists.txt set(TS_FILES"${CMAKE_SOURCE_DIR}/languages/aidi_zh_CN.ts"&qu…

【GIT】常见问题整理

摘要 (一)命令行合并代码分支(二)git clone 拉取代码时没拉取到具体的业务代码提示warning: remote HEAD refers to nonexistent ref, unable to checkout. (一)命令行合并代码分支 ***有时候git网站总会…

PHP preg_replace正则表达式涉及汉字乱码

一、需求 PHP preg_replace,替换省、市、区为空 二、实现 1、使用表达式["省","市","自治州","自治区"],出现了乱码 $text "浙江省";$pattern /["省","市","自治州&qu…

C++(25): C++17探索:std::optional

1. 概述 std::optional是C17标准引入的一个新的标准库组件。这是一个轻量级的容器,旨在以类型安全的方式包装可能为空的值。std::optional为处理可能缺失的数据提供了一种优雅而简洁的方法,这在以往通常需要使用专门的“存在”标志或复杂的错误处理机制。…

怎样让拼多多新店靠前?怎么做好拼多多店铺生意?

在拼多多这个日益激烈的电商平台上,新店铺如何脱颖而出、提升排名,成为了许多卖家朋友关注的焦点。那么接下来跟各位卖家详细介绍怎样让拼多多新店靠前,以及怎么做好拼多多店铺生意。 一、怎样让拼多多新店靠前 1、完善店铺信息 完善店铺信…

超声波清洗机哪家好一点?四款无比卓越精品不可错过

在日常生活中,眼镜成为了我们不可或缺的伙伴,无论是阅读书籍、工作还是享受自然风光,清晰的视野总是至关重要。然而,眼镜上不可避免地会沾染灰尘、油脂甚至细菌,影响我们的视觉体验。传统的眼镜清洗方法虽然简单&#…

从0到1构建IM系统之技术选型

由于本人是一个以JAVA为主要编程语言的全栈工程师,所以这次的技术选型也是基于JAVA体系为基础来进行构建。 开发框架: spring 全家桶 功能强大并且覆盖全面,社区活跃,解决方案成熟,学习成本低(本人属于拿来…

JAVA学习-练习试用Java实现“Excel表列名称”

问题: 给你一个整数 columnNumber ,返回它在 Excel 表中相对应的列名称。 例如: A -> 1 B -> 2 C -> 3 ... Z -> 26 AA -> 27 AB -> 28 ... 示例 1: 输入:columnNumber 1 输出&#…

SpringBoot项目文件上传校验工具类

功能介绍 FileValidationUtils是一个工具类,主要用于验证上传的文件。以下是其主要功能和特点: 1. 文件类型验证:FileValidationUtils类中定义了一个MIME_TYPE_MAP,这个映射表包含了允许上传的文件类型和对应的MIME类型。在vali…

package.json的配置

package.json的配置参考 package.json文件是Node.js项目中的一个重要配置文件,用于存储项目的元数据和各种配置信息。 以下是一些常见的 package.json配置项: { "name": "my-project", // 项目名称,遵循npm的命名规范…

新人学习笔记之(JavaScript运算符)

目录 一、运算符 1.运算符(operator)也被称操作符,最用于实现赋值、比较和算数运算等功能的符号。 2.javascript中常用的有 二、算术运算符 1.算数运算符概述 2.浮点数的精度问题 3.表达式和返回值 三、递增和递减运算符 1.递增和递减运算符…

Python使用MQTT连接新版ONENet

Python MQTT 连接新版ONENet 简介 前几个教程我们使用mqtt.fx连接了新版的ONENet, 只是跑通了MQTT协议,但是在实际操作下还需要实现具体环境、具体设备的MQTT连接,本章教程将以Python MQTT的方式连接 ONENet 参考文档: paho-mqtt PyPI …

数据结构 顺序表

目录 1. 什么是数据结构?2. 顺序表2.1 线性表2.2 顺序表 3. 动态顺序表的实现 正文开始 1. 什么是数据结构? 在学习顺序表前,我们先来了解一下什么是数据结构:数据结构是计算机存储、组织数据的方式,具有一定逻辑关系…

ffprobe 使用文档介绍

ffprobe 摘要 命令格式:ffprobe [options] input_url功能:ffprobe 是一个多媒体分析工具,用于收集多媒体流中的信息,并以易于人类阅读和机器解析的方式打印出来。ffprobe 描述 信息收集:可以检查多媒体流使用的容器格式以及其中每个媒体流的格式和类型。URL 输入:如果输入…

用了那么久的可道云teamOS,居然才发现这个隐藏的功能:一键存图,无需下载

在日常的工作或学习中,我们在遇到喜欢的图片时,总会想要保存下来以备后用。 然而,传统的图片保存方式通常需要我们右键另存为,或者复制链接、打开下载工具,甚至可能需要跳转到其他应用或网页才能完成下载。 存在电脑本…