深度学习之卷积神经网络 AlexNet

AlexNet 是 2012年ILSVRC 比赛冠军,远超第二名的CNN,比LeNet更深,用多层小卷积叠加来替换单个的大卷积,结构如下图所示。
​​
在这里插入图片描述

结构

预处理

  • 原始图片:256∗256∗3256*256*32562563

  • 图像处理:

    • 1.随机的剪切,将 256∗256256*256256256 的图片剪切成为 224∗224224*224224224 的图片
    • 2.对 224∗224224*224224224 的图像做了一些旋转和位置变换
    • 3.对 224∗224224*224224224 的图像做了一个图像大小的扩大,变成 227∗227227*227227227 的图片
  • 备注:实际输入AlexNet网络的图片是一个 227∗227∗3227*227*32272273 的图片信息

  • 激励函数:论文中是:sigmoid,但是实际比赛的时候,使用的是ReLU

  • 总参数量:60956032

L0:输入层

  • input:227∗227∗3227*227*32272273
  • output:227∗227∗3227*227*32272273

L1 卷积+激励

  • input:227∗227∗3227*227*32272273
  • filter:3∗11∗113*11*1131111
  • stripe:444
  • padding:000
  • filter size/depth:48∗248*2482
  • output:55∗55∗48∗255*55*48*25555482
  • 神经元数目:55∗55∗48∗255*55*48*25555482
  • 参数个数:(3∗11∗11+1)∗48∗2=34944(3*11*11+1)*48*2=34944(31111+1)482=34944
  • 连接方式:
    • 使用双GPU来进行卷积操作,这个卷积操作和普通卷积一样
    • 两个GPU并行的进行卷积操作,每个GPU只负责其中48个卷积核的计算
    • 效果:可以并行的计算模型,模型执行效率可以得到提升,并且将GPU之间的通信放到网络结构偏后的位置,可以降低信号传输的损耗"

L2 最大池化

  • input:55∗55∗48∗255*55*48*25555482
  • filter:3∗33*333
  • stripe:222
  • padding:000
  • output:27∗27∗48∗227*27*48*22727482
  • 参数个数:000

L3 卷积+激励

  • input:27∗27∗48∗227*27*48*22727482
  • filter:5∗5∗485*5*485548
  • stripe:111
  • padding:222 上下左右各加2个像素
  • filter size/depth:128∗2128*21282
  • output:27∗27∗128∗227*27*128*227271282
  • 神经元数目:27∗27∗128∗227*27*128*227271282
  • 参数个数:(5∗5∗48+1)∗128∗2=307456(5*5*48+1)*128*2=307456(5548+1)1282=307456
  • 连接方式:各个GPU中对应各自的48个feature map进行卷积过程,和普通卷积一样

L4 最大池化

  • input:27∗27∗128∗227*27*128*227271282
  • filter:3∗33*333
  • stripe:222
  • padding:000
  • output:13∗13∗128∗213*13*128*213131282
  • 参数个数:000

L5 卷积+激励

  • input:13∗13∗128∗213*13*128*213131282
  • filter:3∗3∗2563*3*25633256
  • stripe:111
  • padding:222
  • filter size/depth:192∗2192*21922
  • output:13∗13∗192∗213*13*192*213131922
  • 神经元数目:13∗13∗192∗213*13*192*213131922
  • 参数个数:(3∗3∗256+1)∗192∗2=885120(3*3*256+1)*192*2=885120(33256+1)1922=885120
  • 连接方式:将两个GPU中的256个feature map一起做卷积过程

L6 卷积+激励

  • input:13∗13∗192∗213*13*192*213131922
  • filter:3∗3∗1923*3*19233192
  • stripe:111
  • padding:222
  • filter size/depth:192∗2192*21922
  • output:13∗13∗192∗213*13*192*213131922
  • 神经元数目:13∗13∗192∗213*13*192*213131922
  • 参数个数:(3∗3∗192+1)∗192∗2=663936(3*3*192+1)*192*2=663936(33192+1)1922=663936
  • 连接方式:各个GPU中对应各自的48个feature map进行卷积过程,和普通卷积一样

L7 卷积+激励

  • input:13∗13∗192∗213*13*192*213131922
  • filter:3∗3∗1923*3*19233192
  • stripe:111
  • padding:222
  • filter size/depth:128∗2128*21282
  • output:13∗13∗128∗213*13*128*213131282
  • 神经元数目:13∗13∗128∗213*13*128*213131282
  • 参数个数:(3∗3∗192+1)∗128∗2=442624(3*3*192+1)*128*2=442624(33192+1)1282=442624
  • 连接方式:各个GPU中对应各自的48个feature map进行卷积过程,和普通卷积一样

L8 最大池化

  • input:13∗13∗128∗213*13*128*213131282
  • filter:3∗33*333
  • stripe:222
  • padding:000
  • output:6∗6∗128∗26*6*128*2661282
  • 参数个数:000

L9 全连接+激励

  • input:921692169216
  • output:2048∗22048*220482
  • 参数个数:9216∗2048∗2=377487369216*2048*2=37748736921620482=37748736

L10 全连接+激励

  • input:409640964096
  • output:2048∗22048*220482
  • 参数个数:4096∗4096=167772164096*4096=1677721640964096=16777216

L11 全连接+激励

  • input:409640964096
  • output:100010001000
  • 参数个数:4096∗1000=40960004096*1000=409600040961000=4096000

AlexNet结构优化

非线性激活函数:ReLU

使用Max Pooling,并且提出池化核和步长,使池化核之间存在重叠,提升了特征的丰富性。

防止过拟合的方法:Dropout,Data augmentation(数据增强)

大数据训练:百万级ImageNet图像数据

GPU实现:在每个GPU中放置一半核(或神经元),还有一个额外的技巧:GPU间的通讯只在某些层进行。

LRN归一化:对局部神经元的活动创建了竞争机制,使得其中响应比较大的值变得相对更大,并抑制其它反馈较小的神经元,增强了模型的泛化能力。本质上,LRN是仿造生物学上活跃的神经元对于相邻神经元的抑制现象(侧抑制)

​​

在AlexNet引入了一种特殊的网络层次,即:Local Response Normalization(LRN, 局部响应归一化),主要是对ReLU激活函数的输出进行局部归一化操作,公式如下:

其中a表示第i个卷积核在(x,y)坐标位置经过激活函数的输出值,这个式子的含义就是输出一个值和它前后的n个值做标准化。k、n、α、β是超参数,在AlexNet网络中分别为:2、5、10^-4、0.75,N为卷积核总数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/453790.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jstl处理栏目与子栏目_芬顿氧化法废水处理工程技术规范(征求意见稿)

日前,生态环境部印发《芬顿氧化法废水处理工程技术规范(征求意见稿)》,详情如下:各有关单位:为贯彻《中华人民共和国环境保护法》和《中华人民共和国水污染防治法》等法律法规,防治环境污染,改善环境质量&a…

深度学习之卷积神经网络 ZF Net

ZFNet出自论文《 Visualizing and Understanding Convolutional Networks》,作者Matthew D. Zeiler和Rob Fergus——显然ZFNet是以两位作者名字的首字母命名的。ZFNet通常被认为是ILSVRC 2013的冠军方法,但实际上ZFNet排在第3名,前两名分别是…

SIP与RTP综合应用5-RTP解包过程

RTP接收部分比较简单(不用考虑jitterbuffer等),先从这里入手。 其实主要就3步: 1 创建一个udp,监听一个端口,比如5200。 2 收到RTP包,送到解包程序,继续收第 二个。 3 收齐一帧后,或保存文件&am…

JavaScript eval() 函数,计算某个字符串,并执行其中的的 JavaScript 代码。

JavaScript eval() 函数,计算某个字符串,并执行其中的的 JavaScript 代码。 适合用于计算器的计算,等。 例子: eval("x10;y20;document.write(x*y)") document.write(eval("22")) var x10 document.write(eva…

vb整合多个excel表格到一张_[Excel]同一工作簿中多个工作表保存成独立的表格

一个工作簿中有多个表格,如何将其表格单独保存成一个独立的文档呢?如果表格少,操作如下:选中要导出表格的标签名--鼠标邮件--移动或复制表格--新建工作簿。当如果表格太多呢,以上方法就太罗嗦了。简单方法用VBA,步骤如…

sqlserver字符串多行合并为一行

1 --创建测试表2 CREATE TABLE [dbo].[TestRows2Columns](3 [Id] [int] IDENTITY(1,1) NOT NULL,4 [UserName] [nvarchar](50) NULL,5 [Subject] [nvarchar](50) NULL,6 [Source] [numeric](18,0) NULL7 )8 GO9 10 --插入测试数据 11 INSERT INTO [TestRows2C…

OpenCore 的代码结构

OpenCore的代码结构 以开源Android 的代码为例,Open Core 的代码在Android 代码的External/Opencore 目录 中。这个目录是OpenCore 的根目录,其中包含的子目录如下所示: android:这里面是一个上层的库,它基于PVPlaye…

深度学习之卷积神经网络 GoogleNet

GoogLeNet Incepetion V1 这是GoogLeNet的最早版本,出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。 深度学习以及神经网络快速发展,人们不再只关注更给力的硬件、更大…

名词解释 算法的有限性_数据结构与算法期中考试卷(含答案)

玉林师范学院期中课程考试试卷(2010——2011学年度第一学期)命题教师:刘恒 命题教师所在系:数计系 课程名称:数据结构与算法 考试专业:信计 考试年级:09级一、单项选择题(每题2分,共30分,把正确…

Jzoj4348 打击目标

又是被水题坑了。。。 一直想不出来看题解说要什么主席树,于是开始打离线算法 结果打到一半发现要强制在线。。No!!! 发现直接AC自动机似乎可做?树剖之后在AC自动机上跑的时候判断一下不就好了吗!连线段树都不要 让后快乐切掉,速度还可以&…

深度学习之卷积神经网络 VGGNet

2014年,牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络:VGGNet,并取得了ILSVRC2014比赛分类项目的第二名(第一名是GoogLeNet,也是…

SpringMVC 返回json的两种方式

前后台数据交互使用json是一种很重要的方式.本文主要探讨SpringMVC框架使用json传输的技术. 请注意,本文所提到的项目使用Spring 版本是4.1.7,其他版本在具体使用上可能有不一样的情况. 一、最常见——使用RequestBody的注解返回一个实体对象; 使用方式如下: 1:引入jar包&#…

word上怎么把图片拼接到一起_如何用Word把自己插入的两张图片合在一起?

例如上面效果的设置方法:1、单击插入----图片按钮;2、弹出插入图片对话框,按住Ctrl键,同时选择所需要的图片;3、选中图片,单击图片工具格式----文字环绕----紧密型环绕;4、此时,用鼠…

深度学习之卷积神经网络 ResNet

论文 Identity Mappings in Deep Residual Networks 2015年,ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出,并在ILSVRC2015比赛中取得冠军,在top5上的错误率为3.57%,同时参数量…

按照RFC3984协议实现H264视频流媒体 RTSP H264

转自:http://topic.csdn.net/u/20100104/16/0fd992e8-b0a6-4c2b-85a4-d9513d3b1491.html 相信有不少人和我一样,希望实现H264格式视频的流媒体播放。但是对于一个新手来说,往往不知道从何入手。利用百度,GOOGLE等搜索资料真是沙里…

搭建SSM框架之Spring

作为一枚大四准备毕业的学生,最重要的事便是毕业设计,前些日子刚刚拿到毕设题目:“3D网络图:面向网络结构数据的可视化软件设计”,(⊙o⊙)…,怎么说哪,看到题目就是一头雾水(前几届不…

audio unity 加速_浅谈Unity中Android、iOS音频延迟

在Unity上面做音游,当在移动端实机运行起来,会发现,音频的发出会有一定的延迟,无论是长音效还是短音效,Unity内置的Audio内部使用的是FMOD,有以下手段改善通过设置稍微改善其延迟的问题Edit → Project Set…

深度学习之 hard negative mining (难例挖掘)

Hard Negative Mining Method 思想 hard是困难样本,negative是负样本,hard negative就是说在对负样本分类时候,loss比较大(label与prediction相差较大)的那些样本,也可以说是容易将负样本看成正样本的那些…

单列表_使用Excel中的quot;记录单quot;功能快速录入数据

在Excel中进行数据录入的时候,平常都是一行一行地录入数据,但是有时候在单元格之间,行与行,列与列之间频繁地切换去录入数据,费事费力还容易出错。今天给你推荐一个既好用又有效率的Excel中的隐藏功能——“记录单”。…

CentOS 6.9下的Setup工具(用于管理服务/防火墙/网络配置/验证服务)

说明:Setup工具套件好像是CentOS下特有的用于管理服务/防火墙/网络配置等,其实就是基于命令行模式界面的GUI工具。唯一特点就是方便。 安装: #安装Setup命令工具 yum -y install setuptool #安装Setup工具配套的系统服务组件 yum -y insta…