深度学习之卷积神经网络 AlexNet

AlexNet 是 2012年ILSVRC 比赛冠军,远超第二名的CNN,比LeNet更深,用多层小卷积叠加来替换单个的大卷积,结构如下图所示。
​​
在这里插入图片描述

结构

预处理

  • 原始图片:256∗256∗3256*256*32562563

  • 图像处理:

    • 1.随机的剪切,将 256∗256256*256256256 的图片剪切成为 224∗224224*224224224 的图片
    • 2.对 224∗224224*224224224 的图像做了一些旋转和位置变换
    • 3.对 224∗224224*224224224 的图像做了一个图像大小的扩大,变成 227∗227227*227227227 的图片
  • 备注:实际输入AlexNet网络的图片是一个 227∗227∗3227*227*32272273 的图片信息

  • 激励函数:论文中是:sigmoid,但是实际比赛的时候,使用的是ReLU

  • 总参数量:60956032

L0:输入层

  • input:227∗227∗3227*227*32272273
  • output:227∗227∗3227*227*32272273

L1 卷积+激励

  • input:227∗227∗3227*227*32272273
  • filter:3∗11∗113*11*1131111
  • stripe:444
  • padding:000
  • filter size/depth:48∗248*2482
  • output:55∗55∗48∗255*55*48*25555482
  • 神经元数目:55∗55∗48∗255*55*48*25555482
  • 参数个数:(3∗11∗11+1)∗48∗2=34944(3*11*11+1)*48*2=34944(31111+1)482=34944
  • 连接方式:
    • 使用双GPU来进行卷积操作,这个卷积操作和普通卷积一样
    • 两个GPU并行的进行卷积操作,每个GPU只负责其中48个卷积核的计算
    • 效果:可以并行的计算模型,模型执行效率可以得到提升,并且将GPU之间的通信放到网络结构偏后的位置,可以降低信号传输的损耗"

L2 最大池化

  • input:55∗55∗48∗255*55*48*25555482
  • filter:3∗33*333
  • stripe:222
  • padding:000
  • output:27∗27∗48∗227*27*48*22727482
  • 参数个数:000

L3 卷积+激励

  • input:27∗27∗48∗227*27*48*22727482
  • filter:5∗5∗485*5*485548
  • stripe:111
  • padding:222 上下左右各加2个像素
  • filter size/depth:128∗2128*21282
  • output:27∗27∗128∗227*27*128*227271282
  • 神经元数目:27∗27∗128∗227*27*128*227271282
  • 参数个数:(5∗5∗48+1)∗128∗2=307456(5*5*48+1)*128*2=307456(5548+1)1282=307456
  • 连接方式:各个GPU中对应各自的48个feature map进行卷积过程,和普通卷积一样

L4 最大池化

  • input:27∗27∗128∗227*27*128*227271282
  • filter:3∗33*333
  • stripe:222
  • padding:000
  • output:13∗13∗128∗213*13*128*213131282
  • 参数个数:000

L5 卷积+激励

  • input:13∗13∗128∗213*13*128*213131282
  • filter:3∗3∗2563*3*25633256
  • stripe:111
  • padding:222
  • filter size/depth:192∗2192*21922
  • output:13∗13∗192∗213*13*192*213131922
  • 神经元数目:13∗13∗192∗213*13*192*213131922
  • 参数个数:(3∗3∗256+1)∗192∗2=885120(3*3*256+1)*192*2=885120(33256+1)1922=885120
  • 连接方式:将两个GPU中的256个feature map一起做卷积过程

L6 卷积+激励

  • input:13∗13∗192∗213*13*192*213131922
  • filter:3∗3∗1923*3*19233192
  • stripe:111
  • padding:222
  • filter size/depth:192∗2192*21922
  • output:13∗13∗192∗213*13*192*213131922
  • 神经元数目:13∗13∗192∗213*13*192*213131922
  • 参数个数:(3∗3∗192+1)∗192∗2=663936(3*3*192+1)*192*2=663936(33192+1)1922=663936
  • 连接方式:各个GPU中对应各自的48个feature map进行卷积过程,和普通卷积一样

L7 卷积+激励

  • input:13∗13∗192∗213*13*192*213131922
  • filter:3∗3∗1923*3*19233192
  • stripe:111
  • padding:222
  • filter size/depth:128∗2128*21282
  • output:13∗13∗128∗213*13*128*213131282
  • 神经元数目:13∗13∗128∗213*13*128*213131282
  • 参数个数:(3∗3∗192+1)∗128∗2=442624(3*3*192+1)*128*2=442624(33192+1)1282=442624
  • 连接方式:各个GPU中对应各自的48个feature map进行卷积过程,和普通卷积一样

L8 最大池化

  • input:13∗13∗128∗213*13*128*213131282
  • filter:3∗33*333
  • stripe:222
  • padding:000
  • output:6∗6∗128∗26*6*128*2661282
  • 参数个数:000

L9 全连接+激励

  • input:921692169216
  • output:2048∗22048*220482
  • 参数个数:9216∗2048∗2=377487369216*2048*2=37748736921620482=37748736

L10 全连接+激励

  • input:409640964096
  • output:2048∗22048*220482
  • 参数个数:4096∗4096=167772164096*4096=1677721640964096=16777216

L11 全连接+激励

  • input:409640964096
  • output:100010001000
  • 参数个数:4096∗1000=40960004096*1000=409600040961000=4096000

AlexNet结构优化

非线性激活函数:ReLU

使用Max Pooling,并且提出池化核和步长,使池化核之间存在重叠,提升了特征的丰富性。

防止过拟合的方法:Dropout,Data augmentation(数据增强)

大数据训练:百万级ImageNet图像数据

GPU实现:在每个GPU中放置一半核(或神经元),还有一个额外的技巧:GPU间的通讯只在某些层进行。

LRN归一化:对局部神经元的活动创建了竞争机制,使得其中响应比较大的值变得相对更大,并抑制其它反馈较小的神经元,增强了模型的泛化能力。本质上,LRN是仿造生物学上活跃的神经元对于相邻神经元的抑制现象(侧抑制)

​​

在AlexNet引入了一种特殊的网络层次,即:Local Response Normalization(LRN, 局部响应归一化),主要是对ReLU激活函数的输出进行局部归一化操作,公式如下:

其中a表示第i个卷积核在(x,y)坐标位置经过激活函数的输出值,这个式子的含义就是输出一个值和它前后的n个值做标准化。k、n、α、β是超参数,在AlexNet网络中分别为:2、5、10^-4、0.75,N为卷积核总数。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/453790.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

jstl处理栏目与子栏目_芬顿氧化法废水处理工程技术规范(征求意见稿)

日前,生态环境部印发《芬顿氧化法废水处理工程技术规范(征求意见稿)》,详情如下:各有关单位:为贯彻《中华人民共和国环境保护法》和《中华人民共和国水污染防治法》等法律法规,防治环境污染,改善环境质量&a…

深度学习之卷积神经网络 ZF Net

ZFNet出自论文《 Visualizing and Understanding Convolutional Networks》,作者Matthew D. Zeiler和Rob Fergus——显然ZFNet是以两位作者名字的首字母命名的。ZFNet通常被认为是ILSVRC 2013的冠军方法,但实际上ZFNet排在第3名,前两名分别是…

vb整合多个excel表格到一张_[Excel]同一工作簿中多个工作表保存成独立的表格

一个工作簿中有多个表格,如何将其表格单独保存成一个独立的文档呢?如果表格少,操作如下:选中要导出表格的标签名--鼠标邮件--移动或复制表格--新建工作簿。当如果表格太多呢,以上方法就太罗嗦了。简单方法用VBA,步骤如…

OpenCore 的代码结构

OpenCore的代码结构 以开源Android 的代码为例,Open Core 的代码在Android 代码的External/Opencore 目录 中。这个目录是OpenCore 的根目录,其中包含的子目录如下所示: android:这里面是一个上层的库,它基于PVPlaye…

深度学习之卷积神经网络 GoogleNet

GoogLeNet Incepetion V1 这是GoogLeNet的最早版本,出现在2014年的《Going deeper with convolutions》。之所以名为“GoogLeNet”而非“GoogleNet”,文章说是为了向早期的LeNet致敬。 深度学习以及神经网络快速发展,人们不再只关注更给力的硬件、更大…

Jzoj4348 打击目标

又是被水题坑了。。。 一直想不出来看题解说要什么主席树,于是开始打离线算法 结果打到一半发现要强制在线。。No!!! 发现直接AC自动机似乎可做?树剖之后在AC自动机上跑的时候判断一下不就好了吗!连线段树都不要 让后快乐切掉,速度还可以&…

深度学习之卷积神经网络 VGGNet

2014年,牛津大学计算机视觉组(Visual Geometry Group)和Google DeepMind公司的研究员一起研发出了新的深度卷积神经网络:VGGNet,并取得了ILSVRC2014比赛分类项目的第二名(第一名是GoogLeNet,也是…

SpringMVC 返回json的两种方式

前后台数据交互使用json是一种很重要的方式.本文主要探讨SpringMVC框架使用json传输的技术. 请注意,本文所提到的项目使用Spring 版本是4.1.7,其他版本在具体使用上可能有不一样的情况. 一、最常见——使用RequestBody的注解返回一个实体对象; 使用方式如下: 1:引入jar包&#…

深度学习之卷积神经网络 ResNet

论文 Identity Mappings in Deep Residual Networks 2015年,ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出,并在ILSVRC2015比赛中取得冠军,在top5上的错误率为3.57%,同时参数量…

搭建SSM框架之Spring

作为一枚大四准备毕业的学生,最重要的事便是毕业设计,前些日子刚刚拿到毕设题目:“3D网络图:面向网络结构数据的可视化软件设计”,(⊙o⊙)…,怎么说哪,看到题目就是一头雾水(前几届不…

单列表_使用Excel中的quot;记录单quot;功能快速录入数据

在Excel中进行数据录入的时候,平常都是一行一行地录入数据,但是有时候在单元格之间,行与行,列与列之间频繁地切换去录入数据,费事费力还容易出错。今天给你推荐一个既好用又有效率的Excel中的隐藏功能——“记录单”。…

CentOS 6.9下的Setup工具(用于管理服务/防火墙/网络配置/验证服务)

说明:Setup工具套件好像是CentOS下特有的用于管理服务/防火墙/网络配置等,其实就是基于命令行模式界面的GUI工具。唯一特点就是方便。 安装: #安装Setup命令工具 yum -y install setuptool #安装Setup工具配套的系统服务组件 yum -y insta…

深度学习之非极大值抑制(Non-maximum suppression,NMS)

非极大值抑制(Non-maximum suppression,NMS)是一种去除非极大值的算法,常用于计算机视觉中的边缘检测、物体识别等。 算法流程 给出一张图片和上面许多物体检测的候选框(即每个框可能都代表某种物体)&…

vue项目token放在哪里_关于vue动态菜单的那点事

vue-element-admin4.0国内节点访问地址:https://panjiachen.gitee.io/vue-element-admin-site/zh/本此使用的是https://github.com/PanJiaChen/vue-element-admin/tree/i18n 国际化分支的版本。说是除了国际化其他都一样。本文主要介绍前台动态的使用资源权限。后台…

深度学习之 ROI Pooling

什么是ROI? ROI是 Region of interest 的简写,指的是 Faster R-CNN 结构中,经过 RPN 层后,产生的 proposal 对应的 box 框。 ROI Pooling 顾名思义,是 pooling 层的一种,而且是针对 ROIs 的 pooling。整个…

KD树小结

很久之前我就想过怎么快速在二维平面上查找一个区域的信息,思考许久无果,只能想到几种优秀一点的暴力。 KD树就是干上面那件事的。 别的不多说,赶紧把自己的理解写下来,免得凉了。 KD树的组成 以维护k维空间(x,y,……)内的KD树为例…

深度学习之 RPN(RegionProposal Network)- 区域候选网络

anchor boxes基本概念与作用: feature map 上的一个点可以映射回输入图片上的一个点,以特征图上这个点为中心,预先人为设定 k 个 boxes,这些 boxes 就称为在这个点上生成的 k 个 anchor boxes(所有anchor boxes的中心点坐标是一样…

workbench拓扑优化教程_优化技术在水泵水力设计的应用(上篇)

文章来源:安世亚太官方订阅号(搜索:Peraglobal)CFD技术在泵的内流数值模拟、研究泵内部流动规律和结构方面已广泛应用,取得了很多成果。但是初步设计的产品如果通过CFD仿真得到的性能曲线不能满足使用要求,…

深度学习之 TensorRT

1 简介 TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxne…

进制转换中dbho是什么意思_什么是网段?二进制十进制如何互相转换?看完这篇,你就全明白了...

之前的文章讲了ip,子网掩码,网关的关系,今天着重讲一下网段。我们用傻瓜交换机通讯时,一个网段的设备才能互相通讯,怎么能判断两个ip是同一个网段呢?今天就简单的说一下。(这篇文章用语音听可以起到催眠作用…