机器学习——深度学习之卷积神经网络(CNN)——AlexNet卷积神经网络结构

目录

一、AlexNet卷积神经网络结构模型

1、数据库ImageNet

2、AlexNet第一层卷积层

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化(Max Pooling)概念的提出——卷积神经网络通用

1)池化层

2)最大池化

问题1:在AlexNet中,后向传播时,池化后特征图像的梯度怎么传给池化前的图像?——赢者通吃法

3)池化过程的功能和效果

3、随机丢弃(Drop Out)

问题2:为什么参数要乘以(1-p)?

4、增加训练样本

5、利用2片GPU进行加速

​ 三、AlexNet的效果

四、AlexNet中的参数


一、AlexNet卷积神经网络结构模型

1998年LeNet卷积神经网络

2013年AlexNet卷积神经网络

AlexNet卷积神经网络相较于LeNet卷积神经网络其实本质上没有改变,只是在一些细节上进行了改善

1、数据库ImageNet

数据库:ImageNet

样本数据:120万

类别:1000类

2、AlexNet第一层卷积层

第一层卷积层的相关参数

图像大小:227*227*3

卷积核大小:11*11*3

卷积核个数:96个

步长:【4,4】

特征图像大小:55*55*96,图上看起来是48,实际上是96,将96分成两个48给两个GPU进行处理

二、AlexNet卷积神经网络的改进

1、非线性变化函数的改变——ReLU

2、最大池化(Max Pooling)概念的提出——卷积神经网络通用

1)池化层

在LeNet中这一层叫做降采样层,Alex将其改名为池化层Pooling

2)最大池化

LeNet中这一层所做的事情是将红色区域的所有值的平均值作为输出,变成右边的一个蓝色像素格子

但是在AlexNet中,是将红色区域中最大的像素值作为输出,变成右边的一个蓝色像素格子的值

问题1:在AlexNet中,后向传播时,池化后特征图像的梯度怎么传给池化前的图像?——赢者通吃法

答:在LeNet中前向传播是平均池化,后向传播时将池化后的特征每一个格子的梯度平均分给池化前的图像

但是在AlexNet中由于是最大池化得到的池化后的特征图像,因此在后向传播的梯度处理上,也是基于此。将上图中蓝色格子的梯度直接传播赋值给池化前红色区域的像素值最大的格子,其余的格子的梯度设置为0,这就是赢者通吃法则

3)池化过程的功能和效果

功能:

降采样

非线性操作——因此池化用的是最大池化,和RULE函数进行非线性转换的效果是一样的

效果:

只有最大像素值有关,其余像素的梯度均设置为0,这样导致的结果就是参与前向计算的神经元减少,降低了过拟合的可能

3、随机丢弃(Drop Out)

训练用丢弃神经元后的神经网络,测试的时候需要用完整的神经网络

注:随机丢弃可以随机地激活一部分神经元,会使得参数稳定化,避免了过拟合

问题2:为什么参数要乘以(1-p)?

答:望赐教

4、增加训练样本

有的时候参数过多,训练样本不够,这样就会导致待测参数的不准确,使得性能不够

5、利用2片GPU进行加速

三、AlexNet的效果

 

四、AlexNet中的参数

参数个数可参考:《机器学习——深度学习之卷积神经网络(CNN)——LeNet卷积神经网络结构》

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/256347.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

POJ - 3470 Walls

小鸟往四个方向飞都枚举一下,数据范围没给,离散以后按在其中一个轴线排序,在线段树上更新墙的id,然后就是点查询在在哪个墙上了。 这题有个trick,因为数据范围没给我老以为是inf设置小了,WA了很多发。&…

C# —— 深入理解委托类型

一. 委托定义 1. 委托与多播委托 委托类型表示对具有特定参数列表和返回类型的方法的引用,定义了委托实例可以调用的某类方法。 通过委托,我们可以动态的通过委托变量来调用委托方法。一般用delegate来命名委托类型,但Action和Func也可以达到同样的效果…

【VS开发】【C++语言】reshuffle的容器实现算法random_shuffle()的使用

假设你需要指定范围内的随机数,传统的方法是使用ANSI C的函数random(),然后格式化结果以便结果是落在指定的范围内。但是,使用这个方法至少有两个缺点。首先,做格式化时,结果常常是扭曲的,所以得不到正确的随机数&…

C#委托——基础2

在上一篇随笔中,简要说明了怎样定义委托,定义事件,订阅事件,最后也实现了效果,就是当员工类的某个对象,执行某个事件时,委托事件被触发,后面也得到了结果,但是想象一下实…

机器学习——深度学习之编程工具、流行网络结构、卷积神经网络结构的应用

目录 一、编程工具 caffe实现LENET-5 二、流行的网络结构 1、VGGNET 2、Googlenet ​ 3、ResNet​ ​ 三、卷积神经网络的应用 1、人脸识别 ​ 2、人脸验证 3、人脸特征点检测 4、卷积神经网络压缩 一、编程工具 caffe的优点:模型标准化,源代码…

Halcon例程详解(激光三角系统标定)—— calibrate_sheet_of_light_calplate.hdev

前言 1 激光三角测距 激光三角测距法原理很简单,是通过一束激光以一定的入射角度照射被测目标,激光在目标表面会产生漫反射,在另一角度利用透镜对反射激光汇聚成像,光斑成像在CCD(Charge-coupled Device,感光耦合组件)位置传感器上。当被测物体沿激光方向发生移动时,…

【转】如何实现一个文件系统

如何实现一个文件系统 摘要 本章目的是分析在Linux系统中如何实现新的文件系统。在介绍文件系统具体实现前先介绍文件系统的概念和作用,抽象出文件系统概念模型。熟悉文件系统的内涵后,我们再进一步讨论Linux系统中文件系统的特殊风格和具体文件系统在Li…

【tenserflow】——数据类型以及常用属性

目录 一、什么是Tensor? 二、Tensorflow常见数据类型 三、Tensorflow常见属性device\cpu\gpu\ndim\shape\rank等 1、创建一个tensor 1)tf.constant() 2)tf.Variable() 2、判断一个变量是否为tensor张量 3、生成不同设备(cpu,gpu&#x…

C# 事件详解附实例分析

一、定义 事件是两个对象间发布消息和响应后处理消息的过程,通过委托类型来实现的。 事件的机制被称为发布-订阅机制,其算法过程为:首先定义一个委托类型,然后在发布者类中声明一个event事件,同时此类中还有一个用来触…

网页开发浏览器兼容性问题

1、在ie6下的双margin问题 在ie6下,设置了float的元素,以float:left为例,如图所示。会出现第一个浮动元素,即相对于父级元素浮动的,会出现双倍margin的问题。 注意仅仅是相对于父级元素浮动的,即第一个会出…

【tensorflow】——创建tensor的方法

目录 1、tf.constant() 2、tf.Variable() 3、tf.zeros():用0去填充指定形状的数组 4、tf.convert_to_tensor(a,dtypetf.int32) 5、tf.ones():用1去填充指定形状的数组 6、tf.fill():用指定的元素去填充指定形状的数组 7、随机化初始化进行创建 1)normal正态分…

Halcon —— 图像像素类型与转换

图像类型 就目前工业领域主流的图像处理工具halcon来讲,有以下几种图像类型:‘byte’, ‘complex’, ‘cyclic’, ‘direction’, ‘int1’, ‘int2’, ‘int4’, ‘int8’, ‘real’, ‘uint2’,具体含义如下图所示。 ‘byte’ 每像素1字节…

软件方法

核心工作流业务建模(组织建模):描述组织内部各个系统如何协作,使得组织可以为其他的组织提供有价值的服务,新系统只不过是组织为了对外提供更好的服务,对自己的内部重新设计而购买的一个零件。需求&#xf…

修改vim中的tab为4个空格

记录一下,避免用时还得搜........ 1、临时修改 在vi中,set tabstop4 或 set ts4  2、永久修改 vi --version 查看要修改的文件如果是vim的话,修改~/.vimrc如果是vi,修改~/.exrc加上:set tabstop4set nu //显示行号set…

Halcon例程详解(基于卡尺工具的匹配测量方法) —— measure_stamping_part.hdev

前言 1卡尺工具介绍 Halcon中的Metrology方法即为卡尺工具,可用来拟合线,圆,这种方法对于目标比背景很明显的图像尺寸测量是很方便的,不需要用blob进行边缘提取等,但缺点也很明显,需要目标的相对位置基本…

【TensorFlow】——不同shape的tensor在神经网络中的应用(scalar,vector,matrix)

目录 ​ 1、scalar——标量 1)在神经网络中存在的场景 2)one_hot编码 3)举例应用 2、vector——向量 ​ 3、matrixs——矩阵 4、dim3的tensor 5、dim4的tensor 6、dim5的tensor 本文主要的目的是让初学者对tensor的各种形式的使用场…

404页面 3秒后跳到首页 实现

---恢复内容开始--- 当我们访问一个页面不存在的时候&#xff0c;就会跳到404页面 一般网站都在在404页面中做一个处理&#xff0c; 就是当用户3秒种内还没有任何操作的话&#xff0c;就会自动跳转到其它页面 技术实现有两种方法 1. 在404页面中的header间加上 <meta http-e…

Java - I/O

File类 java.io操作文件和目录&#xff0c;与平台无关。具体的常用实例方法&#xff1a; File file new File("."); // 以当前路径创建名为 "." 的 File 对象   文件目录信息函数     -   String getName/Path/Parent()&#xff1a; 文件名/路径…

Halcon —— 边缘检测算子详解

一、算子介绍 1.1 种类 halcon内常用的边缘检测算子包括如下几种&#xff1a; 1.edges_image: 提取2D 图像边缘 2.edges_sub_pix&#xff1a;提取2D图像亚像素边缘 3.edges_object_model_3d &#xff1a;提取3D图像边缘 4.edges_color和edges_color_sub_pix&#xff1a;提取彩…

【TensorFlow】——索引与切片

目录 1、利用index进行索引 2、利用“&#xff1a;”和“...”进行索引与切片 3、tf.gather&#xff08;&#xff09;——对一个维度进行乱序索引 优势&#xff1a; 缺点&#xff1a; 例子 4、tf.gather_nd()——同时对多个维度进行索引 5、tf.boolean_mask()——通过布…