深度学习（03）-- CNN学习

文章目录

  • 目录
    • 1.CNN学习
    • 2.Keras深度学习框架

目录

1.CNN学习

卷积神经网络CNN总结

从神经网络到卷积神经网络（CNN）
我们知道神经网络的结构是这样的：

那卷积神经网络跟它是什么关系呢？
其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。

 


卷积神经网络的层级结构
      • 数据输入层/ Input layer
　　• 卷积计算层/ CONV layer
　　• ReLU激励层 / ReLU layer
　　• 池化层 / Pooling layer
　　• 全连接层 / FC layer

 

1.数据输入层
该层要做的处理主要是对原始图像数据进行预处理，其中包括：
　　• 去均值：把输入数据各个维度都中心化为0，如下图所示，其目的就是把样本的中心拉回到坐标系原点上。
　　• 归一化：幅度归一化到同样的范围，如下所示，即减少各维度数据取值范围的差异而带来的干扰，比如，我们有两个维度的特征A和B，A范围是0到10，而B范围是0到10000，如果直接使用这两个特征是有问题的，好的做法就是归一化，即A和B的数据都变为0到1的范围。
　　• PCA/白化：用PCA降维；白化是对数据各个特征轴上的幅度归一化

 

去均值与归一化效果图：

 

去相关与白化效果图：

 

 

2.卷积计算层
这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。
在这个卷积层，有两个关键操作：
　　• 局部关联。每个神经元看做一个滤波器(filter)
　　• 窗口(receptive field)滑动， filter对局部数据计算

 

先介绍卷积层遇到的几个名词：
　　• 深度/depth（解释见下图）
　　• 步长/stride （窗口一次滑动的长度）
　　• 填充值/zero-padding

 

填充值是什么呢？以下图为例子，比如有这么一个5*5的图片（一个格子一个像素），我们滑动窗口取2*2，步长取2，那么我们发现还剩下1个像素没法滑完，那怎么办呢？



那我们在原先的矩阵加了一层填充值，使得变成6*6的矩阵，那么窗口就可以刚好把所有像素遍历完。这就是填充值的作用。



卷积的计算（注意，下面蓝色矩阵周围有一圈灰色的框，那些就是上面所说到的填充值）


这里的蓝色矩阵就是输入的图像，粉色矩阵就是卷积层的神经元，这里表示了有两个神经元（w0,w1）。绿色矩阵就是经过卷积运算后的输出矩阵，这里的步长设置为2。

 

蓝色的矩阵(输入图像)对粉色的矩阵（filter）进行矩阵内积计算并将三个内积运算的结果与偏置值b相加（比如上面图的计算：2+（-2+1-2）+（1-2-2） + 1= 2 - 3 - 3 + 1 = -3），计算后的值就是绿框矩阵的一个元素。

 

下面的动态图形象地展示了卷积层的计算过程：

 


参数共享机制
　　• 在卷积层中每个神经元连接数据窗的权重是固定的，每个神经元只关注一个特性。神经元就是图像处理中的滤波器，比如边缘检测专用的Sobel滤波器，即卷积层的每个滤波器都会有自己所关注一个图像特征，比如垂直边缘，水平边缘，颜色，纹理等等，这些所有神经元加起来就好比就是整张图像的特征提取器集合。
　　• 需要估算的权重个数减少: AlexNet 1亿 => 3.5w
　　• 一组固定的权重和不同窗口内数据做内积: 卷积

 


3.激励层
把卷积层输出结果做非线性映射。

CNN采用的激励函数一般为ReLU(The Rectified Linear Unit/修正线性单元)，它的特点是收敛快，求梯度简单，但较脆弱，图像如下。

 

激励层的实践经验：
　　①不要用sigmoid！不要用sigmoid！不要用sigmoid！
　　② 首先试RELU，因为快，但要小心点
　　③ 如果2失效，请用Leaky ReLU或者Maxout
　　④ 某些情况下tanh倒是有不错的结果，但是很少


4.池化层
池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减小过拟合。
简而言之，如果输入是图像的话，那么池化层的最主要作用就是压缩图像。

 

这里再展开叙述池化层的具体作用。

1. 特征不变性，也就是我们在图像处理中经常提到的特征的尺度不变性，池化操作就是图像的resize，平时一张狗的图像被缩小了一倍我们还能认出这是一张狗的照片，这说明这张图像中仍保留着狗最重要的特征，我们一看就能判断图像中画的是一只狗，图像压缩时去掉的信息只是一些无关紧要的信息，而留下的信息则是具有尺度不变性的特征，是最能表达图像的特征。

2. 特征降维，我们知道一幅图像含有的信息是很大的，特征也很多，但是有些信息对于我们做图像任务时没有太多用途或者有重复，我们可以把这类冗余信息去除，把最重要的特征抽取出来，这也是池化操作的一大作用。

3. 在一定程度上防止过拟合，更方便优化。


池化层用的方法有Max pooling 和 average pooling，而实际用的较多的是Max pooling。

这里就说一下Max pooling，其实思想非常简单。

对于每个2*2的窗口选出最大的数作为输出矩阵的相应元素的值，比如输入矩阵第一个2*2窗口中最大的数是6，那么输出矩阵的第一个元素就是6，如此类推。


5.全连接层
两层之间所有神经元都有权重连接，通常全连接层在卷积神经网络尾部。也就是跟传统的神经网络神经元的连接方式是一样的：


一般CNN结构依次为
　　1. INPUT
　　2. [[CONV -> RELU]*N -> POOL?]*M
　　3. [FC -> RELU]*K
　　4. FC


卷积神经网络之训练算法
　　1. 同一般机器学习算法，先定义Loss function，衡量和实际结果之间差距。
　　2. 找到最小化损失函数的W和b， CNN中用的算法是SGD（随机梯度下降）。


卷积神经网络之优缺点
优点
　　• 共享卷积核，对高维数据处理无压力
　　• 无需手动选取特征，训练好权重，即得特征分类效果好
缺点
　　• 需要调参，需要大样本量，训练最好要GPU
　　• 物理含义不明确（也就说，我们并不知道没个卷积层到底提取到的是什么特征，而且神经网络本身就是一种难以解释的“黑箱模型”）


卷积神经网络之典型CNN
　　• LeNet，这是最早用于数字识别的CNN
　　• AlexNet， 2012 ILSVRC比赛远超第2名的CNN，比
　　• LeNet更深，用多层小卷积层叠加替换单大卷积层。
　　• ZF Net， 2013 ILSVRC比赛冠军
　　• GoogLeNet， 2014 ILSVRC比赛冠军
　　• VGGNet， 2014 ILSVRC比赛中的模型，图像识别略差于GoogLeNet，但是在很多图像转化学习问题(比如object detection)上效果奇好


卷积神经网络之 fine-tuning
何谓fine-tuning？
fine-tuning就是使用已用于其他目标、预训练好模型的权重或者部分权重，作为初始值开始训练。

那为什么我们不用随机选取选几个数作为权重初始值？原因很简单，第一，自己从头训练卷积神经网络容易出现问题；第二，fine-tuning能很快收敛到一个较理想的状态，省时又省心。

那fine-tuning的具体做法是？
　　• 复用相同层的权重，新定义层取随机权重初始值
　　• 调大新定义层的的学习率，调小复用层学习率


卷积神经网络的常用框架

Caffe
　　• 源于Berkeley的主流CV工具包，支持C++,python,matlab
　　• Model Zoo中有大量预训练好的模型供使用
Torch
　　• Facebook用的卷积神经网络工具包
　　• 通过时域卷积的本地接口，使用非常直观
　　• 定义新网络层简单
TensorFlow
　　• Google的深度学习框架
　　• TensorBoard可视化很方便
　　• 数据和模型并行化好，速度快

 

总结
卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。

CNN一个非常重要的特点就是头重脚轻（越往输入权值越小，越往输出权值越多），呈现出一个倒三角的形态，这就很好地避免了BP神经网络中反向传播的时候梯度损失得太快。

卷积神经网络CNN主要用来识别位移、缩放及其他形式扭曲不变性的二维图形。由于CNN的特征检测层通过训练数据进行学习，所以在使用CNN时，避免了显式的特征抽取，而隐式地从训练数据中进行学习；再者由于同一特征映射面上的神经元权值相同，所以网络可以并行学习，这也是卷积网络相对于神经元彼此相连网络的一大优势。卷积神经网络以其局部权值共享的特殊结构在语音识别和图像处理方面有着独特的优越性，其布局更接近于实际的生物神经网络，权值共享降低了网络的复杂性，特别是多维输入向量的图像可以直接输入网络这一特点避免了特征提取和分类过程中数据重建的复杂度。

 


以下是我自己在学习CNN的时候遇到的一些困惑，以及查阅一些资料后得到的一些答案。

第一个问题：为什么不用BP神经网络去做呢？
1.全连接，权值太多，需要很多样本去训练，计算困难
　　• 应对之道：减少权值的尝试，局部连接，权值共享

　　卷积神经网络有两种神器可以降低参数数目。
　　第一种神器叫做局部感知野，一般认为人对外界的认知是从局部到全局的，而图像的空间联系也是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。
　　第二级神器，即权值共享。

 


2.边缘过渡不平滑
　　• 应对之道：采样窗口彼此重叠

 


第二个问题：LeNet里的隐层的神经元个数怎么确定呢？
它和原图像，也就是输入的大小（神经元个数）、滤波器的大小和滤波器在图像中的滑动步长都有关！

LeNet-5共有7层，不包含输入，每层都包含可训练参数（连接权重）。输入图像为32*32大小。

例如，我的图像是1000x1000像素，而滤波器大小是10x10，假设滤波器没有重叠，也就是步长为10，这样隐层的神经元个数就是(1000x1000 )/ (10x10)=100x100个神经元了。

那重叠了怎么算？比如上面图的C2中28*28是如何得来的？这里的步长就是1，窗口大小是5*5，所以窗口滑动肯定发生了重叠。下图解释了28的由来。

 

 

第三个问题：S2层是一个下采样层是干嘛用的？为什么是下采样？
也就是上面所说的池化层，只是叫法不同而已。这层利用图像局部相关性的原理，对图像进行子抽样，可以减少数据处理量同时保留有用信息，相当于图像压缩。

2.Keras深度学习框架

Keras主要包括14个模块，本文主要对Models、layers、Initializations、Activations、Objectives、Optimizers、Preprocessing、metrics共计8个模块分别展开介绍，并通过一个简单的Bp神经网络说明各个模块的作用。 
1. Model 
包：keras.models 
这是Keras中最主要的一个模块，用于对各个组件进行组装 
eg:

  1. from keras.models import Sequential
  2. model=Sequential() #初始化模型
  3. model.add(...) #可使用add方法组装组件

2. layers 
包：keras.layers 
该模块主要用于生成神经网络层，包含多种类型，如Core layers、Convolutional layers等 
eg:

  1. from keras.layers import Dense #Dense表示Bp层
  2. model.add(Dense(input_dim=3,output_dim=5)) #加入隐含层

3. Initializations 
包：keras.initializations 
该模块主要负责对模型参数（权重）进行初始化，初始化方法包括：uniform、lecun_uniform、normal、orthogonal、zero、glorot_normal、he_normal等 
详细说明：http://keras.io/initializations/ 
eg:

model.add(Dense(input_dim=3,output_dim=5,init='uniform')) #加入带初始化（uniform）的隐含层

4. Activations 
包：keras.activations、keras.layers.advanced_activations（新激活函数） 
该模块主要负责为神经层附加激活函数，如linear、sigmoid、hard_sigmoid、tanh、softplus、relu、 softplus以及LeakyReLU等比较新的激活函数 
详细说明：http://keras.io/activations/ 
eg:

model.add(Dense(input_dim=3,output_dim=5,activation='sigmoid')) 加入带激活函数（sigmoid）的隐含层

Equal to:

  1. model.add(Dense(input_dim=3,output_dim=5)) 
  2. model.add(Activation('sigmoid'))

5. Objectives 
包：keras.objectives 
该模块主要负责为神经网络附加损失函数，即目标函数。如mean_squared_error，mean_absolute_error ，squared_hinge，hinge，binary_crossentropy，categorical_crossentropy等，其中binary_crossentropy，categorical_crossentropy是指logloss 
注：目标函数的设定是在模型编译阶段 
详细说明：http://keras.io/objectives/ 
eg:

 model.compile(loss='binary_crossentropy', optimizer='sgd') #loss是指目标函数

6. Optimizers 
包：keras.optimizers 
该模块主要负责设定神经网络的优化方法，如sgd。 
注：优化函数的设定是在模型编译阶段 
详细说明：http://keras.io/optimizers/ 
eg:

model.compile(loss='binary_crossentropy', optimizer='sgd') #optimizer是指优化方法

7. Preprocessing 
包：keras.preprocessing.(image\sequence\text) 
数据预处理模块，不过本人目前尚未用过 
8. metrics 
包：keras.metrics 
与sklearn中metrics包基本相同，主要包含一些如binary_accuracy、mae、mse等的评价方法 
eg:

  1. predict=model.predict_classes(test_x) #输出预测结果
  2. keras.metrics.binary_accuracy(test_y,predict) #计算预测精度

9. Bp 神经网络的简单实现

  1. from keras.models import Sequential #导入模型
  2. from keras.layers import Dense #导入bp层
  3. train_x,train_y #训练集
  4. test_x,text_y #测试集
  5. model=Sequential() #初始化模型
  6. model.add(Dense(input_dim=3,output_dim=3,activation='sigmoid'，init='uniform'))) #添加一个隐含层，注：只是第一个隐含层需指定input_dim
  7. model.add(Dense(1,activation='sigmoid')) #添加输出层
  8. model.compile(loss='binary_crossentropy', optimizer='sgd')  # 编译，指定目标函数与优化方法
  9. model.fit(train_x,train_y ) # 模型训练
  10. model.evaluate(test_x,text_y ) #模型测试

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/445316.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

PaperNotes(1)-Modeling the World from Internet Photo Collections

PaperNotes(1)-Modeling the World from Internet Photo Collections

从网络图片集对世界进行建模AbstractIntroduction2 Previous Work2.1特征匹配2.2 稀疏重建2.3 基于图像建模2.4 基于图像的渲染2.5 图像浏览，检索和注释3 Overview概述4 Reconstructing Cameras and Sparse Geometry（相机标定与稀疏重建）4.1K…
阅读更多...
深度学习（04）-- 典型CNN结构（LeNet5 ，AlexNet）

深度学习（04）-- 典型CNN结构（LeNet5 ，AlexNet）

LeNet5 LeNet5可以说是最早的卷积神经网络了，它发表于1998年，论文原文Gradient-Based Learning Applied to Doucment Recognition作者是Yann Le Cun等。下面对LeNet5网络架构进行简单的说明，有兴趣的同学可以去参考原文，论文原文…
阅读更多...
CNN的几种经典模型

CNN的几种经典模型

本文主要介绍一下CNN的几种经典模型比较。之前自己也用过AlexNet和GoogleNet，网络上关于各种模型的介绍更是形形色色，自己就想着整理一下，以备自己以后查阅方便 LeNet5 先放一张图，我感觉凡是对深度学习有涉猎的人，对…
阅读更多...
PaperNotes(2)-Generative Adversarial Net-代码实现资料

PaperNotes(2)-Generative Adversarial Net-代码实现资料

Generative Adversarial Nets-生成对抗网络Abstract1.Introduction2.Related work3.Adversarial nets4.Theoretical Results4.1全局最优 pgpdatap_gp_{data}pg​pdata​4.2算法1的收敛性质5.Experiments6.Advantagesa and disadvantages7.Conclusions and future work8.GAN-代码…
阅读更多...
深度学习（05）--典型CNN结构（VGG13,16,19）

深度学习（05）--典型CNN结构（VGG13,16,19）

文章目录目录1.VGG结构2.VGG结构解释3.3*3卷积核的优点4.VGG的muti-scale方法5.VGG的应用目录 1.VGG结构  LeNet5用大的卷积核来获取图像的相似特征  AlexNet用99、1111的滤波器  VGG 巨大的进展是通过依次采用多个 33 卷积，模仿出更大的感受野（r…
阅读更多...
redis——发布和订阅

redis——发布和订阅

频道的订阅和退订 当一个客户端执行 SUBSCRIBE 命令， 订阅某个或某些频道的时候， 这个客户端与被订阅频道之间就建立起了一种订阅关系。 Redis 将所有频道的订阅关系都保存在服务器状态的 pubsub_channels 字典里面， 这个字典的键是某个被订…
阅读更多...
redis——事务

redis——事务

Redis 事务可以一次执行多个命令， 并且带有以下三个重要的保证： 批量操作在发送 EXEC 命令前被放入队列缓存。收到 EXEC 命令后进入事务执行，事务中任意命令执行失败，其余的命令依然被执行。在事务执行过程，其他客户端…
阅读更多...
深度学习（06）-- Network in Network（NIN）

深度学习（06）-- Network in Network（NIN）

文章目录目录1.NIN 结构2.MLP卷积3.全局均值池化4.总体网络架构5.NIN补充5.1 广义线性模型（GLM）的局限性5.2 CCCP层5.3 1*1卷积核作用（补充）6.手势识别RGB图像--NIN结构目录 1.NIN 结构 2.MLP卷积 传统CNN的局部感受野窗口的运算…
阅读更多...
Pytorch(2)-tensor常用操作

Pytorch(2)-tensor常用操作

tensor常用数学操作1. 随机数1.1 torch.rand() - 均匀分布数字1.2 torch.randn() - 正态分布数字2. 求和2.1 torch.sum(data, dim)2.2 numpy.sum(data, axis)3. 求积3.1 点乘--对应位置相乘3.2 矩阵乘法4. 均值、方差4.1 torch tensor.mean() .std()4.2 numpy array.mean() .st…
阅读更多...
深度学习（07）-- 经典CNN网络结构（Inception (v1-v4)）

深度学习（07）-- 经典CNN网络结构（Inception (v1-v4)）

文章目录目录1.Inception介绍1.1 Inception结构1.2 Inception V1(GoogleNet)1.3 Inception V2(Batch Norm)1.4 Inception V3（Factorization）1.5 Inception V4（ResNet）1.5 Inception v1~v4 总结1.6 Inception进阶2.Inception实现目…
阅读更多...
Python(13)-函数,lambda语句

Python(13)-函数,lambda语句

函数1 函数定义2 函数调用3 函数注释文档4 函数参数4.1 参数列表,默认参数,任意参数4.1.1 无缺省值参数4.1.2（部分）缺省值参数4.1.3 数量不定形参数4.2 可变对象和不可变对象4.3 作用域4.3.1 globals()函数4.3.2 global 声明变量为全局变量5 函数返回值5…
阅读更多...
深度学习（08）-- Residual Network （ResNet）

深度学习（08）-- Residual Network （ResNet）

文章目录目录1.残差网络基础1.1基本概念1.2VGG19、ResNet34结构图1.3 梯度弥散和网络退化1.4 残差块变体1.5 ResNet模型变体1.6 Residual Network补充1.7 1*1卷积核（补充）2.残差网络介绍（何凯明）3.ResNet-50(Ng)3.1 非常深的神经网…
阅读更多...
redis——命令请求的执行过程

redis——命令请求的执行过程

发送命令请求 当用户在客户端中键入一个命令请求时， 客户端会将这个命令请求转换成协议格式， 然后通过连接到服务器的套接字， 将协议格式的命令请求发送给服务器。 读取命令请求 当客户端与服务器之间的连接套接字因为客户端的写入而变得可…
阅读更多...
深度学习（09）-- DenseNet

深度学习（09）-- DenseNet

文章目录目录1.DenseNet网络结构2.稠密连接及其优点3.代码实现4.补充说明目录 1.DenseNet网络结构 2.稠密连接及其优点 每层以之前层的输出为输入，对于有L层的传统网络，一共有L个连接，对于DenseNet，则有L*(L1)/2。 这篇论文主要…
阅读更多...
redis——缓存击穿/穿透/雪崩

redis——缓存击穿/穿透/雪崩

缓存穿透 一般的缓存系统，都是按照key去缓存查询，如果不存在对应的value，就去后端系统查找（比如DB）。 一些恶意的请求会故意查询不存在的key,请求量很大，就会对后端系统造成很大的压力。这就叫做缓存穿透…
阅读更多...
python(15)-window7配置iPython

python(15)-window7配置iPython

前提：安装了Pythonanaconda anaconda安装参考：https://www.zhihu.com/question/58033789 在window系统下可以使用两种方法来实现类似与于Linux终端命令运行程序的方法（推荐方式2）: 1.cmd:自己没有操作过，可以参考下面…
阅读更多...
深度学习（10）-- Capsules Networks（CapsNet）

深度学习（10）-- Capsules Networks（CapsNet）

版权声明&#xff1a;本文为博主原创文章&#xff0c;未经博主允许不得转载。 https://blog.csdn.net/malele4th/article/details/79430464 </div><div id"content_views" class"markdown_views"><!-- flowchart 箭头图标 勿删 --&g…
阅读更多...
手把手maven的功能/安装/使用/idea集成

手把手maven的功能/安装/使用/idea集成

看这篇文章不用着急安装&#xff0c;跟着步骤一定会成功&#xff0c;要理解maven是什么&#xff0c;如何使用。 介绍 maven官网 对于一个小白来说&#xff0c;官网有用的信息就是这些 不管如何介绍maven&#xff0c;作为使用者来说&#xff0c;主要感觉两个方面有帮助&#x…
阅读更多...
python(16)-列表list,for循环

python(16)-列表list,for循环

高级数据类型--列表1列表定义2列表中取值3列表的增&#xff0c;删&#xff0c;查&#xff0c;改3.1修改指定位置的数据3.2确定指定元素的索引3.3增加操作3.4删除操作3.5 元素是否存在与列表中 in3.6在指定索引位置插入元素4列表的数据统计5列表排序6列表的循环遍历-for7多维度l…
阅读更多...
深度学习（11）-- GAN

深度学习（11）-- GAN

TensorFlow &#xff08;GAN&#xff09; 目录 TensorFlow &#xff08;GAN&#xff09;目录1、GAN1.1 常见神经网络形式1.2 生成网络1.3 新手画家 & 新手鉴赏家1.4 GAN网络1.5 例子 1、GAN 今天我们会来说说现在最流行的一种生成网络, 叫做 GAN, 又称生成对抗网络, 也…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023