理解Caffe的网络模型

目录

  • 1. 初见LeNet原始模型
  • 2. Caffe LeNet的网络结构
  • 3. 逐层理解Caffe LeNet
    • 3.1 Data Layer
    • 3.2 Conv1 Layer
    • 3.3 Pool1 Layer
    • 3.4 Conv2 Layer
    • 3.5 Pool2 Layer
    • 3.6 Ip1 Layer
    • 3.7 Relu1 Layer
    • 3.8 Ip2 Layer
    • 3.9 Loss Layer

1. 初见LeNet原始模型

 

1

Fig.1. Architecture of original LeNet-5.

图片来源： Lecun, et al., Gradient-based learning applied to document recognition, P IEEE, vol. 86, no. 11, 1998, pp. 2278-2324.

在这篇图片的论文中，详细描述了LeNet-5的结构。

这里不对LeNet-5原始模型进行讨论。可以参考这些资料：

http://blog.csdn.net/qiaofangjie/article/details/16826849

http://blog.csdn.net/xuanyuansen/article/details/41800721

回到顶部(go to top)

2. Caffe LeNet的网络结构

他山之石，可以攻玉。本来是准备画出Caffe LeNet的图的，但发现已经有人做了，并且画的很好，就直接拿过来辅助理解了。

第3部分图片来源：http://www.2cto.com/kf/201606/518254.html

先从整体上感知Caffe LeNet的拓扑图，由于Caffe中定义网络的结构采用的是bottom&top这种上下结构，所以这里的图也采用这种方式展现出来，更加方便理解。

1

Fig.2. Architecture of caffe LeNet.

From bottom to top: Data Layer, conv1, pool1, conv2, pool2, ip1, relu1, ip2, [accuracy]loss.

本节接下来将按照这个顺序依次理解Caffe LeNet的网络结构。

3. 逐层理解Caffe LeNet
本节将采用定义与图解想结合的方式逐层理解Caffe LeNet的结构。3.1 Data Layer
#==============定义TRAIN的数据层============================================
layer { name: "mnist" #定义该层的名字type: "Data"  #该层的类型是数据top: "data"   #该层生成一个data blobtop: "label"  #该层生成一个label blobinclude {phase: TRAIN #说明该层只在TRAIN阶段使用}transform_param {scale: 0.00390625 #数据归一化系数，1/256，归一到[0,1)}data_param {source: "E:/MyCode/DL/caffe-master/examples/mnist/mnist_train_lmdb" #训练数据的路径batch_size: 64 #批量处理的大小backend: LMDB}
}
#==============定义TEST的数据层============================================
layer { name: "mnist"type: "Data"top: "data"top: "label"include {phase: TEST #说明该层只在TEST阶段使用}transform_param {scale: 0.00390625}data_param {source: "E:/MyCode/DL/caffe-master/examples/mnist/mnist_test_lmdb" #测试数据的路径batch_size: 100backend: LMDB}
}
2Fig.3. Architecture of data layer.Fig.3 是train情况下，数据层读取lmdb数据，每次读取64条数据，即N=64。Caffe中采用4D表示，N*C*H*W(Num*Channels*Height*Width)。3.2 Conv1 Layer
#==============定义卷积层1=============================
layer {name: "conv1"       #该层的名字conv1，即卷积层1type: "Convolution" #该层的类型是卷积层bottom: "data"      #该层使用的数据是由数据层提供的data blobtop: "conv1"        #该层生成的数据是conv1param {lr_mult: 1        #weight learning rate(简写为lr)权值的学习率，1表示该值是lenet_solver.prototxt中base_lr: 0.01的1倍}param {lr_mult: 2        #bias learning rate偏移值的学习率，2表示该值是lenet_solver.prototxt中base_lr: 0.01的2倍}convolution_param {num_output: 20    #产生20个输出通道kernel_size: 5    #卷积核的大小为5*5stride: 1         #卷积核移动的步幅为1weight_filler {type: "xavier"  #xavier算法，根据输入和输出的神经元的个数自动初始化权值比例}bias_filler {type: "constant"  #将偏移值初始化为“稳定”状态，即设为默认值0}}
}
3Fig.4. Architecture of conv1 layer.conv1的数据变化的情况：batch_size*1*28*28->batch_size*20*24*243.3 Pool1 Layer
#==============定义池化层1=============================
layer {name: "pool1"type: "Pooling"bottom: "conv1"     #该层使用的数据是由conv1层提供的conv1top: "pool1"        #该层生成的数据是pool1pooling_param {pool: MAX         #采用最大值池化kernel_size: 2    #池化核大小为2*2stride: 2         #池化核移动的步幅为2，即非重叠移动}
}
4Fig.5. Architecture of pool1 layer.池化层1过程数据变化：batch_size*20*24*24->batch_size*20*12*123.4 Conv2 Layer
#==============定义卷积层2=============================
layer {name: "conv2"type: "Convolution"bottom: "pool1"top: "conv2"param {lr_mult: 1}param {lr_mult: 2}convolution_param {num_output: 50kernel_size: 5stride: 1weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}
conv2层的图与Fig.4 类似，卷积层2过程数据变化：batch_size*20*12*12->batch_size*50*8*8。3.5 Pool2 Layer
#==============定义池化层2=============================
layer {name: "pool2"type: "Pooling"bottom: "conv2"top: "pool2"pooling_param {pool: MAXkernel_size: 2stride: 2}
}
pool2层图与Fig.5类似，池化层2过程数据变化：batch_size*50*8*8->batch_size*50*4*4。3.6 Ip1 Layer
#==============定义全连接层1=============================
layer {name: "ip1"type: "InnerProduct" #该层的类型为全连接层bottom: "pool2"top: "ip1"param {lr_mult: 1}param {lr_mult: 2}inner_product_param {num_output: 500 #有500个输出通道weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}
5Fig.6. Architecture of ip11 layer.ip1过程数据变化：batch_size*50*4*4->batch_size*500*1*1。此处的全连接是将C*H*W转换成1D feature vector，即800->500.3.7 Relu1 Layer
#==============定义ReLU1层=============================
layer {name: "relu1"type: "ReLU"bottom: "ip1"top: "ip1"
}
6
Fig.7. Architecture of relu1 layer.
ReLU1层过程数据变化：batch_size*500*1*1->batch_size*500*1*13.8 Ip2 Layer
#==============定义全连接层2============================
layer {name: "ip2"type: "InnerProduct"bottom: "ip1"top: "ip2"param {lr_mult: 1}param {lr_mult: 2}inner_product_param {num_output: 10          #10个输出数据，对应0-9十个数字weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}
ip2过程数据变化：batch_size*500*1*1->batch_size*10*1*13.9 Loss Layer
#==============定义损失函数层============================
layer {name: "loss"type: "SoftmaxWithLoss"bottom: "ip2"bottom: "label"top: "loss"
}
7Fig.8. Architecture of loss layer.损失层过程数据变化：batch_size*10*1*1->batch_size*10*1*1note:注意到caffe LeNet中有一个accuracy layer的定义，这是输出测试结果的层。回到顶部(go to top)
4. Caffe LeNet的完整定义
name: "LeNet" #定义网络的名字
#==============定义TRAIN的数据层============================================
layer { name: "mnist" #定义该层的名字type: "Data"  #该层的类型是数据top: "data"   #该层生成一个data blobtop: "label"  #该层生成一个label blobinclude {phase: TRAIN #说明该层只在TRAIN阶段使用}transform_param {scale: 0.00390625 #数据归一化系数，1/256，归一到[0,1)}data_param {source: "E:/MyCode/DL/caffe-master/examples/mnist/mnist_train_lmdb" #训练数据的路径batch_size: 64 #批量处理的大小backend: LMDB}
}
#==============定义TEST的数据层============================================
layer { name: "mnist"type: "Data"top: "data"top: "label"include {phase: TEST #说明该层只在TEST阶段使用}transform_param {scale: 0.00390625}data_param {source: "E:/MyCode/DL/caffe-master/examples/mnist/mnist_test_lmdb" #测试数据的路径batch_size: 100backend: LMDB}
}
#==============定义卷积层1=============================
layer {name: "conv1"       #该层的名字conv1，即卷积层1type: "Convolution" #该层的类型是卷积层bottom: "data"      #该层使用的数据是由数据层提供的data blobtop: "conv1"        #该层生成的数据是conv1param {lr_mult: 1        #weight learning rate(简写为lr)权值的学习率，1表示该值是lenet_solver.prototxt中base_lr: 0.01的1倍}param {lr_mult: 2        #bias learning rate偏移值的学习率，2表示该值是lenet_solver.prototxt中base_lr: 0.01的2倍}convolution_param {num_output: 20    #产生20个输出通道kernel_size: 5    #卷积核的大小为5*5stride: 1         #卷积核移动的步幅为1weight_filler {type: "xavier"  #xavier算法，根据输入和输出的神经元的个数自动初始化权值比例}bias_filler {type: "constant"  #将偏移值初始化为“稳定”状态，即设为默认值0}}
}#卷积过程数据变化：batch_size*1*28*28->batch_size*20*24*24
#==============定义池化层1=============================
layer {name: "pool1"type: "Pooling"bottom: "conv1"     #该层使用的数据是由conv1层提供的conv1top: "pool1"        #该层生成的数据是pool1pooling_param {pool: MAX         #采用最大值池化kernel_size: 2    #池化核大小为2*2stride: 2         #池化核移动的步幅为2，即非重叠移动}
}#池化层1过程数据变化：batch_size*20*24*24->batch_size*20*12*12
#==============定义卷积层2=============================
layer {name: "conv2"type: "Convolution"bottom: "pool1"top: "conv2"param {lr_mult: 1}param {lr_mult: 2}convolution_param {num_output: 50kernel_size: 5stride: 1weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}#卷积层2过程数据变化：batch_size*20*12*12->batch_size*50*8*8
#==============定义池化层2=============================
layer {name: "pool2"type: "Pooling"bottom: "conv2"top: "pool2"pooling_param {pool: MAXkernel_size: 2stride: 2}
}#池化层2过程数据变化：batch_size*50*8*8->batch_size*50*4*4
#==============定义全连接层1=============================
layer {name: "ip1"type: "InnerProduct" #该层的类型为全连接层bottom: "pool2"top: "ip1"param {lr_mult: 1}param {lr_mult: 2}inner_product_param {num_output: 500 #有500个输出通道weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}#全连接层1过程数据变化：batch_size*50*4*4->batch_size*500*1*1
#==============定义ReLU1层=============================
layer {name: "relu1"type: "ReLU"bottom: "ip1"top: "ip1"
}#ReLU1层过程数据变化：batch_size*500*1*1->batch_size*500*1*1
#==============定义全连接层2============================
layer {name: "ip2"type: "InnerProduct"bottom: "ip1"top: "ip2"param {lr_mult: 1}param {lr_mult: 2}inner_product_param {num_output: 10          #10个输出数据，对应0-9十个数字weight_filler {type: "xavier"}bias_filler {type: "constant"}}
}#全连接层2过程数据变化：batch_size*500*1*1->batch_size*10*1*1
#==============定义显示准确率结果层============================
layer {name: "accuracy"type: "Accuracy"bottom: "ip2"bottom: "label"top: "accuracy"include {phase: TEST}
}
#==============定义损失函数层============================
layer {name: "loss"type: "SoftmaxWithLoss"bottom: "ip2"bottom: "label"top: "loss"
}#损失层过程数据变化：batch_size*10*1*1->batch_size*10*1*1

 

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/444667.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Git(8)-分支

Git(8)-分支

分支1. 分支名2. 创建分支-git branch3. 查看分支-git show-branch4. 检出分支4.1 有未提交的修改时进行检出4.2 合并变更到不同的分支git checkout -m5. 分离HEAD 分支6.删除分支分支操作命令概览 git branch # 列出版本库中的分支 git branch -r # 列出远程跟踪分支…
阅读更多...
caffe开始训练自己的模型（转载并验证过）

caffe开始训练自己的模型（转载并验证过）

学习caffe中踩了不少坑，这里我参考了此博主的文章，并体会到了如何训练自己的模型：http://www.cnblogs.com/denny402/p/5083300.html 学习caffe的目的，不是简单的做几个练习，最终还是要用到自己的实际项目或科研中。因…
阅读更多...
leetcode169. 多数元素

leetcode169. 多数元素

给定一个大小为 n 的数组，找到其中的多数元素。多数元素是指在数组中出现次数大于 ⌊ n/2 ⌋ 的元素。 你可以假设数组是非空的，并且给定的数组总是存在多数元素。 示例 1: 输入: [3,2,3] 输出: 3 示例 2: 输入: [2,2,1,1,1,2,2] 输出: 2 思路&…
阅读更多...
Git(9)-diff

Git(9)-diff

分支1. diff in Linux/Unix2. diff in Git3. git diff 两点语法Linux/Unix 系统中存在diff 命令，可以用来显示两个文本/工作路径的差异。Git diff 在此基础上进行的扩展。 1. diff in Linux/Unix Linux 系统中的diff 命令：提供了一个文件如何转化为另一…
阅读更多...
图像拼接（一）：柱面投影+模板匹配+渐入渐出融合

图像拼接（一）：柱面投影+模板匹配+渐入渐出融合

这种拼接方法的假设前提是：待拼接的两幅图像之间的变换模型是平移模型，即两幅图像同名点位置之间只相差两个未知量：ΔxΔx 和ΔyΔy，自由度为2，模型收得最紧。所以只有所有图像都是用同一水平线或者同一已知倾斜角的摄…
阅读更多...
图像拼接（二）：OpenCV同时打开两个摄像头捕获视频

图像拼接（二）：OpenCV同时打开两个摄像头捕获视频

使用OpenCV实现同时打开两个USB摄像头，并实时显示视频。如果未检测有两个摄像头，程序会结束并发出“摄像头未安装好”的警告。这里推荐一个小巧的摄像头视频捕捉软件：amcap，使用它可以方便的检查每个摄像头是否能正常工作。 捕获…
阅读更多...
Git(10)-merge

Git(10)-merge

Merge1. 无冲突合并2. 有冲突合并-手动解决3. git diff in merge4. 废弃合并5. 合并策略merge相关的操作的命令 git checkout master git merge alternate # 解决冲突 ..... git add file_1 git commit -m "Add slternate line 5, 6" git reset --hard HEAD # b…
阅读更多...
elasticsearch的Linux下安装报错问题解决

elasticsearch的Linux下安装报错问题解决

1.启动报错如下: vim /etc/security/limits.conf 然后修改如下 * soft nofile 65536 * hard nofile 65536sudo vi /etc/pam.d/common-session 添加 session required pam_limits.so sudo vi /etc/pam.d/common-session-noninteractive 添加 session required pam_limits.so…
阅读更多...
leetcode120. 三角形最小路径和

leetcode120. 三角形最小路径和

给定一个三角形，找出自顶向下的最小路径和。每一步只能移动到下一行中相邻的结点上。 例如，给定三角形： [ [2], [3,4], [6,5,7], [4,1,8,3] ] 自顶向下的最小路径和为 11（即，2 3 5 1 11&#xff0…
阅读更多...
Elasticsearchan相关插件和工具安装

Elasticsearchan相关插件和工具安装

1、下载elasticsearch-head的源码包 地址：https://github.com/mobz/elasticsearch-head/releases 2、安装node运行环境 地址：https://nodejs.org/en/download/ 3、安装完node之后编译elasticsearch-head 执行npm install -g grunt-cli编译源码 执行…
阅读更多...
Git(11)-cherry-pick、reset、rebase

Git(11)-cherry-pick、reset、rebase

更改提交，版本回退1.get reset 重置HEAD指针的指向2.git cherry-pick3.git revert4.git commit --amend修改提交5.git rebase 变基提交5.1 git rebase --onto5.2rebase 产生冲突，解决冲突/终止变基5.3git rebase -i6. rebase Vs mergegit 提供了【修改】…
阅读更多...
Elasticsearch集群节点配置详解

Elasticsearch集群节点配置详解

注意：如果是在局域网中运行elasticsearch集群也是很简单的，只要cluster.name设置一致，并且机器在同一网段下，启动的es会自动发现对方，组成集群。 三、配置浅涉 elasticsearch的config文件夹里面有两个配置文件&#…
阅读更多...
MongoDB修改器使用

MongoDB修改器使用

欢迎关注我的新微信公众号 ipgame，有什么问题可以提供交流的平台，欢迎大家讨论。 对于文档的更新除替换外，针对某个或多个文档只需要部分更新可使用原子的更新修改器，能够高效的进行文档更新。更新修改器是中特殊的键， 用来指定复杂的操作，比如增加、删除或者调整键，还…
阅读更多...
Git(12)-stash, reflog

Git(12)-stash, reflog

git stash1. git stash2. reflog命令概览git stash save "WIP:xxxxx" # save后可以跟笔记，WIP:work in process git stash list # 查看存储状态栈的条目 git stash pop # 当前工作目录和索引还原至最近一次save操作的内容…
阅读更多...
cmake生成Win64位工程

cmake生成Win64位工程

使用cmake编译64的dll 一开始使用cmake --build .来生成了dll，在导入到java项目中使用的时候，才发现是32位的。导致程序不能正常运行，报错如下： Exception in thread "main" java.lang.UnsatisfiedLinkError Cant load…
阅读更多...
leetcode 106. 从中序与后序遍历序列构造二叉树

leetcode 106. 从中序与后序遍历序列构造二叉树

根据一棵树的中序遍历与后序遍历构造二叉树。 注意: 你可以假设树中没有重复的元素。 例如，给出 中序遍历 inorder [9,3,15,20,7] 后序遍历 postorder [9,15,7,20,3] 返回如下的二叉树： 3 / \ 9 20 / \ 15 7 思路：和前…
阅读更多...
Mat矩阵(图像容器)的创建及CV_8UC1,CV_8UC2等参数详解

Mat矩阵(图像容器)的创建及CV_8UC1,CV_8UC2等参数详解

一）Mat矩阵(图像容器)创建时CV_8UC1,CV_8UC2等参数详解 1--Mat不但是一个非常有用的图像容器类,同时也是一个通用的矩阵类 2--创建一个Mat对象的方法很多 3--使用Mat图像容器类创建Mat类的对象 //! default constructor Mat(); //! constructs …
阅读更多...
TensorFlow(1)-模型相关基础概念

TensorFlow(1)-模型相关基础概念

TensorFlow-11.Graph对象2.Session对象3.Variabels变量4. placeholders与feed_dict5. tf.train.Saver() 模型参数保存、加载Tensorflow 中文官网教程–2.0版本的官方教程 TensorFlow教程：TensorFlow快速入门教程（非常详细） pytorch Vs tensor…
阅读更多...
memcache的使用入门C++代码

memcache的使用入门C++代码

下载源码编译，memcached就是生成的主程序，启动可指定端口，memcached作为server端，依然是我们熟悉的cs模式，使用两个client一个setkey，一个getkey一百万个做测试。 ./memcached -d -m 300 -p 11211 -u root…
阅读更多...
leetcode78 子集

leetcode78 子集

给定一组不含重复元素的整数数组 nums，返回该数组所有可能的子集（幂集）。 说明：解集不能包含重复的子集。 示例: 输入: nums [1,2,3] 输出: [ [3], [1], [2], [1,2,3], [1,3], [2,3], [1,2], [] ] 思路&…
阅读更多...
最新文章

Copyright @ 2022~2023