深度残差网络ResNet解析

ResNet在2015年被提出,在ImageNet比赛classification任务上获得第一名,因为它“简单与实用”并存,之后很多方法都建立在ResNet50或者ResNet101的基础上完成的,检测,分割,识别等领域都纷纷使用ResNet,Alpha zero也使用了ResNet,所以可见ResNet确实很好用。 
下面我们从实用的角度去看看ResNet。

1.ResNet意义
随着网络的加深,出现了训练集准确率下降的现象,我们可以确定这不是由于Overfit过拟合造成的(过拟合的情况训练集应该准确率很高);所以作者针对这个问题提出了一种全新的网络,叫深度残差网络,它允许网络尽可能的加深,其中引入了全新的结构如图1; 
这里问大家一个问题 
残差指的是什么? 
其中ResNet提出了两种mapping:一种是identity mapping,指的就是图1中”弯弯的曲线”,另一种residual mapping,指的就是除了”弯弯的曲线“那部分,所以最后的输出是 y=F(x)+xy=F(x)+x 
identity mapping顾名思义,就是指本身,也就是公式中的xx,而residual mapping指的是“差”,也就是y−xy−x,所以残差指的就是F(x)F(x)部分。 
为什么ResNet可以解决“随着网络加深,准确率不下降”的问题? 
除了实验证明外: 

表1,Resnet在ImageNet上的结果 
理论上,对于“随着网络加深,准确率下降”的问题,Resnet提供了两种选择方式,也就是identity mapping和residual mapping,如果网络已经到达最优,继续加深网络,residual mapping将被push为0,只剩下identity mapping,这样理论上网络一直处于最优状态了,网络的性能也就不会随着深度增加而降低了。

2.ResNet结构
它使用了一种连接方式叫做“shortcut connection”,顾名思义,shortcut就是“抄近道”的意思,看下图我们就能大致理解: 

图1 Shortcut Connection 
这是文章里面的图,我们可以看到一个“弯弯的弧线“这个就是所谓的”shortcut connection“,也是文中提到identity mapping,这张图也诠释了ResNet的真谛,当然大家可以放心,真正在使用的ResNet模块并不是这么单一,文章中就提出了两种方式: 

图2 两种ResNet设计 【ResNet34(左图)和ResNet50/101/152(右图)】
这两种结构分别针对ResNet34(左图)和ResNet50/101/152(右图),一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”,目的一目了然,就是为了降低参数的数目,第一个1x1的卷积把256维channel降到64维,然后在最后通过1x1卷积恢复,整体上用的参数数目:1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632,而不使用bottleneck的话就是两个3x3x256的卷积,参数数目: 3x3x256x256x2 = 1179648,差了16.94倍。 
对于常规ResNet,可以用于34层或者更少的网络中,对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中,目的是减少计算和参数量(实用目的)。

问大家一个问题: 
如图1所示,如果F(x)和x的channel个数不同怎么办,因为F(x)和x是按照channel维度相加的,channel不同怎么相加呢? 
针对channel个数是否相同,要分成两种情况考虑,如下图: 
 
图3 两种Shortcut Connection方式 
如图3所示,我们可以清楚的”实线“和”虚线“两种连接方式, 
实线的的Connection部分(”第一个粉色矩形和第三个粉色矩形“)都是执行3x3x64的卷积,他们的channel个数一致,所以采用计算方式: 
y=F(x)+xy=F(x)+x 
虚线的的Connection部分(”第一个绿色矩形和第三个绿色矩形“)分别是3x3x64和3x3x128的卷积操作,他们的channel个数不同(64和128),所以采用计算方式: 
y=F(x)+Wxy=F(x)+Wx 
其中W是卷积操作,用来调整x的channel维度的; 
下面我们看看两个实例: 
 
图4 两种Shortcut Connection方式实例(左图channel一致,右图channel不一样)

3.ResNet50和ResNet101
这里把ResNet50和ResNet101特别提出,主要因为它们的出镜率很高,所以需要做特别的说明。给出了它们具体的结构: 

表2,Resnet不同的结构 
首先我们看一下表2,上面一共提出了5中深度的ResNet,分别是18,34,50,101和152,首先看表2最左侧,我们发现所有的网络都分成5部分,分别是:conv1,conv2_x,conv3_x,conv4_x,conv5_x,之后的其他论文也会专门用这个称呼指代ResNet50或者101的每部分。 
拿101-layer那列,我们先看看101-layer是不是真的是101层网络,首先有个输入7x7x64的卷积,然后经过3 + 4 + 23 + 3 = 33个building block,每个block为3层,所以有33 x 3 = 99层,最后有个fc层(用于分类),所以1 + 99 + 1 = 101层,确实有101层网络; 
注:101层网络仅仅指卷积或者全连接层,而激活层或者Pooling层并没有计算在内; 
这里我们关注50-layer和101-layer这两列,可以发现,它们唯一的不同在于conv4_x,ResNet50有6个block,而ResNet101有23个block,查了17个block,也就是17 x 3 = 51层。

4.基于ResNet101的Faster RCNN
文章中把ResNet101应用在Faster RCNN上取得了更好的结果,结果如下: 


表3,Resnet101 Faster RCNN在Pascal VOC07/12 以及COCO上的结果 
这里有个问题: 
Faster RCNN中RPN和Fast RCNN的共享特征图用的是conv5_x的输出么? 
针对这个问题我们看看实际的基于ResNet101的Faster RCNN的结构图: 

图5 基于ResNet101的Faster RCNN 
图5展示了整个Faster RCNN的架构,其中蓝色的部分为ResNet101,可以发现conv4_x的最后的输出为RPN和RoI Pooling共享的部分,而conv5_x(共9层网络)都作用于RoI Pooling之后的一堆特征图(14 x 14 x 1024),特征图的大小维度也刚好符合原本的ResNet101中conv5_x的输入; 
最后大家一定要记得最后要接一个average pooling,得到2048维特征,分别用于分类和框回归。
--------------------- 
作者:懒人元 
来源:CSDN 
原文:https://blog.csdn.net/lanran2/article/details/79057994 
版权声明:本文为博主原创文章,转载请附上博文链接!

==========================================================================================

ResNet介绍
1 简要概括
    ResNet(Residual Neural Network)由微软研究院的Kaiming He等四名华人提出,通过使用ResNet Unit成功训练出了152层的神经网络,并在ILSVRC2015比赛中取得冠军,在top5上的错误率为3.57%,同时参数量比VGGNet低,效果非常突出。ResNet的结构可以极快的加速神经网络的训练,模型的准确率也有比较大的提升。同时ResNet的推广性非常好,甚至可以直接用到InceptionNet网络中。

    ResNet的主要思想是在网络中增加了直连通道,即Highway Network的思想。此前的网络结构是性能输入做一个非线性变换,而Highway Network则允许保留之前网络层的一定比例的输出。ResNet的思想和Highway Network的思想也非常类似,允许原始输入信息直接传到后面的层中,如下图所示。

    这样的话这一层的神经网络可以不用学习整个的输出,而是学习上一个网络输出的残差,因此ResNet又叫做残差网络。

2 创新点
    提出残差学习的思想。传统的卷积网络或者全连接网络在信息传递的时候或多或少会存在信息丢失,损耗等问题,同时还有导致梯度消失或者梯度爆炸,导致很深的网络无法训练。ResNet在一定程度上解决了这个问题,通过直接将输入信息绕道传到输出,保护信息的完整性,整个网络只需要学习输入、输出差别的那一部分,简化学习目标和难度。VGGNet和ResNet的对比如下图所示。ResNet最大的区别在于有很多的旁路将输入直接连接到后面的层,这种结构也被称为shortcut或者skip connections。

3 网络结构
    在ResNet网络结构中会用到两种残差模块,一种是以两个3*3的卷积网络串接在一起作为一个残差模块,另外一种是1*1、3*3、1*1的3个卷积网络串接在一起作为一个残差模块。他们如下图所示。

    ResNet有不同的网络层数,比较常用的是50-layer,101-layer,152-layer。他们都是由上述的残差模块堆叠在一起实现的。


--------------------- 
作者:dayL_W 
来源:CSDN 
原文:https://blog.csdn.net/u013181595/article/details/80990930 
版权声明:本文为博主原创文章,转载请附上博文链接!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/458100.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Oracle-一个中文汉字占几个字节?

Oracle 一个中文汉字占用几个字节 Oracle 一个中文汉字 占用几个字节,要根据Oracle中字符集编码决定!!! 1. 如果定义为VARCHAR2(32 CHAR),那么该列最多就可以存储32个汉字,如果定义字段为VARCHAR2(32) 或VARCHAR2(32 B…

基于深度学习的目标检测技术演进:R-CNN、Fast R-CNN、Faster R-CNN

object detection我的理解,就是在给定的图片中精确找到物体所在位置,并标注出物体的类别。object detection要解决的问题就是物体在哪里,是什么这整个流程的问题。然而,这个问题可不是那么容易解决的,物体的尺寸变化范…

iPhone屏幕尺寸/launch尺寸/icon尺寸

屏幕尺寸 6p/6sp 414 X 7366/6s 375 X 6675/5s 320 X 568 4/4s 320 X 480launch尺寸 6p/6sp 1242 X 2208 3x6/6s 750 X 1334 2x5/5s 640 X 1136 2x4/4s 640 X 960 2x仔细观察会发现l…

CNN的发展历史(LeNet,Alexnet,VGGNet,GoogleNet,ReSNet)

欢迎转载,转载请注明:本文出自Bin的专栏blog.csdn.net/xbinworld。 关于卷积神经网络CNN,网络和文献中有非常多的资料,我在工作/研究中也用了好一段时间各种常见的model了,就想着简单整理一下,以备查阅之需…

读取csv格式的数据

1.直接上代码&#xff0c;关键是会用 2.代码如下&#xff1a; <?php #添加推荐到英文站 $file fopen(code.csv,r); while ($data fgetcsv($file)) { //每次读取CSV里面的一行内容 //print_r($data); //此为一个数组&#xff0c;要获得每一个数据&#xff0c;访问数组下…

如何在VMWare的Ubuntu虚拟机中设置共享文件夹

亲测有效&#xff1a;Ubuntu18.04 LTS、虚拟机VMware Workstation 14 Pro 14.1.3 build-9474260、Window7 自己的第一篇博文&#xff0c;由于时&#xff08;shuǐ&#xff09;间&#xff08;png&#xff09;原&#xff08;yǒu&#xff09;因&#xff08;xin&#xff09;&…

容器+AOP实现动态部署(四)

上篇咱们介绍了容器和AOP的结合&#xff0c;结合后怎样将对象增强服务并没有过多的说明&#xff0c;这里将详细说明怎样将对象 进行增强 &#xff0c;达到一个一对多和多对多的增强方式 先从简单的方式说起 /** *JDK代理类&#xff0c;实现动态调用对象方法 */ public class JD…

caffe专题五——回归中——检测框架

https://blog.csdn.net/runner668/article/details/80436850

深入理解卷积层,全连接层的作用意义

有部分内容是转载的知乎的&#xff0c;如有侵权&#xff0c;请告知&#xff0c;删除便是&#xff0c;但由于是总结的&#xff0c;所以不一一列出原作者是who。 再次感谢&#xff0c;也希望给其他小白受益。 首先说明&#xff1a;可以不用全连接层的。 理解1&#xff1a; 卷…

用ionic快速开发hybird App(已附源码,在下面+总结见解)

用ionic快速开发hybird App&#xff08;已附源码,在下面总结见解&#xff09; 1.ionic简介 ionic 是用于敏捷开发APP的解决方案。核心思路是&#xff1a;利用成熟的前端开发技术&#xff0c;来写UI和业务逻辑。也就是说&#xff0c;就是一个H5网站&#xff0c;这个区别于react-…

为什么要使用工厂模式

工厂的作用相当于帮助我们完成实例化的操作。 优势1&#xff1a;一般在代码中&#xff0c;实例化一个类A是直接new A&#xff08;&#xff09;&#xff0c;假如类A是一个完全独立的类&#xff0c;没有相似类&#xff0c;则没有必要使用工厂模式&#xff0c;直接new A&#xff…

css各兼容应该注意的问题

1.div布局在ie浏览器和chrome浏览器&#xff0c;firefox浏览器不同&#xff0c;不如在div里面嵌套3个div&#xff0c;分别左中右&#xff0c;左边div的pading和margin在ie8以上都是几乎相同&#xff0c;ie8以下做内边距x2&#xff0c;在中间的div在chrome和fierfox中默认在左边…

转 C++宏定义详解

来自&#xff1a;传送门 C宏定义详解 一、#define的基本用法 #define是C语言中提供的宏定义命令&#xff0c;其主要目的是为程序员在编程时提供一定的方便&#xff0c;并能在一定程度上提高程序的运行效率&#xff0c;但学生在学习时往往不能 理解该命令的本质&#xff0c;总是…

acm之vim的基本配置

http://www.kuangbin.net/archives/vim-acmicpc 转载于:https://www.cnblogs.com/akrusher/articles/5402426.html

40 个重要的 HTML5 面试问题及答案

2019独角兽企业重金招聘Python工程师标准>>> 介绍 我是一个ASP.NET MVC开发人员。最近当我找工作的时候&#xff0c;我发现很多问题都是围绕HTML 5和它的新功能展开的。所以&#xff0c;下面我将列出40个有助于你提高相关HTML 5知识的重要问题。 这些问题并不能保证…

Java常见Jar包的用途

jar包 用途 axis.jar SOAP引擎包 commons-discovery-0.2.jar 用来发现、查找和实现可插入式接口&#xff0c;提供一些一般类实例化、单件的生命周期管理的常用方法. jaxrpc.jar Axis运行所需要的组件包 saaj.jar 创建到端点的点到点连接的方法、创建并处理SOAP消息和附件的方法…

车流检测之halcon光流法算法实现

* This example program shows how to use optical_flow_mg to compute the optical flow in an image sequence and how to segment the optical flow. *这个示例程序显示了如何使用._flow_mg来计算图像序列中的光流&#xff0c;以及如何分割光流。 dev_update_off () dev_…

利用光学流跟踪关键点---30

原创博客:转载请标明出处:http://www.cnblogs.com/zxouxuewei/ 关键点&#xff1a;是多个方向上亮度变化强的区域。 opencv:版本是2.4. 光学流函数&#xff1a;calcOpticalFlowPyrLK()。&#xff08;关键点侦测器使用goodFeaturesToTrack()&#xff09;二者结合。 相应的启动文…

基于Redis、Storm的实时数据查询实践

通过算法小组给出的聚合文件&#xff0c;我们需要实现一种业务场景&#xff0c;通过用户的消费地点的商户ID与posId&#xff0c;查询出他所在的商圈&#xff0c;并通过商圈地点查询出与该区域的做活动的商户&#xff0c;并与之进行消息匹配&#xff0c;推送相应活动信息到用户手…