深度学习之 ROI Pooling

什么是ROI?

ROI是 Region of interest 的简写,指的是 Faster R-CNN 结构中,经过 RPN 层后,产生的 proposal 对应的 box 框。

ROI Pooling 顾名思义,是 pooling 层的一种,而且是针对 ROIs 的 pooling。整个 ROI 的过程,就是将这些 proposal 抠出来的过程,得到大小统一的 feature map。

ROI Pooling 的输入

ROI Pooling 该层有两个输入:

  1. 从具有多个卷积核池化的深度网络中获得的固定大小的feature maps;
  2. 一个表示所有 ROI 的 N*5 的矩阵,其中N表示ROI的数目。一列表示图像index,其余四列表示其余的左上角和右下角坐标;

ROI Pooling 的输出

输出是 batch 个 vector,其中 batch 的值等于 roi 的个数,vector的大小为 channel∗w∗hchannel*w*hchannelwh;ROI Pooling 的过程就是将一个个大小不同的 box 矩形框,都映射成大小为 w∗hw*hwh 的矩形框;

在这里插入图片描述
在这里插入图片描述
如图所示,我们先把 roi 中的坐标映射到 feature map 上,映射规则比较简单,就是把各个坐标除以输入图片与 feature map 的大小的比值,得到了 feature map 上的 box 坐标后,我们使用 pooling 得到输出;由于输入的图片大小不一,所以这里我们使用的 spp pooling,spp pooling 在 pooling 的过程中需要计算 pooling 后的结果对应的像素点反映射到 feature map 上所占的范围,然后在那个范围中进行取 max 或者取 average。理解起来有点绕,看后面,你会豁然开朗。

ROI pooling具体操作如下

  1. 根据输入image,将 ROI 映射到 feature map 对应位置;
  2. 将映射后的区域划分为相同大小的 sections(sections数量与输出的维度相同);
  3. 对每个 sections 进行 max pooling 操作;

这样我们就可以从不同大小的方框得到固定大小的相应的 feature maps。值得一提的是,输出的 feature maps 的大小不取决于 ROI 和卷积 feature maps 大小。ROI pooling 最大的好处就在于极大地提高了处理速度。

ROI pooling example

我们有一个 8∗88*888 大小的 feature map,一个ROI,以及输出大小为 2∗22*222.

输入的固定大小的feature map
在这里插入图片描述
region proposal 投影之后位置(左上角,右下角坐标):(0,3),(7,8)(0,3),(7,8)(0,3)(7,8)
在这里插入图片描述
将其划分为(2*2)个 sections(因为输出大小为2*2),我们可以得到:
在这里插入图片描述
对每个section做max pooling,可以得到:
在这里插入图片描述
整体过程如下:
在这里插入图片描述
说明:在此案例中 region proposals 是 5*7 大小的,在 pooling 之后需要得到 2*2 的,所以在 5*7 的特征图划分成 2*2 的时候不是等分的,行是 5/2,第一行得到2,剩下的那一行是3,列是7/2,第一列得到3,剩下那一列是4。

CNN 中的ROI Pooling

在CNN中,Pooling 层的作用主要有两个:

  • 引入 invariance,包括 translation-invariance,rotation-invariance,scale-invariance。
  • 完成 feature map 的聚合,实现数据降维,防止过拟合。

ROI Pooling 将不同输入尺寸的 feature map 通过分块池化的方法得到固定尺寸的输出,其思想来自于 SPPNet。

rbg 大神在 Fast RCNN 中使用时,将 sppnet 中多尺度的池化简化为单尺度,只输出固定尺寸为(w, h)的 feature map。
在这里插入图片描述
在 Fast R-CNN 网络中,原始图片经过多层卷积与池化后,得到整图的 feature map。而由 selective search 产生的大量 proposal 经过映射可以得到其在 feature map 上的映射区域(ROIs),这些ROIs即作为ROI Pooling层的输入。

ROI Pooling时,将输入的 h∗wh * whw 大小的 feature map 分割成 H∗WH * WHW 大小的子窗口(每个子窗口的大小约为 h/H,w/Wh/H,w/Wh/Hw/W,其中H、W为超参数,如设定为7 x 7),对每个子窗口进行 max-pooling 操作,得到固定输出大小的 feature map。而后进行后续的全连接层操作。

ROI Pooling层的加入对R-CNN网络的改进

在R-CNN中,整个检测的流程是:
在这里插入图片描述
R-CNN网络的主要问题有:

  • 使用 selective search 产生 proposal,操作耗时,且不利于网络的整体训练和测试
  • 产生的 proposal 需要经过 warp 操作再送入后续网络,导致图像的变形和扭曲
  • 每一个 proposal 均需要单独进行特征提取,重复计算量大

ROI Pooling的加入,相对于R-CNN网络来说,至少有两个改善:

  • 由于ROI Pooling可接受任意尺寸的输入,warp操作不再需要,这有效避免了物体的形变扭曲,保证了特征信息的真实性
  • 不需要对每个proposal都提取特征,采用映射方式从整张图片的 feature map 上获取ROI feature区域

除了上述两个改进外,其实还有一点。R-CNN 中在获取到最终的 CNN 特征后先采用 SVM 进行类别判断,再进行 bounding-box 的回归得到位置信息。整个过程是个串行的流程。这极大地影响了网络的检测速度。Fast R-CNN 中则将 Classification 和 regression 的任务合二为一,变成一个 multi-task 的模型,实现了特征的共享与速度的进一步提升。

不知大家注意没有,Fast R-CNN 只是解决了R-CNN中的两点问题,而仍然沿用了 R-CNN 中 selective search 生成 proposal 的方法。这一方法产生的 proposal 即使经过NMS也会达到 2k~3k 个。一方面生成过程耗时耗力,另一方面给存储也带来压力。

那么,有没有办法改进呢?答案当然是 Yes。那就是 Faster R-CNN 的提出。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/453764.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

KD树小结

很久之前我就想过怎么快速在二维平面上查找一个区域的信息,思考许久无果,只能想到几种优秀一点的暴力。 KD树就是干上面那件事的。 别的不多说,赶紧把自己的理解写下来,免得凉了。 KD树的组成 以维护k维空间(x,y,……)内的KD树为例…

多元函数求极值中的a_多元函数的条件极值和拉格朗日乘数法

、条件极值、拉格朗日乘数法1. 转化为无条件极值在讨论多元函数极值问题时,如果遇到除了在定义域中寻求驻点(可能的极值点)外,对自变量再无别的限制条件,我们称这类问题为函数的无条件极值。如求的极值,就是无条件极值问题。然而在…

深度学习之 RPN(RegionProposal Network)- 区域候选网络

anchor boxes基本概念与作用: feature map 上的一个点可以映射回输入图片上的一个点,以特征图上这个点为中心,预先人为设定 k 个 boxes,这些 boxes 就称为在这个点上生成的 k 个 anchor boxes(所有anchor boxes的中心点坐标是一样…

h264的码率控制 JVT-G012

开始看h264的码率控制,很多地方都提到 G012,拿来做为参考比较,看来很有必要研究清楚。 偶这人,E文文档不翻译的话,看过就忘了,于是草草翻译了下,因为不打算做B帧,也不准备在同一帧中…

Android RecyclerView嵌套EditView实时更新Item数据

一、场景(例如:购物车) 1、当我们需要以列表样式管理某些数据时,可能需要列表项的某个字段可编辑 2、编辑Item上的某个字段后可能还要更新相关字段的值 二、可能遇到的问题 1、列表滑动导致输入框中的数据错位(或者焦点…

workbench拓扑优化教程_优化技术在水泵水力设计的应用(上篇)

文章来源:安世亚太官方订阅号(搜索:Peraglobal)CFD技术在泵的内流数值模拟、研究泵内部流动规律和结构方面已广泛应用,取得了很多成果。但是初步设计的产品如果通过CFD仿真得到的性能曲线不能满足使用要求,…

深度学习之 TensorRT

1 简介 TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxne…

H.264笔记

H.264标准写得比较繁复,所以考虑在浏览完Whitepaper之后就开始研读X264代码。X264代码风格还是比较清晰简洁的。根据对标准得理解,Picture Order Count在Slice解码的一开始就被提及:I0 B1 B2 P3 B4 B5 P6I0 P3 B1 B2 P6 B4 B5于是I0的POC是0&…

进制转换中dbho是什么意思_什么是网段?二进制十进制如何互相转换?看完这篇,你就全明白了...

之前的文章讲了ip,子网掩码,网关的关系,今天着重讲一下网段。我们用傻瓜交换机通讯时,一个网段的设备才能互相通讯,怎么能判断两个ip是同一个网段呢?今天就简单的说一下。(这篇文章用语音听可以起到催眠作用…

【网络流24题】星际转移问题(最大流)

【网络流24题】星际转移问题(最大流) 题面 Cogs 题解 因为天数是未知的,所以我们要想办法处理天数 可以选择二分或者依次累加天数 因为数据范围较小,使用二分可能反而复杂度会增高 所以使用不断累加天数 那么,把所有的…

使用 gunicorn 部署flask项目

1、WSGI协议 Web框架致力于如何生成HTML代码,而Web服务器用于处理和响应HTTP请求。Web框架和Web服务器之间的通信,需要一套双方都遵守的接口协议。WSGI协议就是用来统一这两者的接口的。 2、WSGI容器 常用的WSGI容器有Gunicorn和uWSGI,但G…

软件需求与问题解决

(一) 小满当上项目经理后不久,参与了一个大项目。当时市场签下来的时候,公司里面是欢天喜地的。项目做了一年多。到了交付的时候,用户却很不满意,当初说好的东西,好多都变了卦。用户是上帝&…

flex 换主轴后子元素占满_Chrome72 嵌套 flex 布局修改,你的网站可能会发生布局错乱...

起源2019 年 1 月 29 日,Chrome72 正式版(72.0.3626.81)发布,本次发布带来了一个改变,且没有在更新日志中提及,该改变导致某些网站发生了布局错乱。该改变主要针对的是嵌套的flex布局,下面我们一起看下是怎么回事。问题…

使用 Django + Wusgi + Nginx 部署 Django

如何在生产上部署Django? Django的部署可以有很多方式,采用 nginxuwsgi 的方式是其中比较常见的一种方式。 uwsgi介绍 uWSGI是一个Web服务器,它实现了WSGI协议、uwsgi、http等协议。Nginx中HttpUwsgiModule的作用是与uWSGI服务器进行交换。 WSGI / …

网络学习网址

网络之路博客 http://ccieh3c.com/ 转载于:https://www.cnblogs.com/changha0/p/8179801.html

路由到另外一个页面_Nextjs使用解读一(项目搭建与路由系统)

文章说明:1. 之前想搭建个人博客,由于学习的是react技术栈,所以就到处搜罗资料学了nextjs,配合koa就把博客搭起来了。该系列文章基于我的学习笔记,重新整理了一遍,如果有错误之处,还请指正。2. …

微信获取token -1000

最终翻看微信开发api找到需要去配置IP白名单。只需要配置访问来源IP即可。 转载于:https://www.cnblogs.com/yangjinqiang/p/8184663.html

产品技术和管理

为啥纯粹为消费者传递体验的活动可以价格不菲,几为暴利?——谈客户体验作为客户价值提升之源 不论产品还是服务,如果能够为消费者传递有益的体验,其价值就可以在一般的产品服务之上得以体现;附加了体验的产品&#xff…

Linux 修改系统编码

linux服务器的字符集设置可能影响到网站页面出现 “???” 等问号乱码,还有可能导致文件中的汉字部分出现乱码。有两个原因 服务器没有安装 zh_CN.UTF-8 字符集,导致不支持中文!服务器虽然装了 zh_CN.UTF-8…

jquery ztree 设置勾选_047 JAVA-jQuery

jQuery操作元素属性的值表单:<body><input type"button" name"" id"but1" value"测试获得属性值" /><hr />账号&#xff1a;<input type"text" name"sxtzh" id"zhanghao" value&q…