文章目录
- 前言
- 一、SPP Net 的网络结构和流程
- 二、SPP的创新点
- 总结
前言
SPP Net：Spatial Pyramid Pooling Net（空间金字塔池化网络）
SPP-Net是出自何凯明教授于2015年发表在IEEE上的论文-《Spatial Pyramid Pooling in Deep ConvolutionalNetworks for Visual Recognition》
前文目标检测-Two Stage-RCNN中提到RCNN的主要缺点如下：
- 2000候选框都需要进行CNN提特征+SVM分类，计算量很大
- 所有候选框在输入CNN前都裁剪/缩放（crop/warp）成统一大小，会造成变形失真等问题，从而影响精度（见下图）
SPP Net 针对上述缺点做了改进
提示：以下是本篇文章正文内容，下面内容可供参考
一、SPP Net 的网络结构和流程
- 使用EdgeBoxes提取2,000个候选窗口（candidate windows）
- 预训练CNN模型（ZF）+ 微调（fine-tuning） / 从头开始训练模型
- 调整图像的大小，使min(w,h)=s，并使用CNN网络从整个图像中提取特征图（feature maps）
ps：输入影像大小可以是任意的，因此feature map的大小也是任意的
- 使用线性模型将候选窗口在原图的位置映射到卷积层特征图，以获取每个候选窗口的特征图（feature maps）
- 通过空间金字塔池化层（Spatial Pyramid Pooling Layer）将每个候选窗口feature map转化为固定大小
ps：以下图举例来说，SPP以3级空间金字塔（4×4,2×2,1×1）来提取特征，就可以得到16+4+1=21种不同的块(Spatial bins)，对每个块进行池化操作，最终得到固定大小为21×256的输出
实际使用了4级空间金字塔（1×1, 2×2, 3×3, 6×6），这会为每个候选窗口生成12800d（256×50）的表示
- 将经过SPP Layer层的得到的候选窗口的表示（12800d）输入全连接网络
- 训练一个SVM分类器，根据全连接网络输出特征进行分类，利用非极大值抑制（NMS）去除冗余候选区
- 训练一个回归模型，精修正确的候选框位置及大小
二、SPP的创新点
- 相比于RCNN先提特征后卷积，SPP Net先卷积后提特征，因此只需要一次卷积，相比于RCNN节省了大量计算时间
- 使用SPP Layer固定输出大小，改善了warp/crop这种预处理方法可能造成的图像失真从而导致识别精度下降的问题
- 使用了多尺度训练（224和180）提高了精度
ps：输入的大小可以是任意的，使得网络可用于多尺度训练
总结
尽管相比于RCNN，SPP Net提高了精度和速度，但是仍然是分开训练多个模型，模型训练难度大且繁杂。
尽管比RCNN快10-100倍，但仍然很慢
SPP Net无法更新空间金字塔池化层以下的权重，根本原因是，当每个训练样本来自不同影像时，通过SPP层的反向传播效率很低
