SiamBAN论文学习

SiameseBAN

  • 论文来源
  • 论文背景
    • 主要贡献
  • 论文分析
    • 网络框架
    • 创新点一:Box Adaptive Head
    • 创新点二:Ground-truth
    • 创新点三:Anchor Free
  • 论文流程
    • 训练部分:
    • 跟踪部分
  • 论文翻译
    • Abstract
    • 1. Introduction
    • 2. Related Works
    • 2.1. Siamese Network Based Visual Trackers
    • 2.2. Anchor-free Object Detectors
    • 3. SiamBAN Framework
    • 3.1. Siamese Network Backbone
    • 3.2. Box Adaptive Head
    • 3.3. Multi-level Prediction
    • 3.4. Ground-truth and Loss
    • 3.5. Training and Inference
    • 4. Experiments
    • 4.1. Implementation Details
    • 4.2. Comparison with State-of-the-art Trackers
    • 4.3. Ablation Study
    • 5. Conclusions

论文来源

论文来源:http://xxx.itp.ac.cn/pdf/2003.06761v2.pdf
开源项目:https://github.com/hqucv/siamban

参考文献:
SiamBAN详细分析,一看就懂!
[阅读笔记][CVPR2020][SiamBAN] Siamese Box Adaptive Network for Visua

论文背景

SiamBAN是今年CVPR中效果最好的跟踪器之一,研究它的原理更加能够很好的帮助我们掌握目前跟踪器发展的趋势。
SIamBAN,按照意思分析是孪生自适应框。“孪生”,说明该跟踪使用了Siamese网络架构;而“自适应框”,则是该跟踪器采用了anchor-free的策略,不预先设定anchor框的尺寸,使得框拥有更大强大的自由度。
通过分析论文和代码,我认为SiamBAN就是一个优化版的SiamRPN++,最大的创新点在于anchor-free的引用,去掉了预定义的anchor,从而使得模型整体的参数下降,使得速度得到进一步的提升。
对于SiamBAN的原理分析,我准备采用三个方面:网络框架、训练、跟踪。

主要贡献

  1. 新的框架:SiamBAN,实现使用深度卷积神经网络的end-to-end的离线训练
  2. anchor-free的架构,no-prior box的设计避免了与候选框相关的超参数,使跟踪器更加灵活和通用。
  3. 不仅达到了最先进的效果,并且在多个数据集达到40FPS(VOT2018,VOT2019,OTB100,NFS,UAV123,和 LaSOT)。

论文分析

网络框架

与SIamRPN++相似,或者说网络框架基本相同。不过不同点在于SiamBAN中引入了空洞卷积的原理,经过实验证明,空洞卷积能够增大感受野,提升跟踪性能。
SIamBAN的网络框架如下图所示:
在这里插入图片描述

创新点一:Box Adaptive Head

对于每一个分类图P cls w×h×2或回归图P reg w×h×4上的每个位置,我们可以将其映射到输入搜索patch。例如,与搜索片上的位置相对应的位置(i,j)为[⌊wim2⌋+(i-⌊w 2⌋)×s,他2⌋+(j−h 2⌋)× s](表示为(pi,pj)。wim和他代表输入搜索补丁的宽度和高度,s代表网络的总跨度),它是位置(i,j )。对于回归,基于锚的跟踪器[21、52、20]将位置(pi,pj)作为锚框的中心,然后回归位置(pi,pj),宽度aw和高度ah。也就是说,对于位置(i,j),回归可以调整其所有偏移值,但是分类仍然在原始位置执行,这可能导致分类和回归中的不一致性。因此,我们不调整位置(pi,pj),仅计算其到边界框的偏移值。另外,由于我们的回归目标是正实数,因此我们在回归模块的最后一级应用exp(x)将任何实数映射到(0,+∞)。

大概的理解是anchor-base的方法中对于特征图上的每一个位置(i,j),将其映射到搜索patch上为(pi,pj),回归分支中将这个位置作为anchor的中心去预测偏移量,这时候回归出来的结果已经改变了其中心位置,而分类分支依然在原始的中心位置进行,可能会导致分类和回归的不一致。

创新点二:Ground-truth

在这里插入图片描述
如果位置(pi,pj)落在椭圆E2内,则用正号标记,如果它落在椭圆E1以外,则为其分配负号,并且落在椭圆之间。 E2和E1,请忽略它。
在这里插入图片描述

创新点三:Anchor Free

在这里插入图片描述

论文流程

训练部分:

  1. 将搜索补丁和模板补丁输入对应的网络分支,在第4、5个卷积模块中添加空洞卷积,膨胀因子分别设置为2和4。
  2. 分别取出搜索分支和模板分支中第3、4、5卷积模块的卷积结果。为了减少计算量,作者只选取了模板分支卷积结果的7 × 7 区域。因为当输入补丁的尺寸为127 × 127,输出的特征图的尺寸为15 × 15,这时候选取[4:11]的区域,完全可以代表模板中选定的物体。
  3. 将相对应的卷积结果进行互相关操作。比如,搜索分支第3卷积模块的卷积结果应该与模板分支第3卷积模块的卷积结果进行互相关,其中模板分支的卷积结果作为卷积核。那么,最后获得了三份互相关的特征图。
  4. 将这三份互相关特征图合并为一张。SiamBAN在代码中使用的方法是取平均,即一个位置的三个值相加除以三。最后得到了一份互相关特征图。
  5. 实际上,当运行到第4步的时候,就可以发现其实网络运行就可以结束了。但是作者为了能够减少计算量, 将互相关图的维度减少到256.(neck)

跟踪部分

  1. 输入跟踪视频
  2. 划定需要跟踪的目标
  3. 跟踪器初始化(第一帧的处理)
    1. 截取模板补丁(方法与SiamRPN相同)
    2. 将模板补丁输入网络,得到第3、4、5层的卷积结果,并且对卷积结果进行处理(降维和模板特征图截取7x7区域)
  4. 进行跟踪
    1. 截取搜索补丁(方法与SiamRPN相同)
    2. 将搜索补丁输入网络,得到第3、4、5层的卷积结果
    3. 与模板补丁的三个卷积结果进行相关卷积,并且将得到的三个互相关特征图进行加权平均,得到分类特征图和偏差坐标图。
    4. 利用上述公式(回归训练中),将得到的偏差坐标图转换成多个预测框
    5. 施加平移惩罚和尺度惩罚,从多个预测框中获得最佳跟踪框,从而实现跟踪。

论文翻译

Abstract

在这里插入图片描述

1. Introduction

在这里插入图片描述

2. Related Works

在这里插入图片描述

2.1. Siamese Network Based Visual Trackers

在这里插入图片描述

2.2. Anchor-free Object Detectors

在这里插入图片描述

3. SiamBAN Framework

在这里插入图片描述

3.1. Siamese Network Backbone

在这里插入图片描述

3.2. Box Adaptive Head

在这里插入图片描述

3.3. Multi-level Prediction

在这里插入图片描述

3.4. Ground-truth and Loss

在这里插入图片描述

3.5. Training and Inference

在这里插入图片描述

4. Experiments

4.1. Implementation Details

在这里插入图片描述

4.2. Comparison with State-of-the-art Trackers

在这里插入图片描述

4.3. Ablation Study

在这里插入图片描述

5. Conclusions

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/389236.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

实现klib_使用klib加速数据清理和预处理

实现klibTL;DRThe klib package provides a number of very easily applicable functions with sensible default values that can be used on virtually any DataFrame to assess data quality, gain insight, perform cleaning operations and visualizations which results …

MMDetection修改代码无效

最近在打比赛,使用MMDetection框架,但是无论是Yolo修改类别还是更改head,代码运行后发现运行的是修改之前的代码。。。也就是说修改代码无效。。。 问题解决办法: MMDetection在首次运行后会把一部分运行核心放在anaconda的环境…

docker etcd

etcd是CoreOS团队于2013年6月发起的开源项目,它的目标是构建一个高可用的分布式键值(key-value)数据库,用于配置共享和服务发现 etcd内部采用raft协议作为一致性算法,etcd基于Go语言实现。 etcd作为服务发现系统,有以下的特点&…

SpringBoot简要

2019独角兽企业重金招聘Python工程师标准>>> 简化Spring应用开发的一个框架;      整个Spring技术栈的一个大整合;      J2EE开发的一站式解决方案;      自动配置:针对很多Spring应用程序常见的应用功能&…

简明易懂的c#入门指南_统计假设检验的简明指南

简明易懂的c#入门指南介绍 (Introduction) One of the main applications of frequentist statistics is the comparison of sample means and variances between one or more groups, known as statistical hypothesis testing. A statistic is a summarized/compressed proba…

Torch.distributed.elastic 关于 pytorch 不稳定

错误日志: Epoch: [229] Total time: 0:17:21 Test: [ 0/49] eta: 0:05:00 loss: 1.7994 (1.7994) acc1: 78.0822 (78.0822) acc5: 95.2055 (95.2055) time: 6.1368 data: 5.9411 max mem: 10624 WARNING:torch.distributed.elastic.agent.server.api:Rec…

0x22 迭代加深

poj2248 真是个新套路。还有套路剪枝...大到小和判重 #include<cstdio> #include<iostream> #include<cstring> #include<cstdlib> #include<algorithm> #include<cmath> #include<bitset> using namespace std;int n,D,x[110];bool…

云原生全球最大峰会之一KubeCon首登中国 Kubernetes将如何再演进?

雷锋网消息&#xff0c;11月14日&#xff0c;由CNCF发起的云原生领域全球最大的峰会之一KubeConCloudNativeCon首次登陆中国&#xff0c;中国已经成为云原生领域一股强大力量&#xff0c;并且还在不断成长。 毫无疑问&#xff0c;Kubernetes已经成为容器编排事实标准&#xff…

分布分析和分组分析_如何通过群组分析对用户进行分组并获得可行的见解

分布分析和分组分析数据分析 (DATA ANALYSIS) Being a regular at a restaurant is great.乙 eing定期在餐厅是伟大的。 When I started university, my dad told me I should find a restaurant I really liked and eat there every month with some friends. Becoming a reg…

python 工具箱_Python交易工具箱:通过指标子图增强图表

python 工具箱交易工具箱 (trading-toolbox) After a several months-long hiatus, I can finally resume posting to the Trading Toolbox Series. We started this series by learning how to plot indicators (specifically: moving averages) on the top of a price chart.…

PDA端的数据库一般采用的是sqlce数据库

PDA端的数据库一般采用的是sqlce数据库,这样与PC端的sql2000中的数据同步就变成了一个问题,如在PDA端处理,PDA端的内存,CPU等都是一个制约因素,其次他们的一个连接稳定及其间的数据传输也是一个难点.本例中通过在PC端的转化后再复制到PDA上面,这样,上面所有的问题都得到了一个有…

bzoj 1016 [JSOI2008]最小生成树计数——matrix tree(相同权值的边为阶段缩点)(码力)...

题目&#xff1a;https://www.lydsy.com/JudgeOnline/problem.php?id1016 就是缩点&#xff0c;每次相同权值的边构成的联通块求一下matrix tree。注意gauss里的编号应该是从1到...的连续的。 学习了一个TJ。用了vector。自己曾写过一个只能过样例的。都放上来吧。 路径压缩的…

商米

2019独角兽企业重金招聘Python工程师标准>>> 今天看了一下商米的官网&#xff0c;发现他家的东西还真的是不错。有钱了&#xff0c;想去体验一下。 如果我妹妹还有开便利店的话&#xff0c;我会推荐他用这个。小巧便捷&#xff0c;非常方便。 转载于:https://my.osc…

python交互式和文件式_使用Python创建和自动化交互式仪表盘

python交互式和文件式In this tutorial, I will be creating an automated, interactive dashboard of Texas COVID-19 case count by county using python with the help of selenium, pandas, dash, and plotly. I am assuming the reader has some familiarity with python,…

不可不说的Java“锁”事

2019独角兽企业重金招聘Python工程师标准>>> 前言 Java提供了种类丰富的锁&#xff0c;每种锁因其特性的不同&#xff0c;在适当的场景下能够展现出非常高的效率。本文旨在对锁相关源码&#xff08;本文中的源码来自JDK 8&#xff09;、使用场景进行举例&#xff0c…

数据可视化 信息可视化_可视化数据以帮助清理数据

数据可视化 信息可视化The role of a data scientists involves retrieving hidden relationships between massive amounts of structured or unstructured data in the aim to reach or adjust certain business criteria. In recent times this role’s importance has been…

seaborn添加数据标签_常见Seaborn图的数据标签快速指南

seaborn添加数据标签In the course of my data exploration adventures, I find myself looking at such plots (below), which is great for observing trend but it makes it difficult to make out where and what each data point is.在进行数据探索的过程中&#xff0c;我…

使用python pandas dataframe学习数据分析

⚠️ Note — This post is a part of Learning data analysis with python series. If you haven’t read the first post, some of the content won’t make sense. Check it out here.Note️ 注意 -这篇文章是使用python系列学习数据分析的一部分。 如果您还没有阅读第一篇文…

无向图g的邻接矩阵一定是_矩阵是图

无向图g的邻接矩阵一定是To study structure,tear away all flesh soonly the bone shows.要研究结构&#xff0c;请尽快撕掉骨头上所有的肉。 Linear algebra. Graph theory. If you are a data scientist, you have encountered both of these fields in your study or work …

前端绘制绘制图表_绘制我的文学风景

前端绘制绘制图表Back when I was a kid, I used to read A LOT of books. Then, over the last couple of years, movies and TV series somehow stole the thunder, and with it, my attention. I did read a few odd books here and there, but not with the same ferocity …