CVPR2023新作:3D视频物体检测

  1. Title: 3D Video Object Detection With Learnable Object-Centric Global Optimization

  2. Affiliation: 中国科学院自动化研究所 (Institute of Automation, Chinese Academy of Sciences),中国科学院大学人工智能学院 (School of Artificial Intelligence, University of Chinese Academy of Sciences),香港中文大学人工智能与机器人中心 (Centre for Artificial Intelligence and Robotics, HKISI CAS),TuSimple

  3. Authors: Jiawei He, Yuntao Chen, Naiyan Wang, Zhaoxiang Zhang

  4. Keywords: 3D video object detection, correspondence-based optimization, object-centric, bundle adjustment

  5. Summary:

  • (1): 本文研究的是3D视频物体检测,探索长期时间上的视觉对应优化。而对于运动物体的检测,基于对应的优化在3D场景重建时很少被研究,因为移动的物体违反了多视角几何约束,被视为离群值。本文有针对地解决了这个问题,突破了现有方法的局限性,做到了对 静态物体和动态物体的统一处理。

  • (2): 目前的 3D视频物体检测方法可分为三类。第一类采用对象跟踪,但这种方法只是将检测的结果进行光滑处理,没有利用视频丰富的暗示信息。 第二类是采用了包括对 BEV (Bird’s- Eye View) ,multi-frame temporal cross-attention等技术的综合性方案,但同样忽略了显式的时间上的对应关系。第三类是从 stereo-from-video角度出发进行研究,但还是没有考虑相对于时间较长的情况。本文提出的方法不仅突破了上述方法的局限性,而且创新性地解决了运动物体和静止物体的处理问题,使得这个方法更加具有普适性和鲁棒性。

  • (3): 本文提出了一个端到端的优化目标检测器BA-Det,它实现了可学习的物体中心时空对应关系和特征度量型物体绑定调整,针对动态物体和静态物体对应关系引入了不同的约束。此外,该算法的优化是一个非线性最小二乘优化问题,可以使得模型非常适合于对应在大规模的数据集上进行训练。

  • (4): 在大量的实验中,BA-Det算法的成功应用使得其在相应的3D检测任务上取得了最先进的水平,并且在瓶颈部位的时间、空间参数提升也非常显著。相比较于其他方法,BA-Det在计算资源上的开销较低,因此具有一定的推广价值。

  1. Methods:
  • (1): 本文提出一种名为BA-Det的端到端物体优化检测器,可用于3D视频物体检测问题。该方法主要包括两个可学习组件:物体中心时空对应关系和特征度量型物体绑定调整。针对动态物体和静态物体对应关系引入了不同的约束,并将其结合在一个非线性最小二乘优化问题中。该算法能够通过对全局优化和局部细节校准相结合,实现对于视频中物体3D位置估计的精准检测。

  • (2): 本文方法主要解决了运动物体检测问题,对于长时间的视觉对应优化在3D场景重建中采用对象跟踪,并放弃了这种做法对于动态物体的处理。采用了对 BEV、multi-frame temporal cross-attention等技术的综合性方案,但同样忽略了显式的时间上的对应关系。因此,本文方法中创新地引入了物体中心的概念,建立物体中心和物体外框之间的对应关系,并将此问题转化为一个优化问题来解决。

  • (3): 在实验中,本文将其方法与多个先进的3D视频物体检测算法进行比较。结果表明,BA-Det算法具有更好的性能,不仅可以检测静态物体,而且可以处理动态物体,并在3D检测任务上取得了最先进的水平。在计算资源上的开销也较低,因此具有一定的推广价值。

  1. Conclusion:
  • (1): 本研究提出了一种具有长期时间上的视觉对应优化的3D视频物体检测方法——BA-Det,并取得了很好的效果。此方法突破了现有方法的局限性,同时能有效地处理静态物体和动态物体。

  • (2): 创新点:BA-Det算法创新性地引入物体中心的概念,建立物体中心和物体外框之间的对应关系,从而有效解决运动物体检测问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/9058.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

网络安全合规与标准的主要发展方向

网络安全合规就是避免违反网络安全有关的法律、法规、规章、合同义务以及任何安全要求,标准在网络安全合规工作中扮演着重要的角色。 一、标准在网络安全合规体系中的地位作用 网络安全合规体系包括网络安全有关的法律、法规、规章、其他规范性文件、及合同义务等…

详细解析黑马微信小程序视频--【思维导图知识范围】

语言视频选择收录专辑链接C张雪峰推荐选择了计算机专业之后-在大学期间卷起来-【大学生活篇】JAVA黑马B站视频JAVA部分的知识范围、学习步骤详解JAVAWEB黑马B站视频JAVAWEB部分的知识范围、学习步骤详解SpringBootSpringBoot知识范围-学习步骤【JSB系列之000】微信小程序详细解…

《深度解析Docker与微服务架构:构建灵活可扩展的现代应用》

🌷🍁 博主 libin9iOak带您 Go to New World.✨🍁 🦄 个人主页——libin9iOak的博客🎐 🐳 《面试题大全》 文章图文并茂🦕生动形象🦖简单易学!欢迎大家来踩踩~&#x1f33…

通过 API 远程管理 Jenkins

目录 前言: 背景介绍 Jenkins Remote API 的简介 Jenkins Remote API 的调用 Read More ... 前言: Jenkins 是一种开源的持续集成工具,可以帮助我们更加方便地进行软件开发和测试工作。通过 API 远程管理 Jenkins 可以帮助我们更加方便…

在家下载论文使用哪些论文下载工具比较好

在家下载论文如果不借助论文下载工具是非常艰难的事情,因为很多查找下载论文的数据库都是需要账号权限才可使用的。 例如,我们查找中文论文常用的知网、万方等数据库以及众多国外论文数据库。 在家下载知网、万方数据库论文可用下面的方法:…

SpringCloudAlibaba微服务实战系列(三)Sentinel1.8.0+流控

SpringCloudAlibaba–Sentinel Sentinel被称为分布式系统的流量防卫兵,是阿里开源流量框架,从服务限流、降级、熔断等多个纬度保护服务。Sentinel同时提供了简洁易用的控制台,可以看到接入应用的秒级数据,并可以在控制台设置一些…

【Java】微服务负载均衡算法实现

前言 本篇实现一下分布式中负载均衡的实现策略,以及负载均衡算法是如何实现的。 什么是负载均衡? Java负载均衡是指在多台服务器之间分配负载,以提高服务器的性能和可用性。它通过将请求分发到多台服务器来减少单个服务器的压力&#xff0…

Guitar Pro8吉他谱制作软件好不好用?

吉他谱是学习和演奏吉他的重要工具之一,对于吉他爱好者而言,掌握一款优秀的吉他谱制作软件是必不可少的。随着科技的进步,现在有许多吉他谱制作软件可供选择。下面我们就来看吉他谱制作软件哪个好,以及怎么制作吉他谱子吧&#xf…

ELK之zookeeper

ELK之zookeeper 一、Zookeeper是什么?1、Zookeeper服务集群的条件2、Zookeeper工作机制3、Zookeeper数据结构4、Zookeper特点5、Zookeeper选举机制5.1 第一次启动选举机制5.2 非第一次启动选举机制5.3 总结 6、Zookeeper应用场景 二、Zookeeper集群部署1、环境部署1…

【OpenGL学习】之着色器GLSL基础

基本类型: 类型说明void空类型,即不返回任何值bool布尔类型 true,falseint带符号的整数 signed integerfloat带符号的浮点数 floating scalarvec2, vec3, vec4n维浮点数向量 n-component floating point vectorbvec2, bvec3, bvec4n维布尔向量 Boolean vectorivec2, ivec3, iv…

Python 使用http时间同步设置系统时间源码

Python方式实现使用http时间同步设置系统时间源码,系统环境是ubuntu 12.04、Python2.7版本。需要使用到time、os及httplib方法。 Python使用http时间同步设置系统时间,源码如下: #-*-coding:utf8 -*- import httplib as client import time…

005.PADS VX2.4自定义快捷键设置及修改

005.PADS VX2.4自定义快捷键设置及修改 若部分快捷键不符合操作习惯或者部分功能系统未设置快捷键,可自定义快捷键功能,自定义快捷键功能需要注意设置的按键需要与无模命令区分,以免与无模命令冲突;如若需要修改某个快捷功能&…

web之标签元素转换成图片、a标签元素下载图片、获取浏览器窗口名称、重命名、元素定位、旋转、拉伸文字、文字向心对齐

文章目录 准备htmlJavaScript 准备 NPM下载指令 npm install dom-to-image框架加载 /* in ES 6 */ import domtoimage from dom-to-image;/* in ES 5 */ var domtoimage require(dom-to-image);CDN(标签)加载 案例 <script src"dist/dom-to-image.min.js">&l…

年轻小伙爆肝ARST

关于 ARTS 的释义 —— 每周完成一个 ARTS&#xff1a; ⭐️● Algorithm: 每周至少做一个 LeetCode 的算法题 ⭐️● Review: 阅读并点评至少一篇技术文章 ⭐️● Tips: 学习至少一个技术技巧 ⭐️● Share: 分享一篇有观点和思考的技术文章 希望通过此次活动能聚集一波热爱技…

移动端商品详情页设计

效果图 代码如下 页面设计 <div class"container"><!--商品详情 start--><van-image class"goods-item-image" :src"goods.goodsHeadImg"></van-image><div class"goods-price">&#xffe5;<span&…

Docker consul容器服务更新与发现

Docker consul容器服务更新与发现 一、什么事服务注册与发现二、什么是consul三、consul部署1、consul服务器2、registrator服务器3、consul-template 一、什么事服务注册与发现 服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的&#xff0c;不保障高可…

ROS-Moveit机械臂追踪二维码(四)

ROS-Moveit机械臂追踪二维码(四) 在仿真环境增加相机 <gazebo reference"camera_depth_frame"><sensor name"camera1" type"depth"><always_on>true</always_on><update_rate>20.0</update_rate><came…

KnowStreaming系列教程第二篇——项目整体架构分析

一、KS项目代码结构&#xff1a; ks项目代码结构如上&#xff1a; (1)km-console 是前端部分&#xff0c;基于React开发 (2)km-rest 是后端部分&#xff0c;主要是接受前端请求&#xff0c;对应controller相关代码所在模块 (3)km-biz:业务逻辑处理 (4)km-core:核心逻辑 (5…

(学习笔记-IP)IP协议相关技术

DNS 我们在上网的时候&#xff0c;通常使用的方式是域名&#xff0c;而不是IP地址&#xff0c;因为域名方便人类记忆。 那么实现这一技术的就是DNS域名解析器&#xff0c;DNS可以将域名网址自动转换为具体的IP地址。 域名的层级关系 DNS中的域名都是用句点来分隔的&#xff0…

srs 使用方法

SRS流媒体服务器测试总结 一.部署环境CentOS7 2.下载源码 a)git clone -b 4.0release https://gitee.com/ossrs/srs.git 3.编译SRS a)cd srs/trunk b)./configure c)make 4.启动服务器 a)./objs/srs -c conf/rtmp2rtc.conf 5.停止服务器 a)./etc/init.d/srs stop b)若控制台…