自动驾驶3D目标检测综述(六)

停更了好久终于回来了(其实是因为博主去备考期末了hh)

这一篇接着(五)的第七章开始讲述第八章的内容。第八章主要介绍的是三维目标检测的高效标签。


目录

第八章 三维目标检测高效标签

一、域适应

(一)问题和挑战

(二)跨传感器域适应

(三)跨天气域适应

(四)模拟现实域适应

二、弱监督3D目标检测

(一)问题和挑战

(二)弱监督三维目标检测

三、半监督3D目标检测

(一)问题和挑战

(二)半监督三维目标检测

四、自监督3D目标检测

(一)问题和挑战

(二)自监督三维目标检测


第八章 三维目标检测高效标签

在这个章节里,我们介绍一些三维目标检测高效标签的方法。在前几个章节中,我们通常假设三维检测器是在全监督下进行训练的,且是在特定数据域和充足大量的上下文的情况下进行的。然而,在现实世界的应用中,三维目标检测方法不可避免地会遇到泛化能力差和缺少上下文的问题。为了解决这些问题,高效标签化的技术就能够应用于三维目标检测,包括三维目标检测的域适应(第一节)、弱监督学习(第二节)、半监督学习(第三节)和自监督学习(第四节)。我们将会在下面几个章节中介绍这些方法。

一、域适应

(一)问题和挑战

域间隙在数据收集过程中是普遍存在的。不同的传感器设置和放置,不同的地理位置以及不同的天气都有可能得到完全不同的数据域。在大部分情况中,在特定域中训练的三维目标检测器比在其他域中训练的检测器性能更差。人们提出了许多技术来解决三维目标检测中域适应的问题,比如采用源和目标域的一致性,以及在目标域中自训练。然而,大部分方法仅仅注重解决某个特定的域转换问题。设计一个域适应方法,这种方法可以应用于三维目标检测中任意一个域转换任务,这将是一个有前途的研究方向。三维目标检测域适应方法阐述图如下:

方法分类如下表:

(二)跨传感器域适应

不同的数据集有着不同的传感器设置,比如在nuScenes数据集上采用的32光束的激光雷达VS在KITTI数据集上采用的64光束的激光雷达, 并且数据也在不同的地理位置收集,比如KITTI数据集是在德国收集的,而Waymo是在美国收集的。这些因素都会导致不同数据集间产生严重的域间隙,并且在数据集上训练的检测器在其他数据集上测试时通常性能较差。Wang等人的一项开创性工作就是观察到了不同数据集之间的间隙,并且引入了一种统计归一化的方法来处理这些间隙。下面许多工作也都采用了自训练的方法解决域适应的问题。在这些方法中,在源数据集上预训练的检测器将为目标数据集引入伪标签,并且会在带有伪标签的目标数据集上重新训练。这些方法主要在获取更高质量的伪标签上做出了改进,比如Saltori提出了一种范围和检测策略,Yang引入了一种记忆库,Fruhwirth-Reisinger等人采用场景流应用,以及You等人采用重放来增强伪标签的质量。除了自训练方法,也存在一些论文在源和目标域之间建立对齐。域对齐通过规模意识和范围意识对齐策略(这是Zhang等人提出的),多级别一致性(Luo等人提出)以及对比性联合训练方案(Yihan等人提出)来建立。

除了数据集间的域间隙,不同的传感器之间也能够产生不同特征的数据。一个32光束的激光雷达能产生比64光束激光雷达更稀疏的点云,并且不同摄像机获取的图像也拥有不同的尺寸和内参。Rist等人提出了一种多任务学习模式来解决不同激光雷达传感器的域间隙,并且Gu提出了不变位置的转换来解决不同相机间的域间隙。

(三)跨天气域适应

天气状况对数据的收集也会造成巨大的影响。在雨天的时候,雨滴会改变目标表面特质以致于很少有激光雷达光束能够反射回来并检测到,所以在雨天收集的点云比在干燥天气下收集的点云更加稀疏。除了反射更少之外,下雨也会导致来自中空雨滴错误的正反射。Xu等人提出了跨天气域适应问题的一种新颖的语义点生成方案。

(四)模拟现实域适应

模拟数据已经被广泛应用于三维目标检测中,因为现实世界收集的数据并不能覆盖所有的驾驶场景。然而,合成数据与现实数据有着截然不同的特质,这也就导致了模拟现实域适应的问题。人们提出了许多方法来解决这个问题,例如Zhu等人提出的基于训练的GAN并引入一种对抗的鉴别器来区分现实和合成数据。

二、弱监督3D目标检测

(一)问题和挑战

现存的三维目标检测方法都高度依赖大量人工标签的三维边界框上的训练,但是给这些三维边界框添加注释是非常耗时费力和昂贵的。弱监督学习可能成为这个问题的一个解决方案,因为弱监督信号,例如更少昂贵的二维注释,已经被应用于三维目标检测模型中。若监督三维目标检测不需要那么多人工数据注释,但是在弱监督和全监督方法中仍存在不可忽视的性能间隙。弱监督三维目标检测方法阐述如下图:

(二)弱监督三维目标检测

弱监督方法采用弱监督而非全监督注释三维边界框来训练三维目标检测器。弱监督包括二维图像边界框,一个预训练的图像检测器,BEV目标中心和车辆实例。这些方法通常设计出新颖的学习机制来跳过三维框监督并通过从弱信号中最小化有用的信息来学习如何检测三维目标。

三、半监督3D目标检测

(一)问题和挑战

在现实世界应用中,数据注释需要的人力比数据收集更多。通常一个数据获取车一天之内能够收集十万多帧点云,然而一个熟练的人类注释者一天仅能注释一百到一千帧。这就不可避免的会导致大量增长的未标签化的数据。因此如何从大范围未标签的数据中最小化有用的信息就成为了研究界和工业界一个严峻的挑战。半监督学习是一个有希望的方向,它采用少部分标签化数据和大量未标签化的数据来联合训练一个更强大的模型。将半监督学习方法结合到三维目标检测中去能够增强检测性能。半监督三维目标检测方法阐述如下:

(二)半监督三维目标检测

半监督三维目标检测主要有两种方法:伪图像标签和教师-学生学习。伪图像标签方法(Caine等人提出)首先采用标签化的数据训练了一个三维目标检测器,然后使用三维检测器为那些未标签化的数据产生伪图像标签。最终,三维目标检测器在未标签化的域内用伪图像标签重新训练。教师-学硕方法(Zheng等人提出)在三维目标检测中采用平均教师训练范式。具体而言,一个教师检测器首先在标签化域中训练,然后通过鼓励两种检测模型间的输出一致性来指导学生检测器在未标签化域中训练。

四、自监督3D目标检测

(一)问题和挑战

自监督预训练已经成为一个强大的工具,当大量未标签化数据和限制性的标签数据存在时。在自监督学习中,模型首先在大范围的未标签化的数据中预训练,之后在标签化的数据集上微调以获得更好的性能。在自动驾驶场景中,三维目标检测的自监督预训练还未探索许多。现存方法仍尝试适应自监督方法,例如对比性学习,相对于三维目标检测问题,但是多模态数据中丰富的语义信息还未被很好地利用起来。如何在预训练高效三维目标检测器时有效处理这些原始点云和图像仍是一项开放性的挑战。自监督三维目标检测方法阐述如下:

(二)自监督三维目标检测

自监督方法通常将对比性学习技术应用到三维目标检测中。具体而言,输入点云首先转换成增强的两种视角,之后应用对比性学习来支持两种视角下相同三维位置的特征一致性。最终,采用对比学习预训练的三维检测器进一步在标签化数据集上微调以获得更好的性能。PointContrast(Xie等人提出)首次在三维目标检测中引入对比学习范式,并且以下文章中通过采用深度信息和聚合改进了这个范式。除了点云检测器的自监督学习,还有一些工作尝试为自监督三维检测同时采用点云和图像,例如Li提出了一种基于多模态输入的模型内和模型间的对比学习模式。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/65711.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机毕业设计hadoop+spark+hive图书推荐系统 豆瓣图书数据分析可视化大屏 豆瓣图书爬虫 知识图谱 图书大数据 大数据毕业设计 机器学习

温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 作者简介:Java领…

极品飞车6的游戏手柄设置

极品飞车,既可以用键盘来控制车辆的前进、后退、左转、右转、加速与减速,也可以使用游戏手柄来操作车辆的运行。需要注意的是,极品飞车虽然支持手柄,但是仅支持常见的北通、罗技还有部分Xbox系列的手柄,至于其他的PS4手…

【VBA】EXCEL - VBA 创建 Sheet 表的 6 种方法,以及注意事项

目录 1. 创建一个新工作表,并将其添加到工作簿的末尾 2. 创建一个新工作表,并命名它 3. 创建一个新工作表,并将其插入到指定位置 4. 检查是否已有同名工作表,避免重复创建 5. 创建多个工作表 6. 基于现有模板创建新工作表 …

html文件通过script标签引入外部js文件,但没正确加载的原因

移动端H5应用,html文件通过script标签引入外部js文件,但没正确加载,在移动设备上难以排查。通过PC浏览器打开,发现js被阻止了:blocked:mixed-content。 原因在于: “blocked:mixed - content” 是浏览器的…

虚拟机Centos下安装Mysql完整过程(图文详解)

目录 一. 准备工作 1. 设置虚拟机静态IP 2. 卸载Mysql 3. 给CentOS添加rpm源 二. 安装MySQL 1. 安装mysql服务 2. 启动mysql服务 3. 开启MySQL开机自启动 4. 查看mysql服务状态 5. 查看mysql初始密码 6. 登录mysql ,修改密码 7. 允许外部访问MySQL数据库…

ulimit命令与nginx的联系

华子目录 ulimit使用ulimit命令查看当前限制设置特定限制常用的资源类型临时和永久设置 ulimit与nginx的联系ulimit对Nginx的影响Nginx配置中的相关参数 ulimit 在Linux系统中,ulimit命令用于获取和设置用户级别的资源使用限制。这些限制可以控制诸如可以打开的文件…

初识具身智能

具身智能是智能科学的一个基础问题,在过去的5.4亿年以来,地球上所有生物都是通过身体和环境交互、进化逐步产生的。通俗地讲,具身智能体以第一人称视角身临其境地从环境交互中理解外部世界的本质概念,被认为是通向通用人工智能的重…

【机器人】机器人的数学模型:符号表示、位形空间、状态空间、工作空间

定义 机器人是一种可重复编程的多功能机械臂,他们通过可变程控运动来执行如移动材料、零件、工具或者特种设备等多种任务。 ——美国机器人协会(RIA) 1.1 机器人的数学模型 1.1.1 机器人的符号表示 机械臂:关节joint 连杆link …

VITUREMEIG | AR眼镜 算力增程

根据IDC发布的《2024年第三季度美国AR/VR市场报告》显示,美国市场AR/VR总出货量增长10.3%。其中,成立于2021年的VITURE增长速度令人惊艳,同比暴涨452.6%,成为历史上增长最快的AR/VR品牌。并在美国AR领域占据了超过50%的市场份额&a…

PY_11_01

前言 PY_11_01 抄就行了👻 一、代码步骤 抄就行了👻 def fact(n):if n1:return 1else:return n*fact(n-1)while True:minput(请输入一个正整数m:)if not m.isdigit() or int(m)0:print(输入错误,请重新输入!)else:mint(m)brea…

Richardson-Lucy (RL) 算法的卷积形式推导

Richardson-Lucy 算法从模糊图像中恢复原始图像。Richardson-Lucy 方法假设观测图像的噪声服从泊松分布,是一种极大似然估计方法。 1. 问题定义 假设我们有一个原始图像 f ( x , y ) f(x,y) f(x,y),通过一个已知的点扩散函数 h ( x , y ) h(x,y) h(x,y…

网线直连模式下,ubuntu虚拟机与zynq开发板互ping

目的:想要使用网线将windows网口与zynq开发板网口直连,可以实现通过nfs(network file system)挂载在ubuntu中的根文件系统,从而运行linux,方便linux的驱动开发。 参考文章: 领航者 ZYNQ 之嵌入式 Linux 开…

深入了解 Zookeeper:原理与应用(选举篇)

在上一篇关于 Zookeeper 的介绍中,我们知晓了它在分布式系统中的关键地位以及核心的工作原理框架。今天,重点来深入探究一下 Zookeeper 集群是如何实现领导者选举这一至关重要的环节的。 一、选举触发时机 集群启动时:当一个全新的 Zookeep…

金仓数据库对象访问权限的管理

基础知识 对象的分类 数据库的表、索引、视图、缺省值、规则、触发器等等,都称为数据库对象,对象分为如下两类: 模式(SCHEMA)对象:可以理解为一个存储目录,包含视图、索引、数据类型、函数和操作符等。非模式对象:其他的数据库对象&#x…

C++并发:线程管控

1 线程基本管控 每个C程序都含有至少一个线程,即运行main()的线程,它由C运行时系统启动。随后程序可以发起更多线程,它们以别的函数作为入口。这些新线程连同起始线程并发运行。当main()返回时,程序就会退出;同样&…

网络爬虫性能提升:requests.Session的会话持久化策略

网络爬虫面临的挑战 网络爬虫在运行过程中可能会遇到多种问题,包括但不限于: IP被封禁:频繁的请求可能会被网站的反爬虫机制识别,导致IP被封。请求效率低:每次请求都需要重新建立TCP连接,导致请求效率低下…

基于华为atlas的车辆车型车牌检测识别

整体分为2个部分,也就是2个模型,车辆检测、车型检测、车牌检测这3个功能是一个基于yolov5的模型实现,车牌识别是基于PaddleOCR中的PP-OCRv3的模型实现。 车辆检测数据集制作: 车辆检测、车型检测、车牌检测的数据集主要从coco数…

打破视障壁垒,百度文心快码无障碍版本助力视障IT从业者就业无“碍”

有AI无碍 钟科:被黑暗卡住的开发梦 提起视障群体的就业,绝大部分人可能只能想到盲人按摩。但你知道吗?视障人士也能写代码。 钟科,一个曾经“被黑暗困住”的人,他的世界,因为一场突如其来的疾病&#xff0c…

pytorch torch.utils.checkpoint模块介绍

torch.utils.checkpoint 是 PyTorch 中用于实现 梯度检查点(gradient checkpointing)的模块。它通过在反向传播中 重新计算 前向传播的某些部分,以显著减少激活值的显存占用。 梯度检查点的核心原理 在前向传播中,不是保存每一层的激活值,而是保存输入和部分中间结果。在…

Spring-AI讲解

Spring-AI langchain(python) langchain4j 官网: https://spring.io/projects/spring-ai#learn 整合chatgpt 前置准备 open-ai-key: https://api.xty.app/register?affPuZD https://xiaoai.plus/ https://eylink.cn/ 或者淘宝搜: open ai key魔法…