无需标注即可训练,自监督学习框架实现大量未标注毫米波雷达数据预训练自动驾驶感知任务

Abstract

由于雷达(radar)在雾天和恶劣天气下的操作能力,自动驾驶车辆使用雷达进行感知引起了越来越多的研究兴趣。然而,训练雷达模型受到大规模雷达数据注释的成本和难度的阻碍。为了克服这一瓶颈,我们提出了一种自监督学习框架,以利用大量未标注的雷达数据,预训练用于自动驾驶感知任务的雷达嵌入。所提出的方法结合了雷达与雷达之间以及雷达与视觉之间的对比损失,从未标注的雷达热图与对应的摄像头图像配对中学习一般表示。在用于后续的目标检测任务时,我们证明了该自监督框架可以将最先进的监督基线的准确性提高5.8%的mAP。

代码可在https://github.com/yiduohao/Radical获取。

Introduction

毫米波(mmWave)雷达因其成本效益高以及在相机和激光雷达在雾霾、烟雾、暴风雪和沙尘暴等恶劣天气条件下失效时仍能正常工作的能力而在自动驾驶汽车行业中受到越来越多的关注。因此,学术界和工业界都投入了大量工作,开发基于雷达信号的语义场景理解的数据驱动方法。此外,标准商用汽车雷达的出现使得实际部署和大规模数据收集活动成为可能。
在本文中,我们旨在利用大规模未标注的雷达数据,但避开显式注释的复杂性。我们提出了一种自监督学习方法,该方法使用联合嵌入架构,通过从视觉和雷达自身中提取的蒸馏信息预训练雷达目标检测器。在我们的跨模态和内部模态目标下的学习发生在互信息层面,而不是像先前的工作那样明确地注释雷达数据。
据我们所知,这是首个在自动驾驶领域中利用自监督学习来利用大量未标注雷达数据并实现仅使用雷达进行二维边界框检测的工作。我们的发现可能在生成预训练模型方面起关键作用,避免了对大量雷达数据进行注释的需求,并使在新雷达硬件和数据集上的终身学习成为可能。

Method

本文的主要目标是以自监督的方式在大规模数据上预训练雷达骨干网络。学习到的雷达嵌入可以用于各种下游任务。为了实现这一目标,我们构建了一个SSL(自监督学习)框架,该框架既使用独立的雷达数据,也使用雷达-视觉配对数据。具体来说,我们的Radical网络实现了一个由两部分组成的SSL损失:(a)内部模态和(b)跨模态。

1.内部模态雷达学习

为了增强雷达嵌入的辨别能力和鲁棒性,本文设计了一套数据增强方法,并制定了一个内部雷达实例辨别学习问题。具体来说,如图2的雷达分支所示,对于每个雷达数据点,我们随机获得两个通过变换产生的正视图,并对这些正视图进行编码、投影和归一化。然后,我们使用一个小批量,计算编码后的正视图相对于从小批量中提取的一组负视图的对比损失。

图片

2.跨模态雷达-视觉学习

如图2所示,跨模态学习在一个联合嵌入架构内使用雷达和视觉。在这个架构中,预训练的视觉模型教雷达模型如何感知和特征化环境。视觉捕捉到车辆前方场景的视觉特征,而雷达数据则被预处理为二维距离-方位热图,从鸟瞰视角(BEV)表示场景。尽管雷达和视觉在不同的坐标系统中操作,它们的嵌入仍然通过对比损失进行对齐。为了实现跨模态学习,我们首先获得一个作为平均值的原型雷达向量,并对相应的视觉样本进行编码和归一化。我们通过实验证明,在冻结的视觉分支中省略MLP投影头,同时在雷达编码器后保留一个投影器是有益的。

3.数据增强方法以用于内模态和跨模态学习中

一套完整的数据增强方法对我们的Radical框架至关重要。接下来,我们将这些增强方法用于内部模态和跨模态学习中。图3展示了我们在Radical中使用的所有增强方法的直观示例。

图片

3.1 重新调整视力增强功能

我们在不同的视觉增强方法及其组合上进行了广泛的实验。我们发现水平翻转、旋转和中心裁剪也适用于雷达热图。需要注意的是,对于坐标为极坐标的雷达热图,旋转和中心裁剪应在极坐标系中进行,如图3所示。

3.2 雷达特定的数据增强

除了重新利用的视觉增强子集外,我们还引入并实验了一种新的特定领域的雷达自监督学习(SSL)增强方法,称为雷达MIMO掩(RMM)。我们简要解释了在应用RMM之前如何处理原始数据。

RMM的实现: 在相关工作中,常见的雷达格式有:距离-方位热图、点云或距离-多普勒图。不同的是,Radical使用中间的三维张量来应用RMM增强方法。

天线弃用:我们利用MIMO雷达虚拟阵列的可重构性来设计这一雷达特定的增强方法。在后续信号聚合中,我们随机省略一部分虚拟天线元素。

随机相位噪声:此增强方法在信号聚合之前随机化接收到的(复数)信号的相位。

Experments

图片

图片

图片

图片

图片

图片

图片

图片

总结

本文通过引入Radical来解决这些挑战,这是一个基于雷达的目标检测系统,通过在预训练雷达嵌入的基础上进行微调,能够精确地从雷达数据中估计目标的边界框,例如在雪暴中当视觉和激光雷达失效时。本文的贡献可以总结为三点:

• 首先,本文提出了一种新的对比学习框架,利用雷达热图和视觉数据。它结合了跨模态(雷达到视觉)和内模态(雷达内部)对比损失项。跨模态项使我们能够从视觉中提取先验信息,如自动驾驶环境中的目标语义,而内模态项则帮助我们提取雷达结构中的先验信息,如稀疏性和反射特性。

• 其次,本文引入了一种新颖的增强技术RMM(雷达MIMO掩模),专为最先进的汽车雷达设计。RMM利用了这些雷达采用MIMO技术的特点,即多发射器和多接收器的组合。我们通过操纵来自不同发射器/接收器对的原始信号,生成新的增强雷达热图。这种增强技术保留了场景的几何结构,同时模拟了由多普勒相位扭曲引起的雷达噪声。

• 第三,本文进行了广泛的评估,并展示了在仅使用雷达进行2D边界框检测方面的显著改进。具体来说,我们的结果显示,与监督学习相比,Radical在汽车检测的平均精度(mAP)指标上提高了5.8%

引用CVPR2024文章:

Bootstrapping Autonomous Driving Radars with Self-Supervised Learning
 

关注我的公众号auto_driver_ai(Ai fighting), 第一时间获取更新内容。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/46793.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python pandas处理股票量化数据:笔记4

更新日线数据到最新日期,下面是深发展(平安银行)更新到20240715以后的stock_daily表。因为积分不够,无法下载tushare.pro接口的通用复权行情数据,只能使用旧的日线数据接口pro.daily,下载的数据没有日线复权…

驱动开发系列04-中断处理

目录 一:概述 二:启用中断 三:注册中断处理程序 四:自动检测中断号 五:快中断与慢中断 六:中断处理程序 七:处理参数和返回值 八:禁用中断 九:上半部和下半部 Tasklets Workqueues 十:共享中断 一:概述 虽然有时候只需使用I/O端口就能控制设备了,但大多…

事务失效的几种情况

一、事务管理的基本概念 事务有四个重要特性,称为ACID特性: Atomicity(原子性):事务中的所有操作要么全部完成,要么全部不完成。Consistency(一致性):事务完成后,数据要处于一致的状态Isolation(隔离性)&…

如何在电脑上演示手机上APP,远程排查移动端app问题

0序: 对接客户,给领导演示移动端产品,或者远程帮用户排查移动端产品的问题。都需要让别人能够看到自己在操作手机。 会议室可以使用投屏,但需要切换电脑和手机。 排查问题经常都是截图、或者手机上录制视频,十分繁琐…

Windows图形界面(GUI)-DLG-C/C++ - 滑动条(Trackbar)

公开视频 -> 链接点击跳转公开课程博客首页 -> ​​​​​​链接点击跳转博客主页 目录 滑动条(Trackbar) 使用场景 初始控件 控件消息 示例代码 滑动条(Trackbar) 使用场景 音量控制 亮度调节 视频播放进度控制 任何需要用户在特定范围内选择值的场景 初始控…

恶补,先验分布,后验分布 ,似然估计

恶补,打一遍增加印象 先验分布后验分布,似然估计 声明:仅记录个人学习,并无其他用途。 先验分布 后验分布, 似然估计 隔壁小哥的故事: 隔壁小哥要去15公里外的一个公园里玩,小哥可以选择步行…

【BUG】已解决:ModuleNotFoundError: No module named ‘PIL‘

已解决:ModuleNotFoundError: No module named ‘PIL‘ 目录 已解决:ModuleNotFoundError: No module named ‘PIL‘ 【常见模块错误】 错误原因: 解决办法: 欢迎来到英杰社区https://bbs.csdn.net/topics/617804998 欢迎来到我…

离散型随机变量为何不是左连续?

目录 离散型随机变量 引言 离散型随机变量的定义和性质是什么? 定义 性质 如何证明离散型随机变量的分布函数在每个可能取值处不具有左连续性? 离散型随机变量的阶梯状分布函数是如何影响其左连续性的? 在统计学中,有哪些方…

web前端面向对象面试25题

1 . 简述面向对象?主要特征是什么? 参考回答: 面向对象是一种对现实世界理解和抽象的方法,是计算机编程技术发展到一定阶段后的产物,是一种是软件开发方法面向对象主要有四大特性: 1、抽象 忽略一个主题中…

微信小程序-自定义组件生命周期

一.created 组件实例创建完毕调用。定义在lifetimes对象里。 不能在方法里面更改data对象里面的值,但是可以定义属性值。 lifetimes:{//不能给data设置值created(){this.testaaconsole.log("created") }}二. attached 模板解析完成挂载到页面。 可以更…

Gitee 使用教程1-SSH 公钥设置

一、生成 SSH 公钥 1、打开终端(Windows PowerShell 或 Git Bash),通过命令 ssh-keygen 生成 SSH Key: ssh-keygen -t ed25519 -C "Gitee SSH Key" 随后摁三次回车键(Enter) 2、查看生成的 SSH…

Carousel of Combinations

由圆排列的公式,不难有 C ( n , k ) ( k n ) k ! k C(n,k)(_k^n)\times \frac{k!}{k} C(n,k)(kn​)kk!​ 于是答案为 ∑ i 1 n ∑ j 1 i ( ( j i ) ⋅ ( j − 1 ) ! ) m o d j \sum_{i1}^{n}\sum_{j1}^{i}((_j^i)\cdot (j-1)!)mod\space j ∑i1n​∑j1i​((ji​…

React学习笔记(井字棋游戏)

本教程将引导你逐步实现一个简单的井字棋游戏,并且不需要你对 React 有任何了解。在此过程中你会学习到一些编写 React 程序的基本知识,完全理解它们可以让你对 React 有比较深入的理解。 教程分成以下几个部分: 配置 是一些准备工作。 概…

【Linux服务器Java环境搭建】010在linux中安装Redis,以及对Redis的配置与远程连接

系列文章目录 【Linux服务器Java环境搭建】 前言 好久没有更新博客了,今天下了班回到家,看到电脑桌上尘封已久的《Spring Boot应用开发实战》,翻开目录想起来之前写的系列【Linux服务器Java环境搭建】还未完结,那就继续吧&#…

实现异步天气数据获取与Spring缓存集成

你好呀,我是小邹。 在Web应用中,实时天气数据的获取是一个常见的需求,特别是在需要频繁更新天气信息的场景下,如旅游网站、天气应用或任何需要展示地理位置相关天气的应用。然而,频繁的外部API调用不仅会增加服务器的…

生成式AI的未来:对话的艺术与代理的实践

生成式 AI 的发展方向,是 Chat 还是 Agent? 随着生成式AI技术的不断进步,关于其未来发展方向的讨论也愈发激烈。究竟生成式AI的未来是在对话系统(Chat)中展现智慧,还是在自主代理(Agent&#x…

操作系统知识点详情-任务调度

本文目录 一、名词解释1. 调度器2. 优先级(1)优先级反转(2)优先级继承协议(3)优先天花板 3. 任务状态:新建、就绪、运行、阻塞、终止。4. 任务类型:计算密集型、I/O密集型5. 实时任务…

virsh命令使用笔记

远程查看 virsh -c qemutcp://root192.168.1.102:16510/system list --all 网络配置 virsh net-define net-name.xml 定义网络 virsh net-dumpxml net-name 当前网络xml virsh net-start net-name 启动网络 virsh net-autostart net-name 自启动网络 virsh net-destr…

HDU1011——Starship Troopers(树形DP),HDU1012——u Calculate e,HDU1013——Digital Roots

目录 HDU1011——Starship Troopers(树形DP) 题目描述 运行代码 代码思路 树形DP HDU1012——u Calculate e 题目描述 运行代码 代码思路 HDU1013——Digital Roots 题目描述 超时代码 改进后依旧超时代码 运行代码 代码思路 HDU1011——…

前端转base64格式的字体图标方法

1.将需要的字体图标包下载到本地 2.访问 transfonter.org 将字体图标转成base64格式 如 这样就可以和正常的字体图标一样使用了