论文阅读《Neural Map Prior for Autonomous Driving》

目录

  • 摘要
  • 1 介绍
  • 2 相关工作

摘要

高精(HD)语义地图对于在城市环境中行驶的自动驾驶汽车至关重要。传统的离线高精地图是通过劳动密集型的手动标注创建的,不仅成本高昂,而且无法及时更新。最近,研究人员提出根据在线传感器观测来推断局部地图;然而,这种方法受到传感器感知范围的限制,并且容易受到遮挡。在这项工作中,我们提出了神经地图先验(NMP),一种全局地图的神经表示,有助于自动更新全局地图并提高局部地图推理性能。为了将强地图先验纳入局部地图推理,我们采用交叉注意力来动态捕捉当前特征和先验特征之间的相关性。为了先更新全局神经地图先验,我们使用基于学习的融合模块来引导网络融合以前遍历的特征。这种设计使得网络能够在连续的在线地图预测过程中预先捕获全局神经地图先验。在nuScenes数据集上的实验结果表明,我们的框架与各种地图分割和检测架构高度兼容,并且显著增强了地图预测性能,即使在恶劣的天气条件下和更长的时间范围内也是如此。据我们所知,这是第一个基于学习的预先构建全局地图先验的系统。

1 介绍

自动驾驶汽车需要高精(HD)语义地图来准确预测其他车辆的未来轨迹并安全行驶在城市街道上。然而,大多数自动驾驶汽车依赖于劳动密集型且昂贵的预先标注的离线高精地图,这些地图是通过复杂的流程构建的,涉及使用测绘车辆进行激光雷达扫描、全局点云对齐和手动地图元素标注。这些离线地图解决方案虽然精度较高,但是可扩展性有限,不支持路况发生变化时的及时​​更新。因此,自动驾驶汽车可能会依赖过时的地图,对驾驶安全产生负面影响。最近的研究探索了使用车载传感器观测数据(例如相机图像和LiDAR点云)学习高精语义地图的替代方法。这些方法通常使用深度学习技术来实时推断地图元素,解决与离线地图相关的地图更新问题。然而,推断地图的质量通常不如预先构建的全局地图,并且在恶劣的天气条件和遮挡情况下可能会进一步恶化。不同语义地图构建方法的比较如图1所示。

在这里插入图片描述
图1 语义地图构建方法的比较。传统的离线语义建图管道(第一行)涉及复杂的手动标注管道,并且不支持及时的地图更新。在线高精语义地图学习方法(第二行)完全依赖于车载传感器观测,容易受到遮挡。我们提出了神经地图先验(NMP,第三行),这是全局地图的创新神经表示,旨在帮助车载地图预测。随着NMP不断整合来自自动驾驶汽车的最新观测结果,它也会逐步更新。

在这项工作中,我们提出了神经地图先验(NMP),这是一种结合了两全其美优势的新型混合建图解决方案。NMP利用神经表征来预先构建和更新全局地图,从而提高自动驾驶汽车的地图推理性能。NMP过程包括两个主要步骤:全局地图先验更新和局部地图推理。全局地图先验是一种稀疏平铺的神经表征,每个平铺对应一个特定的现实世界位置。它是通过汇总自动驾驶汽车车队的数据而自动开发的。然后,机载传感器数据和全局地图先验被集成到局部地图推理过程中,随后完善地图先验。这些程序通过反馈回路相互关联,随着每天从道路上行驶的大量车辆收集到越来越多的数据,反馈回路也变得越来越强大。图2显示了一个示例。

从技术上讲,全局神经图先验被定义为从空状态初始化的稀疏图块。对于自动驾驶汽车的每次在线观察,神经网络编码器首先提取局部鸟瞰图(BEV)特征。然后使用从全局NMP地图tile推导的相应BEV先验特征来细化这些特征。改进的BEV特征使我们能够推断局部语义图并更新全局NMP。当车辆穿越各个场景时,局部地图推理阶段和全局地图先验更新步骤相互加强,提高了预测的局部语义地图的质量,并保持了更完整和最新的全局NMP。

我们证明NMP可以轻松应用于各种最先进的高精语义地图学习方法,以提高准确性。在公共nuScenes数据集上进行的实验表明,通过将NMP与尖端地图学习技术相结合,我们的流程可将HDMapNet的性能提高+4.32mIoU、LSS的性能提高+5.02mIoU、BEVFormer的性能提高+5.50 mIoU,并将VectorMapNet的性能提高+3.90mAP。

总而言之,我们的贡献如下:

  1. 我们提出了一种名为“神经地图先验”的新型建图范式,它结合了离线全局地图维护和在线局部地图推理,而局部推理仅需要与以前的单帧系统类似的计算和内存资源。
  2. 我们提出了简单有效的当前到先验注意力和GRU模块,以适应主流的高精语义地图学习方法,并提升其地图预测结果。
  3. 我们对nuScenes数据集上不同地图元素和四种地图分割/检测架构的方法进行了评估,并展示了显著且一致的改进。此外,我们的研究结果还表明,在恶劣天气条件和扩大感知范围等挑战性情况下取得了显著进展。

2 相关工作

基于激光雷达SLAM的建图方式。 自动驾驶系统需要了解道路地图元素,包括车道、人行横道和交通标志,才能在世界范围内行驶。此类地图元素通常由现有管道中预先标注的高精(HD)语义地图提供。当前大多数的高精语义地图都是在激光雷达点云上手动或半自动标注而来的,这些点云是从配备高端GPS和IMU的测绘车收集的激光雷达扫描合并而来的。SLAM算法是将激光雷达扫描融合为高精度和一致的点云的最常用算法。首先,为了匹配两个邻近时间戳的激光雷达数据,采用成对对齐算法,例如ICP、NDT及其变体,使用语义或几何信息。其次,准确估计自身车辆的姿态对于构建全局一致的地图至关重要,并且可以表述为非线性最小二乘问题或因子图。杨等人提出了一种在成对对齐因子约束下基于位姿图优化的城市地图重建方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/60933.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络 (5)数据通信的基础知识

前言 数据通信是一种以信息处理技术和计算机技术为基础的通信方式,它通过数据通信系统将数据以某种信号方式从一处传送到另一处,为计算机网络的应用和发展提供了技术支持和可靠的通信环境,是现代通信技术的关键部分。 一、数据通信的基本概念…

【项目开发】分析六种常用软件架构

未经许可,不得转载。 文章目录 软件架构核心内容设计原则分层架构常见层次划分优缺点应用场景事件驱动架构核心组件优缺点应用场景微核架构核心概念优缺点应用场景微服务架构核心组件设计与实施优缺点应用场景云架构云架构模式优缺点应用场景软件架构 软件架构是指一个软件系…

二分搜索的三种方法

首先总的说一下二分搜索。如果区间具有二分性,这个二分性不仅仅是指区间是有序的,而是我们可以通过某一种性质将整个区间分成左区间和右区间。我们通过二分的方法去不断缩小查找的区间,最终让区间内没有元素,这个时候的我们就得到…

C++- 基于多设计模式下的同步异步日志系统

第一个项目:13万字,带源代码和详细步骤 目录 第一个项目:13万字,带源代码和详细步骤 1. 项目介绍 2. 核心技术 3. 日志系统介绍 3.1 为什么需要⽇志系统 3.2 ⽇志系统技术实现 3.2.1 同步写⽇志 3.2.2 异步写⽇志 4.知识点和单词补充 4.1单词补充 4.2知识点补充…

Kubernetes 魔法棒:kubeadm 一键部署的奇妙之旅

《Kubernetes 魔法棒:kubeadm 一键部署的奇妙之旅》 在 Kubernetes 的世界里,kubeadm 就像是一把神奇的钥匙,能够轻松实现 Kubernetes 集群的一键部署。本节我们详细了解下Kubernetes 一键部署利器:kubeadm。 一、什么是 kubeadm? kubeadm 是一个用于快速搭建 Kubernet…

Python习题 250:删除空文件夹

(编码题)编写一段 Python 代码,删除指定目录的空文件夹。 参考答案: 使用 pathlib 库可以更简洁地处理文件路径。下面是一个使用 pathlib 库递归删除空文件夹的 Python 代码:from pathlib import Pathdef remove_empty_dirs(directory):# 遍历目录及其子目录for path in…

element plus的表格内容自动滚动

<el-table:data"tableData"ref"tableRef"borderstyle"width: 100%"height"150"><el-table-column prop"date" label"名称" width"250" /><el-table-column prop"name" label&…

丹摩征文活动 |【前端开发】HTML+CSS+JavaScript前端三剑客的基础知识体系了解

前言 &#x1f31f;&#x1f31f;本期讲解关于HTMLCSSJavaScript的基础知识&#xff0c;小编带领大家简单过一遍~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 …

ComfyUI-image2video模型部署教程

一、介绍 本项目基于ComfyUI进行部署&#xff0c;在上面可以简单实现图片到视频的效果。也就是可以通过给定一张图片&#xff0c;实现的功能是图片动起来。 二、部署 要求显存&#xff1a;VAE解码需要13G以上 1. 部署ComfyUI 本篇的模型部署是在ComfyUI的基础上进行&#x…

html5表单属性的用法

文章目录 HTML5表单详解与代码案例一、表单的基本结构二、表单元素及其属性三、表单的高级应用与验证四、表单布局与样式 HTML5表单详解与代码案例 HTML5表单是网页中用于收集用户输入并提交到服务器的重要元素&#xff0c;广泛应用于登录页面、客户留言、搜索产品等场景。本文…

Ajax获取PHP端csv转的json数据并js前端排序与分页

<?php setlocale(LC_ALL, C); //window:删除行首双斜杠if($_GET["act"]"list"){ $csvFile book.csv; // 文件路径&#xff1a;制表符分隔文件 $data []; if (($handle fopen($csvFile, r)) ! false) {$header fgetcsv($handle,0,"\t"); …

SpringBoot(二十二)SpringBoot集成smart-doc自动生成文档

计划在项目中集成swagger日志框架,经过一顿折腾,发现一个小小的问题。我得springboot框架版本是2.6.13,swagger要匹配这个版本的springboot可能比较麻烦。 这可如何是好…… 经跟社区的大神得讨论,他在用的文档生成工具是smart-doc。我尝试一下集成这个工具。 官网:https:…

基于树莓派的边缘端 AI 目标检测、目标跟踪、姿态估计 视频分析推理 加速方案:Hailo with ultralytics YOLOv8 YOLOv11

文件大纲 加速原理硬件安装软件安装基本设置系统升级docker 方案Demo 测试目标检测姿态估计视频分析参考文献前序树莓派文章hailo加速原理 Hailo 发布的 Raspberry Pi AI kit 加速原理,有几篇文章介绍的不错 https://ubuntu.com/blog/hackers-guide-to-the-raspberry-pi-ai-ki…

PETR/PETRv2/StreamPETR论文阅读

1. PETR PETR网络结构如下&#xff0c;主要包括image-backbone&#xff0c;3D Coordinates Generator&#xff0c;3D Position Encoder&#xff0c;transformer Decoder四个模块。 把N 个视角的图像输入到骨干网络中以提取 2D 多视图特征。在 3D 坐标生成器中&#xff0c;首先…

EHOME视频平台EasyCVR多品牌摄像机视频平台监控视频编码H.265与Smart 265的区别?

在视频监控领域&#xff0c;技术的不断进步推动着行业向更高效、更智能的方向发展。特别是在编码技术方面&#xff0c;Smart 265作为一种新型的视频编码技术&#xff0c;相较于传统的H.265&#xff0c;有明显优势。这种技术的优势在EasyCVR视频监控汇聚管理平台中得到了充分的体…

Linux下编译安装Nginx

以下是在Linux下编译安装Nginx的详细步骤&#xff1a; 一、安装依赖库 安装基本编译工具和库 在Debian/Ubuntu系统中&#xff0c;使用以下命令安装&#xff1a;sudo apt -y update sudo apt -y install build - essential libpcre3 - dev zlib1g - dev libssl - dev在CentOS/…

《基于深度学习的车辆行驶三维环境双目感知方法研究》

复原论文思路&#xff1a; 《基于深度学习的车辆行驶三维环境双目感知方法研究》 1、双目测距的原理 按照上述公式算的话&#xff0c;求d的话&#xff0c;只和xl-xr有关系&#xff0c;这样一来&#xff0c;是不是只要两张图像上一个测试点的像素位置确定&#xff0c;对应的深…

新手小白学习docker第八弹------实现MySQL主从复制搭建

目录 0 引言1 实操1.1 新建主服务器容器1.2 书写配置文件1.3 重启master实例1.4 进入mysql-master容器master容器实例内创建数据同步用户 1.5 新建从服务器容器1.6 书写配置文件1.7 重启slave实例1.8 查看主从同步状态1.9 进入mysql-slave容器1.9.1 配置主从复制1.9.2 查看主从…

微信小程序之路由跳转传数据及接收

跳转并传id或者对象 1.home/index.wxml <!--点击goto方法 将spu_id传过去--> <view class"item" bind:tap"goto" data-id"{{item.spu_id}}"> 结果: 2.home/index.js goto(event){// 路由跳转页面,并把id传传过去//获取商品idlet i…

emulator总结

什么是硬件仿真器 做IC设计的人应该都知道软件仿真和FPGA原型验证&#xff0c;可以把硬件仿真器理解为这二者之间的产物&#xff0c;它同时具备二者的优点。 软件仿真&#xff08;simulator&#xff09;全面&#xff0c;支持UVM、assert、coverage收集、可以很方便的dump 波形…