论文阅读《Neural Map Prior for Autonomous Driving》

目录

  • 摘要
  • 1 介绍
  • 2 相关工作

摘要

高精(HD)语义地图对于在城市环境中行驶的自动驾驶汽车至关重要。传统的离线高精地图是通过劳动密集型的手动标注创建的,不仅成本高昂,而且无法及时更新。最近,研究人员提出根据在线传感器观测来推断局部地图;然而,这种方法受到传感器感知范围的限制,并且容易受到遮挡。在这项工作中,我们提出了神经地图先验(NMP),一种全局地图的神经表示,有助于自动更新全局地图并提高局部地图推理性能。为了将强地图先验纳入局部地图推理,我们采用交叉注意力来动态捕捉当前特征和先验特征之间的相关性。为了先更新全局神经地图先验,我们使用基于学习的融合模块来引导网络融合以前遍历的特征。这种设计使得网络能够在连续的在线地图预测过程中预先捕获全局神经地图先验。在nuScenes数据集上的实验结果表明,我们的框架与各种地图分割和检测架构高度兼容,并且显著增强了地图预测性能,即使在恶劣的天气条件下和更长的时间范围内也是如此。据我们所知,这是第一个基于学习的预先构建全局地图先验的系统。

1 介绍

自动驾驶汽车需要高精(HD)语义地图来准确预测其他车辆的未来轨迹并安全行驶在城市街道上。然而,大多数自动驾驶汽车依赖于劳动密集型且昂贵的预先标注的离线高精地图,这些地图是通过复杂的流程构建的,涉及使用测绘车辆进行激光雷达扫描、全局点云对齐和手动地图元素标注。这些离线地图解决方案虽然精度较高,但是可扩展性有限,不支持路况发生变化时的及时​​更新。因此,自动驾驶汽车可能会依赖过时的地图,对驾驶安全产生负面影响。最近的研究探索了使用车载传感器观测数据(例如相机图像和LiDAR点云)学习高精语义地图的替代方法。这些方法通常使用深度学习技术来实时推断地图元素,解决与离线地图相关的地图更新问题。然而,推断地图的质量通常不如预先构建的全局地图,并且在恶劣的天气条件和遮挡情况下可能会进一步恶化。不同语义地图构建方法的比较如图1所示。

在这里插入图片描述
图1 语义地图构建方法的比较。传统的离线语义建图管道(第一行)涉及复杂的手动标注管道,并且不支持及时的地图更新。在线高精语义地图学习方法(第二行)完全依赖于车载传感器观测,容易受到遮挡。我们提出了神经地图先验(NMP,第三行),这是全局地图的创新神经表示,旨在帮助车载地图预测。随着NMP不断整合来自自动驾驶汽车的最新观测结果,它也会逐步更新。

在这项工作中,我们提出了神经地图先验(NMP),这是一种结合了两全其美优势的新型混合建图解决方案。NMP利用神经表征来预先构建和更新全局地图,从而提高自动驾驶汽车的地图推理性能。NMP过程包括两个主要步骤:全局地图先验更新和局部地图推理。全局地图先验是一种稀疏平铺的神经表征,每个平铺对应一个特定的现实世界位置。它是通过汇总自动驾驶汽车车队的数据而自动开发的。然后,机载传感器数据和全局地图先验被集成到局部地图推理过程中,随后完善地图先验。这些程序通过反馈回路相互关联,随着每天从道路上行驶的大量车辆收集到越来越多的数据,反馈回路也变得越来越强大。图2显示了一个示例。

从技术上讲,全局神经图先验被定义为从空状态初始化的稀疏图块。对于自动驾驶汽车的每次在线观察,神经网络编码器首先提取局部鸟瞰图(BEV)特征。然后使用从全局NMP地图tile推导的相应BEV先验特征来细化这些特征。改进的BEV特征使我们能够推断局部语义图并更新全局NMP。当车辆穿越各个场景时,局部地图推理阶段和全局地图先验更新步骤相互加强,提高了预测的局部语义地图的质量,并保持了更完整和最新的全局NMP。

我们证明NMP可以轻松应用于各种最先进的高精语义地图学习方法,以提高准确性。在公共nuScenes数据集上进行的实验表明,通过将NMP与尖端地图学习技术相结合,我们的流程可将HDMapNet的性能提高+4.32mIoU、LSS的性能提高+5.02mIoU、BEVFormer的性能提高+5.50 mIoU,并将VectorMapNet的性能提高+3.90mAP。

总而言之,我们的贡献如下:

  1. 我们提出了一种名为“神经地图先验”的新型建图范式,它结合了离线全局地图维护和在线局部地图推理,而局部推理仅需要与以前的单帧系统类似的计算和内存资源。
  2. 我们提出了简单有效的当前到先验注意力和GRU模块,以适应主流的高精语义地图学习方法,并提升其地图预测结果。
  3. 我们对nuScenes数据集上不同地图元素和四种地图分割/检测架构的方法进行了评估,并展示了显著且一致的改进。此外,我们的研究结果还表明,在恶劣天气条件和扩大感知范围等挑战性情况下取得了显著进展。

2 相关工作

基于激光雷达SLAM的建图方式。 自动驾驶系统需要了解道路地图元素,包括车道、人行横道和交通标志,才能在世界范围内行驶。此类地图元素通常由现有管道中预先标注的高精(HD)语义地图提供。当前大多数的高精语义地图都是在激光雷达点云上手动或半自动标注而来的,这些点云是从配备高端GPS和IMU的测绘车收集的激光雷达扫描合并而来的。SLAM算法是将激光雷达扫描融合为高精度和一致的点云的最常用算法。首先,为了匹配两个邻近时间戳的激光雷达数据,采用成对对齐算法,例如ICP、NDT及其变体,使用语义或几何信息。其次,准确估计自身车辆的姿态对于构建全局一致的地图至关重要,并且可以表述为非线性最小二乘问题或因子图。杨等人提出了一种在成对对齐因子约束下基于位姿图优化的城市地图重建方法。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/60933.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络 (5)数据通信的基础知识

前言 数据通信是一种以信息处理技术和计算机技术为基础的通信方式,它通过数据通信系统将数据以某种信号方式从一处传送到另一处,为计算机网络的应用和发展提供了技术支持和可靠的通信环境,是现代通信技术的关键部分。 一、数据通信的基本概念…

C++- 基于多设计模式下的同步异步日志系统

第一个项目:13万字,带源代码和详细步骤 目录 第一个项目:13万字,带源代码和详细步骤 1. 项目介绍 2. 核心技术 3. 日志系统介绍 3.1 为什么需要⽇志系统 3.2 ⽇志系统技术实现 3.2.1 同步写⽇志 3.2.2 异步写⽇志 4.知识点和单词补充 4.1单词补充 4.2知识点补充…

element plus的表格内容自动滚动

<el-table:data"tableData"ref"tableRef"borderstyle"width: 100%"height"150"><el-table-column prop"date" label"名称" width"250" /><el-table-column prop"name" label&…

丹摩征文活动 |【前端开发】HTML+CSS+JavaScript前端三剑客的基础知识体系了解

前言 &#x1f31f;&#x1f31f;本期讲解关于HTMLCSSJavaScript的基础知识&#xff0c;小编带领大家简单过一遍~~~ &#x1f308;感兴趣的小伙伴看一看小编主页&#xff1a;GGBondlctrl-CSDN博客 &#x1f525; 你的点赞就是小编不断更新的最大动力 …

ComfyUI-image2video模型部署教程

一、介绍 本项目基于ComfyUI进行部署&#xff0c;在上面可以简单实现图片到视频的效果。也就是可以通过给定一张图片&#xff0c;实现的功能是图片动起来。 二、部署 要求显存&#xff1a;VAE解码需要13G以上 1. 部署ComfyUI 本篇的模型部署是在ComfyUI的基础上进行&#x…

Ajax获取PHP端csv转的json数据并js前端排序与分页

<?php setlocale(LC_ALL, C); //window:删除行首双斜杠if($_GET["act"]"list"){ $csvFile book.csv; // 文件路径&#xff1a;制表符分隔文件 $data []; if (($handle fopen($csvFile, r)) ! false) {$header fgetcsv($handle,0,"\t"); …

基于树莓派的边缘端 AI 目标检测、目标跟踪、姿态估计 视频分析推理 加速方案:Hailo with ultralytics YOLOv8 YOLOv11

文件大纲 加速原理硬件安装软件安装基本设置系统升级docker 方案Demo 测试目标检测姿态估计视频分析参考文献前序树莓派文章hailo加速原理 Hailo 发布的 Raspberry Pi AI kit 加速原理,有几篇文章介绍的不错 https://ubuntu.com/blog/hackers-guide-to-the-raspberry-pi-ai-ki…

PETR/PETRv2/StreamPETR论文阅读

1. PETR PETR网络结构如下&#xff0c;主要包括image-backbone&#xff0c;3D Coordinates Generator&#xff0c;3D Position Encoder&#xff0c;transformer Decoder四个模块。 把N 个视角的图像输入到骨干网络中以提取 2D 多视图特征。在 3D 坐标生成器中&#xff0c;首先…

EHOME视频平台EasyCVR多品牌摄像机视频平台监控视频编码H.265与Smart 265的区别?

在视频监控领域&#xff0c;技术的不断进步推动着行业向更高效、更智能的方向发展。特别是在编码技术方面&#xff0c;Smart 265作为一种新型的视频编码技术&#xff0c;相较于传统的H.265&#xff0c;有明显优势。这种技术的优势在EasyCVR视频监控汇聚管理平台中得到了充分的体…

《基于深度学习的车辆行驶三维环境双目感知方法研究》

复原论文思路&#xff1a; 《基于深度学习的车辆行驶三维环境双目感知方法研究》 1、双目测距的原理 按照上述公式算的话&#xff0c;求d的话&#xff0c;只和xl-xr有关系&#xff0c;这样一来&#xff0c;是不是只要两张图像上一个测试点的像素位置确定&#xff0c;对应的深…

新手小白学习docker第八弹------实现MySQL主从复制搭建

目录 0 引言1 实操1.1 新建主服务器容器1.2 书写配置文件1.3 重启master实例1.4 进入mysql-master容器master容器实例内创建数据同步用户 1.5 新建从服务器容器1.6 书写配置文件1.7 重启slave实例1.8 查看主从同步状态1.9 进入mysql-slave容器1.9.1 配置主从复制1.9.2 查看主从…

微信小程序之路由跳转传数据及接收

跳转并传id或者对象 1.home/index.wxml <!--点击goto方法 将spu_id传过去--> <view class"item" bind:tap"goto" data-id"{{item.spu_id}}"> 结果: 2.home/index.js goto(event){// 路由跳转页面,并把id传传过去//获取商品idlet i…

前海华海金融创新中心的工地餐点探寻

​前海的工地餐大部分都是13元一份的哈。我在前海华海金融创新中心的工地餐点吃过一份猪杂饭&#xff0c;现做13元一份。我一般打包后回公司吃或直接桂湾公园找个环境优美的地方吃饭。 ​我点的这份猪杂汤粉主要是瘦肉、猪肝、肉饼片、豆芽和生菜&#xff0c;老板依旧贴心问需要…

reduce-scatter:适合分布式计算;Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响,以及它们对资源消耗的影响

目录 Gather Scatter Reduce reduce-scatter:适合分布式计算 Reduce、LayerNorm和Broadcast算子的执行顺序对计算结果的影响,以及它们对资源消耗的影响 计算结果理论正确性 资源消耗方面 Gather 这个也很好理解,就是把多个进程的数据拼凑在一起。 Scatter 不同于Br…

移门缓冲支架:减少噪音,提升生活质量

移门缓冲支架不仅是一个简单的五金配件&#xff0c;更是提升家居生活质量的有效工具。通过减少门关闭时的噪音&#xff0c;移门缓冲支架能够创造一个安静、舒适的生活环境。以下是移门缓冲支架在减少噪音、提升生活质量方面的详细解析&#xff1a; 1. 显著降低关门噪音问题&…

模型运行速度笔记: s/epoch VS s/iter

1 概念介绍 在模型训练中&#xff1a; s/epoch 表示每个epoch所需的秒数&#xff0c;即完成一轮完整数据集训练的时间。s/iter 表示每个iteration&#xff08;迭代&#xff09;所需的秒数&#xff0c;即处理一个batch的时间。 它们的关系是&#xff1a; 2 举例 比如我tra…

JavaWeb笔记整理——Spring Task、WebSocket

目录 SpringTask ​cron表达式 WebSocket SpringTask cron表达式 WebSocket

PET-文件包含-FINISHED

include发生错误报warning&#xff0c;继续执行。require发生错误直接error&#xff0c;不继续执行 无视扩展名&#xff0c;只要能解析&#xff0c;就能当可执行文件执行&#xff0c;哪怕文件后缀或没后缀 1 条件竞争 pass17 只需要知道tmp的路径。把xieshell.jpg上传&…

rust逆向初探

rust 逆向葵花宝典 rust逆向技巧 rust逆向三板斧&#xff1a; [!NOTE] 快速定位关键函数 (真正的main函数)&#xff1a;观察输出、输入&#xff0c;字符串搜索&#xff0c;断点等方法。定位关键 加密区 &#xff1a;根据输入的flag&#xff0c;打硬件断点&#xff0c;快速捕获…

vue项目npm run serve出现【- Network: unavailable】(从排查到放弃)

1. 问题现象 环境&#xff1a; 系统&#xff1a;win11node&#xff1a;v16.20.2“vue”: “2.6.10” 执行npm run serve启动vue项目&#xff0c;期望&#xff1a; App running at:- Local: http://localhost:9528/ - Network: http://x.x.x.x:9528/实际&#xff1a; App runn…