经典文献阅读之--SMERF(通过标清导航地图增强车道感知和拓扑理解)

Tip: 如果你在进行深度学习、自动驾驶、模型推理、微调或AI绘画出图等任务,并且需要GPU资源,可以考虑使用Compshare的GPU算力云平台。他们提供高性价比的4090 GPU,按时收费每卡2.6元,月卡只需要1.7元每小时,并附带200G的免费磁盘空间。通过链接注册并联系客服,可以获得20元代金券(相当于6-7H的免费GPU资源)。欢迎大家体验一下~

0. 简介

传统的自动驾驶严重依赖于成本高昂、劳动繁重的高精(HD)地图,这阻碍了其可扩展性。相比之下,标清(SD)地图成本较低,并且覆盖全球范围,从而提供了一种可扩展的替代方案。在《Augmenting Lane Perception and Topology Understanding with Standard Definition Navigation Maps》中,我们系统性地探索了标清地图对实时车道拓扑理解的影响。本文提出了一种新型的框架来将标清地图集成到在线地图预测中,并且提出了一种基于Transformer的编码器(即来自Transformers的标清地图编码器表示),其利用标清地图中的先验来执行车道拓扑预测任务。这种增强持续且显著地在目前最先进的在线地图预测方法上提升了车道检测和拓扑预测,没有额外成本,并且能够立即加入到任何基于Transformer的车道拓扑方法中。相关的代码已经在Github上开源了

在这里插入图片描述

图1:车道拓扑推理。利用标准定义(SD)地图(a)和道路级拓扑的先验信息,我们的工作旨在改进车道中心线检测(c)、车道中心线之间的拓扑推理以及交通要素(b)。在SD地图中,橙色线条和青色线条分别对应道路和人行道。

1. 主要贡献

在这项工作中,我们探索了使用SD地图来改善在没有高清地图的情况下的在线车道拓扑推理。我们提出了一种新颖而简洁的方法,即在Transformer编码器架构[6]中对SD地图进行编码,以学习可在下游车道拓扑任务中使用的特征表示。我们将我们的方法命名为SMERF(来自Transformer的SD地图编码表示)。增加SD地图的框架立即适用于任何基于Transformer的车道拓扑方法,我们证明,将SD地图作为额外的信息源可以提高车道拓扑推理的性能——在所有可用的架构中都是如此。当与当前最佳的开源车道拓扑模型[7]一起使用时,车道检测和车道拓扑预测实现了最先进的性能,而无需进行任何额外的调整。我们的贡献总结如下:
• 据我们所知,我们是第一个系统地探索SD地图在车道拓扑理解中的实用性的工作。
• 我们提出了SMERF,一种SD地图表示和基于Transformer的编码器模型,用于车道拓扑预测。
• 我们通过实验证明,我们提出的方法显著提高了所有评估的车道拓扑方法的性能。

2. 方法

问题设置。遵循先前的工作[1],[7],我们假设存在一个多摄像头设置:自动驾驶车辆配备了 C C C个同步的多视角摄像头及其对应的摄像头内参和外参参数。此外,我们可以访问SD地图和自动驾驶车辆的2D位置和航向,作为从全球定位系统(GPS)得到的3自由度刚性变换 G p G_p Gp,用于将SD地图与车载传感器输入对齐。根据这些输入,任务是检测道路的车道中心线和场景中的交通元素,如交通灯和停车标志。此外,我们推断车道中心线的连接性以及它们与每个交通元素的关系。所有成对关系都表示为亲和力矩阵。

SMERF的流程如图2所示。提出的SMERF(下半部分)通过SD地图的先验来增强现有的车道拓扑模型(上半部分),以更好地检测车道中心线和进行关系推理。具体来说,我们首先检索SD地图,将其编码为特征表示,然后使用Transformer编码器在SD地图特征表示与车载摄像头输入的特征之间进行交叉注意力,以构建用于车道检测和关系推理的BEV特征。该流程是端到端训练的,无需额外的训练信号。

…详情请参照古月居

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/843931.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

数组-捡石子小游戏

一、题目描述 二、解题思路 刚开始拿到题目的时候在想是不是需要把所有情况枚举出来,其实思考一下能看出规律: 1.如果有1、2、3颗石子,小牛一定可以赢; 2.再来看4颗石子的时候,小牛A可以拿1~3颗,但是无论小…

探索电商ERP平台的功能架构:实现高效运营的关键

在当今数字化时代,电子商务已经成为了商业运营的主流模式之一。为了应对日益激烈的市场竞争,企业需要借助先进的技术工具来提高运营效率和管理能力。在这篇博客中,我们将深入探讨电商ERP平台的功能架构,揭示其如何成为实现高效运营…

JVM学习-字节码指令集(一)

概述 Java字节码对于虚拟机,好像汇编语言对于计算机,属于基本执行指令Java虚拟机的指令由一个字节长度的,代表某种特定操作含义 的数字(称为操作码Opcode)以及跟随其后的零至多个代表此操作所需参数(操作数,Operands)而构成&…

【Linux】22. 线程控制

Linux线程控制 POSIX线程库 与线程有关的函数构成了一个完整的系列&#xff0c;绝大多数函数的名字都是以“pthread_”打头的 要使用这些函数库&#xff0c;要通过引入头文<pthread.h> 链接这些线程函数库时要使用编译器命令的“-lpthread”选项 线程创建 pthread_cr…

鸿蒙开发接口UI界面:【@ohos.router (页面路由)】

页面路由 说明开发前请熟悉鸿蒙开发指导文档&#xff1a;gitee.com/li-shizhen-skin/harmony-os/blob/master/README.md点击或者复制转到。 本模块首批接口从API version 8开始支持。后续版本的新增接口&#xff0c;采用上角标单独标记接口的起始版本。页面路由需要在页面渲染完…

AI与空间设计的碰撞?

遇到难题不要怕&#xff01;厚德提问大佬答&#xff01; 厚德提问大佬答9 你是否对AI绘画感兴趣却无从下手&#xff1f;是否有很多疑问却苦于没有大佬解答带你飞&#xff1f;从此刻开始这些问题都将迎刃而解&#xff01;你感兴趣的话题&#xff0c;厚德云替你问&#xff0c;你解…

探索python数据可视化的奥秘:打造专业绘图环境

新书上架~&#x1f447;全国包邮奥~ python实用小工具开发教程http://pythontoolsteach.com/3 欢迎关注我&#x1f446;&#xff0c;收藏下次不迷路┗|&#xff40;O′|┛ 嗷~~ 目录 一、搭建专业绘图环境 二、掌握绘图基本原理 三、解锁绘图高级技巧 四、总结与展望 在数据…

比较(一)利用python绘制条形图

比较&#xff08;一&#xff09;利用python绘制条形图 条形图&#xff08;Barplot&#xff09;简介 条形图主要用来比较不同类别间的数据差异&#xff0c;一条轴表示类别&#xff0c;另一条则表示对应的数值度量。 快速绘制 基于seaborn import seaborn as sns import matplo…

banner2.0自定义轮播布局

说明&#xff1a;最近碰到一个需求&#xff0c;让新闻列表实现轮播图的效果&#xff0c;也就是轮播新闻&#xff0c;然后样式必须按照ui设计的样式来弄&#xff0c;之前传统的banner&#xff0c;都是只轮播图片&#xff0c;没想到&#xff0c;这次居然要轮播新闻&#xff0c; 网…

MySQL 重启之后无法写入数据了?

数据库交接后因 persist_only 级别的参数设置引发的故障分析。 作者&#xff1a;不吃芫荽&#xff0c;爱可生华东交付服务部 DBA 成员&#xff0c;主要负责 MySQL 故障处理及相关技术支持。 爱可生开源社区出品&#xff0c;原创内容未经授权不得随意使用&#xff0c;转载请联系…

CentOS配置DNS

1.打开/etc/resolv.conf文件 sudo vi /etc/resolv.conf2.添加配置 nameserver 114.114.114.1143.保存并关闭文件。 4.为了确保配置生效&#xff0c;重启网络服务或重启系统。例如&#xff1a; 重启网络&#xff1a; sudo systemctl restart network重启系统&#xff1a; …

【渗透测试】|基于dvwa的CSRF初级,中级,高级

一、渗透测试 二、渗透测试过程中遇到的问题和解决 在初级csrf中&#xff0c;想要通过伪造一个404页面&#xff0c;达到修改密码的效果 伪造404页面的html代码如下&#xff1a; <html> <head> </head> <body> <img src"http://192.xx.xx.xx/…

mono3D任务FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection

数据 KITTI 在卡尔斯鲁厄采集的数据&#xff0c;包括雷达&#xff08;64线束激光雷达&#xff09;和摄像头&#xff08;灰色彩色&#xff09;。目标为pvb,场景包括农村、城市、高速。3D目标检测任务包含7481 训练图片和7518 测试图片包含80.256 标注目标。同时带有点云信息。…

C++之类(class)的三种访问修饰符(public、private、protected)----成员变量与函数权限

1、背景介绍 在C中&#xff0c;类&#xff08;class&#xff09;的三种访问修饰符&#xff08;access specifiers&#xff09;用于控制类的成员&#xff08;属性和方法&#xff09;的访问权限。这些修饰符决定了类成员在类的外部是否可以被访问。以下是这三种访问修饰符的详细…

深度学习-语言模型

深度学习-语言模型 统计语言模型神经网络语言模型语言模型的应用序列模型&#xff08;Sequence Model&#xff09;语言模型&#xff08;Language Model&#xff09;序列模型和语言模型的区别 语言模型&#xff08;Language Model&#xff09;是自然语言处理&#xff08;NLP&…

信息安全法规和标准

《全国人民代表大会常务委员会关于维护互联网安全的决定》规定&#xff0c;威胁互联网运行安全的行为&#xff1a;&#xff08;1&#xff09;侵入国家事务、国防建设、尖端科学技术领域的计算机信息系统&#xff0c;&#xff08;2&#xff09;故意制作、传播计算机病毒等破坏性…

Java 中BigDecimal传到前端后精度丢失问题

1.用postman访问接口&#xff0c;返回的小数点精度正常 2.返回到页面里的&#xff0c;小数点丢失 3.解决办法&#xff0c;在字段上加注解 JsonFormat(shape JsonFormat.Shape.STRING) 或者 JsonSerialize(using ToStringSerializer.class) import com.fasterxml.jackson.a…

SpringJDBC

1.前言 Spring JDBC可以帮助开发者节省大量开发工作 自动去处理一些低级细节 比如&#xff1a;异常处理、打开和关闭资源(Connection、PreparedStatement、Statement、ResultSet) 需要下载的jar包&#xff1a; spring-jdbc(普通jar包、源码jar包)由于没有依赖其他的jar包 所以只…

Echarts 实现线条绘制

文章目录 需求分析 需求 用 Echarts 实现如下效果 分析

【优选算法】分治 {三分快排:三指针优化,随机选key,快速选择算法;归并排序:统计数组中的逆序对,统计数组中的翻转对;相关编程题解析}

一、经验总结 1.1 三分快排 优化一&#xff1a;三指针优化 之前学习的快速排序无法妥善处理相等或重复序列的排序问题&#xff08;有序且三数取中无效&#xff09;&#xff0c;使快速排序的效率无法达到最优。 为了解决重复序列的问题&#xff0c;我们将原先的双指针法&…