自动驾驶预测与决策规划(nuplan数据集)

欢迎大家关注我的B站:

偷吃薯片的Zheng同学的个人空间-偷吃薯片的Zheng同学个人主页-哔哩哔哩视频 (bilibili.com)

目录

1.概述

2 数据采集

3.开环与闭环仿真

4.数据注释

5.场景

6.规划框架

6.1Train

6.2Simulation

6.3Metric

6.4Visualization

7.下载


本文参考nuPlan (nuscenes.org)

1.概述

nuPlan是全球首个大规模的自动驾驶规划的benchmark。虽然基于机器学习的运动规划算法越来越多,但由于缺乏成熟的数据集、模拟框架和指标,限制了这一领域的进展。

现有的自动驾驶汽车运动预测基准(Argoverse、Lyft、Waymo)侧重于其他智能体的短期运动预测,而不是自我车辆的长期规划。这导致以前的工作使用开环评估,这不适合公平地评估长期规划。nuPlan提供了一个训练框架来开发一个learning based planner、一个轻量级的closed-loop simulator,、一个运动规划的specific metrics和一个可视化结果的interactive tool

2 数据采集

nuplan提供了一个大型数据集,其中包含来自美国和亚洲 1200 个交通模式差异很大的城市(波士顿、匹兹堡、拉斯维加斯和新加坡)的 4 小时人类驾驶数据。

我们的目标是多样化的驾驶条件,但不包括大雨和夜间数据。所有数据都是通过手动驾驶收集的,以获得适合模仿学习的地面实况。我们的车辆操作员被指示安全、自信和自信地驾驶。为了使这些数据对规划有用,他们以目标为导向。这意味着他们定义一个目标(上下车点、公交车站、停车场),然后直接驶向目标。

我们使用以下传感器:

  • 5 倍激光雷达 (20Hz)
  • 2x Pandar 20P(前/后保险杠)
  • 2x Pandar 40P(左/右 A 柱)
  • 1x Pandar 40PT(车顶)
  • 8 倍摄像头 (10Hz)
  • D3 工程 D3RCM
  • Sony IMX390,2000 x 1200 分辨率,分割像素图像传感器
  • 1 个霍尼韦尔 HG1120 IMU (100Hz)
  • 1 个 Trimble BX992 (20Hz)

所有传感器都根据其外在和内在(仅限相机)进行校准。摄像头和激光雷达相互同步。

3.开环与闭环仿真

支持闭环和开环仿真。闭环意味着自我车辆和其他代理车辆可以偏离原始日志中记录的内容。除了为规划人员提供基线实施外,我们还为传统(智能驾驶员模型,IDM)和基于ML的智能代理提供baseline

  • 为了真实地模拟交通流量,nuplan开发了一种交通信号灯状态推断系统,该系统根据场景中观察到的车辆运动来推断交通信号灯的状态。最后,我们挖掘手工制作的场景(例如变道、行人与汽车的交互),以找到有趣的场景,并评估这些场景中的常见指标和特定场景的指标。

4.数据注释

与 nuScenes 类似,我们提供详细的 2D 高清地图,这些地图由人类使用语义类别进行注释,例如道路、人行道、人行横道、车道、交通信号灯等等。

我们输出以下类。包装盒标签由不同的颜色表示:

  • 车辆(橙色):包括所有四辆或更多轮式车辆以及拖车。
  • 自行车(红色):包括自行车、摩托车和三轮车。
  • 行人(蓝色):所有类型的行人,包括婴儿车和轮椅。
  • 交通锥(黑色):临时放置的控制交通流量的锥。
  • 屏障(黄色):可以是临时或永久的固体屏障。
  • 施工区标志(未显示):指示施工区的临时标志。
  • 通用物体(绿色):动物、碎片、可推/可拉物体、永久杆。

请注意,我们仅输出可行驶路面和人行道上被认为与自动驾驶汽车相关的选定部分的感知轨迹。其他轨道使用语义映射进行过滤。

5.场景

为了公平地评估运动规划模型,考虑基础数据分布至关重要。大多数时候,车辆都是直行的,因此规划是微不足道的。正是在具有挑战性的极端情况下,规划器才能真正展示其性能。为此,我们开发了一个框架,用于在整个数据集中挖掘和注释感兴趣的场景。要了解有关此场景挖掘框架的更多信息,请参阅这篇博文。

下面我们展示了一些具有挑战性的场景示例,正如我们的系统所发现的那样:

无保护的横转弯

Unprotected cross turn

密集的车辆交互

Dense vehicle interactions

前面的乱穿马路者

Jaywalker in front

变道

Lane change

在接送区自我

Ego at pickup/dropoff area

6.规划框架

nuPlan提供了一个开源工具包,用于开发基于ML的规划器。下面我们将介绍此工作流程中的四个步骤,即:训练模型、模拟模型、测量性能和可视化结果。

aria framework steps

6.1Train

我们开发了一个基于 PyTorch 的框架,使用许多输入来训练基于机器学习的规划人员,例如自我信息、其他代理信息、静态/动态地图信息。我们的基线可以很容易地修改和扩展,以纳入新的研究思路。

6.2Simulation

我们框架的核心部分是场景模拟。它被设计为在数据集、观察模型、自我规划器、代理模型、运动控制器、指标和可视化方面完全模块化。虽然我们为这些元素中的每一个都提供了多个选项和基线,但用户可以很容易地插入替换。这将使研究界能够专注于单个框架,而不是像以前那样对每个数据集和规划方法使用不同的代码。

aria planning framework

6.3Metric

在一组方案上评估规划师后,我们计算了许多指标,这些指标分为 5 类:

  • 交通规则违规用于衡量对常见交通规则的遵守情况。我们计算与其他智能体的碰撞率、越野轨迹的发生率、与领先智能体的时间间隔、碰撞时间以及通过智能体时的相对速度作为通过距离的函数。
  • 人类驾驶相似性用于量化与人类相比的机动满意度,例如纵向速度误差、纵向停止位置误差和横向位置误差。此外,将产生的颠簸/加速度与人类水平的颠簸/加速度进行比较。
  • 车辆动力学量化了骑手的舒适度和轨迹的可行性。骑手舒适度是通过颠簸、加速度、转向率和车辆振荡来衡量的。可行性是通过违反相同标准的预定义限制来衡量的。
  • 目标实现使用 L2 距离衡量地图上目标航点的路线进度
  • 特定于方案的指标适用于特定方案。例如,对于变道,测量和评分目标车道上的碰撞时间和前方/后方代理的时间间隔。对于行人和骑自行车者的互动,我们量化了通过的相对速度,同时区分了他们的位置。

6.4Visualization

对于研究人员来说,要快速迭代新的 ML 规划模型,能够仔细分析模型的性能至关重要。为此,我们开发了带有基于散景的交互式模拟查看器的“nuBoard”仪表板,该查看器可以渲染底层语义图、自我车辆、场景中的其他智能体以及交通信号灯。除了场景模拟之外,我们还绘制了有关计划人员绩效的汇总统计量。

aria nuboard

7.下载

这里我们列出了 nuPlan 数据集的不同版本。

免费下载nuPlan数据集用于非商业用途,以便我们更好地跟踪其使用情况。

此数据集也可在 AWS 上的 Registry of Open Data 上获得。

可以在 GitHub 存储库中找到 nuPlan 数据集的 devkit。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/721806.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

curlbuild.h:138:36: error: ‘socklen_t’ does not name a type

linux下调用libcurl.so时报错 解决&#xff1a;在引用curl.h之前添加socklen_t的引用&#xff0c;即#include <sys/socket.h>或 #include <unistd.h> 参考&#xff1a;https://blog.csdn.net/q454955979/article/details/72903463

nodejs 实现方法返回值常见方式

1、使用回调函数 回调函数是一种常见的方式来处理异步操作的结果。定义一个函数&#xff0c;并将回调函数作为参数传递给该函数。在异步操作完成后&#xff0c;调用回调函数并传递结果作为参数。 function asyncFunction(callback) {// 异步操作...// 完成后调用回调函数callb…

【排序】详解冒泡排序

一、思想 冒泡排序的基本思想是利用两两比较相邻记录的方式&#xff0c;通过一系列的比较和交换操作&#xff0c;使得较大或较小的元素逐渐移动到数列的一端。在每一轮的排序过程中&#xff0c;都会从数列的起始位置开始&#xff0c;对相邻的元素进行比较&#xff0c;如果它们…

开展“学雷锋我行动”文明实践主题活动向媒体投稿有哪些好方法?

开展“学雷锋我行动”文明实践主题活动并向媒体投稿时,以下是一些好的方法: 清晰的主题定位:确保投稿内容紧扣“学雷锋我行动”这一主题,展示如何在实际行动中践行雷锋精神,如志愿服务、社区建设、关爱他人等。 #图文万粉激励计划#高质量的内容制作:无论是文字、图片还是视频,…

python中的文件操作

文件操作步骤 在Python中&#xff0c;文件操作主要涉及打开、读取、写入和关闭文件。这是一门基础且重要的技能&#xff0c;因为它使得程序能够持久化数据&#xff0c;或者处理磁盘上的数据文件。Python提供了一个内建的open函数用于文件的打开&#xff0c;以及文件对象提供的…

【人工智能】Anthropic发布强大的Claude3对齐GPT-4,大模型杂谈个人感想

北京时间3月5日&#xff0c;人工智能创业公司Anthropic宣布&#xff0c;推出其突破性的Claude 3系列模型。Claude 3系列包含三个子模型&#xff0c;分别为Claude 3 Haiku、Claude 3 Sonnet和Claude 3 Opus&#xff0c;它们提供不同程度的智能、速度和成本选择&#xff0c;以满足…

【优化方案】Java 将字符串中的星号替换为0-9中的数字,并返回所有可能的替换结果

需求 将输入的字符串中的星号替换为0-9中的数字&#xff0c;并返回所有可能的替换结果&#xff0c;允许存在多个*号。 分析&#xff1a; 在每个星号位置&#xff0c;我们需要进行 0-9 的循环遍历&#xff0c;因此每个星号位置都有 10 种可能性。如果字符数组中有k个星号&#x…

轻松记录收支明细,智慧分析财务情况,一键打印保存!“

在这个信息爆炸的时代&#xff0c;财务管理已成为我们生活中不可或缺的一部分。无论您是家庭主妇、白领上班族还是企业经营者&#xff0c;都需要对自己的财务情况了如指掌。那么&#xff0c;如何轻松记录和分析收支明细&#xff0c;让财务管理变得简单高效呢&#xff1f;今天&a…

Mutex 争用解析

导读 上一篇文章介绍了latch争用的相关内容&#xff0c;本文继续介绍与latch相关的mutex争用的相关内容。 1、Mutex故障排除 查看相关视图v$sessionV$SESSION_WAIT P1,P2,P3值表示library cache 对象在争用状态下的哈希值&#xff0c;即持有mutex的会话。V$event_name和V$ses…

蓝凌EIS智慧协同平台 rpt_listreport_definefield.aspx SQL注入漏洞复现

0x01 产品简介 蓝凌EIS智慧协同平台是一款专为企业提供高效协同办公和团队合作的产品。该平台集成了各种协同工具和功能,旨在提升企业内部沟通、协作和信息共享的效率。 0x02 漏洞概述 由于蓝凌EIS智慧协同平台 rpt_listreport_definefield.aspx接口处未对用户输入的SQL语句…

Android中get、post、图片下载的类

创建Network公共类 &#xff08;这里面都没有加token&#xff0c;如果需要可以自行添加&#xff09; 添加依赖 implementation com.squareup.okhttp3:okhttp:4.9.3 implementation com.google.code.gson:gson:2.8.9 添加网络权限 AndroidManifest.xml里面添加 <uses-pe…

ZCC6983最大充电电流 2A、升压型 3 节锂电池充电管理器

特性 ■ 高达 2A 的可调充电电流&#xff08;受实际散热和输入功率 限制&#xff09; ■ 支持 12.6V、12.9V、13.05V、13.2V 的充满电压 ■ 高达 28V 的输入耐压保护 ■ 高达 28V 的电池端耐压保护 ■ 宽输入工作电压范围&#xff1a;3.0V~9.5V ■ 峰值效率可达 96…

Linux 文件系列:深入理解文件描述符fd,重定向,自定义shell当中重定向的模拟实现

Linux 文件系列:深入理解文件fd,重定向,自定义shell当中重定向的模拟实现 一.预备知识二.回顾C语言中常见的文件接口跟重定向建立联系1.fopen函数的介绍2.fclose函数的介绍3.代码演示1.以"w"(写)的方式打开2.跟输出重定向的联系3.以 "a"(追加)的方式打开4.…

枚举与尺取法(蓝桥杯 c++ 模板 题目 代码 注解)

目录 组合型枚举&#xff08;排列组合模板&#xff08;&#xff09;&#xff09;: 排列型枚举&#xff08;全排列&#xff09;模板&#xff1a; 题目一&#xff08;公平抽签 排列组合&#xff09;&#xff1a; ​编辑 代码&#xff1a; 题目二&#xff08;座次问题 全排…

Java8的Stream执行机制

Java8的Stream执行机制 Stream的概念解说Stream的概念解说-Stream的含义Stream的概念解说-现实类比Stream的概念解说-Stream中的概念Stream的执行机制Stream的执行机制-最直接的流水线实现方式Stream的执行机制-for循环也能干的事Stream的执行机制-基本类图Stream的执行机制-记…

AI大模型的预训练、迁移和中间件编程

大家好&#xff0c;我是爱编程的喵喵。双985硕士毕业&#xff0c;现担任全栈工程师一职&#xff0c;热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。…

jest单元测试

用jest写修改密码的弹出框的单元测试&#xff1a; import { render, fireEvent } from testing-library/react; import ChangePasswordModal from ./ChangePasswordModal;describe(ChangePasswordModal, () > {test(renders password input fields and save button, () >…

经验风险最小化(Empirical Risk Minimization, ERM)

经验风险最小化&#xff08;Empirical Risk Minimization, ERM&#xff09;是机器学习中的一个基本原则&#xff0c;它旨在通过最小化训练数据集上的损失来训练模型。这种方法基于这样一个假设&#xff1a;通过最小化模型在训练集上的误差&#xff08;即经验风险&#xff09;&a…

RS编码的FPGA实现

RS编码&#xff0c;即Reed-solomon codes&#xff0c;是一类纠错能力很强的特殊的非二进制BCH码&#xff08;BCH码是一种有限域中的线性分组码&#xff0c;具有纠正多个随机错误的能力&#xff09;。对于任选正整数S可构造一个相应的码长为nqS-1的 q进制BCH码&#xff0c;而q作…

2024-03-05 linux 分区老显示满,Use 100%,原因是SquashFS 是一种只读文件系统,它在创建时就已经被填满,所有空间都被使用。

一、这两天一直纠结一个问题&#xff0c;无论怎么修改&#xff0c;linux 分区老显示满&#xff0c;Use 100%&#xff0c;全部沾满。如下图的oem分区。 二、导致出现上面的原因是&#xff1a;SquashFS文件系统里的空间利用率总是显示为100%。 三、SDK里面也说明SquashFS文件系统…