自动驾驶中的神经辐射场:综述

24年4月清华大学论文“Neural Radiance Field in Autonomous Driving: A Survey”。

神经辐射场(NeRF)由于其固有的优势,特别是其隐式表示和新视图合成能力,引起了学术界和工业界的广泛关注。 随着深度学习的快速发展,出现了多种方法来探索 NeRF 在自动驾驶(AD)领域的潜在应用。 然而,当前文献中存在明显的空白。 为了弥补这一差距,本文对 NeRF 在 AD 背景下的应用进行了全面的调查。 该综述旨在对 NeRF 在自动驾驶 (AD) 中的应用进行分类,具体包括感知、3D 重建、同步定位和建图 (SLAM) 以及模拟。 深入分析并总结每个应用类别的研究结果,最后对该领域的未来方向提供见解和讨论。

如图是NeRF在自动驾驶的类别:
请添加图片描述

在 NeRF 模拟中,有两种类型。 第一种类型将驾驶场景分为静态和动态部分,并使用神经辐射场。 然后,它编辑车辆或行人的运动以生成新场景并模拟图像数据。 根据场景表示,这种类型进一步分为隐式和显式方法。 第二种类型的重点是从新角度模拟激光雷达数据,将激光雷达传感过程模型与神经辐射场相结合来描绘场景的几何形状。 根据激光雷达传感过程的建模差异,该类型分为射线模型和光束模型。

NeRF 在自动驾驶感知任务中展示了巨大的潜力,该任务分为两个分支:数据增强和模型训练,如图所示。 数据增强需要利用 NeRF 的创新视图合成功能对训练数据集进行逼真的数据增强,而模型训练则涉及将神经渲染集成到训练过程中以捕获几何细节并提高性能。

请添加图片描述

如表所示,将 3D 重建分为三个子问题:动态场景重建、表面重建和逆渲染。

请添加图片描述

由于 NeRF 具有基于姿态和视图方向渲染图像的强大能力,因此将 NeRF 与姿态估计以及 SLAM 相结合的尝试自然受到了众多研究人员的考虑和研究。 相关研究大致可以分为两类:NeRF 的姿态估计和 NeRF 的场景表示。

最近出现了几种利用 NeRF 估计实时姿态的具体方法,可分为 3D 隐式表示和 3D 特征提取。与 NeRF 优化姿态估计相反,NeRF 在 SLAM 中的另一个应用是表示整个场景以优化建图性能。 根据场景表示级别,相关研究分为MLP级、体素级、点级和3D高斯级表示。

自动驾驶仿真为传感器数据生成创建逼真的虚拟环境,为现实世界测试提供了一种更安全、更具成本效益的替代方案,有利于创建多样化的驾驶场景并降低安全风险。 CARLA [93] 和 AirSim [94] 等传统模拟方法依赖于手动场景创建,并且由于手工制作的资产和简化的物理原理而存在显着的模拟与真实差距,因此面临着局限性。 GeoSim [95] 试图通过结合图形和神经网络来生成视频场景来弥补这一差距,但未能模拟新视图的传感器数据。 神经辐射场方法显着增强了真实感,并减少了场景创建和编辑中的手动工作,为缩小现实世界和虚拟世界之间的域差距提供了一种有前景的解决方案。
模拟方法主要分为两大类:图像数据模拟和激光雷达数据模拟。

当前基于神经辐射场的自动驾驶图像数据模拟方法使用来自真实驾驶环境的图像序列以及相应的摄像头姿势来重建场景,从而允许在原始场景中修改车辆行为生成并渲染新的逼真图像。 根据表示技术,这些方法进一步分为隐式表示方法(以 NeRF 为代表)和显式表示方法(以 3D Gaussian Splatting 为代表)[42]。

LiDAR 数据模拟的目的是利用 LiDAR 测量数据来增强神经场景表示,从而促进从新角度合成真实的 LiDAR 扫描。 这些方法基于不同的激光雷达传感过程建模技术,主要分为两类:射线模型和光束模型。

射线方法将LiDAR传感过程简化为单条射线,取代了原始NeRF模型中的相机射线,并通过球面投影将LiDAR点云数据转换为360度全景图像作为真值,将点云数据转换为伪图像数据。与上述方法不同,NFL[105]使用具有散射角的发散光束来模拟LiDAR传感过程。 该技术可以准确地再现关键传感器行为,例如光束发散、二次返回和光线下降,如图所示。
请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/10594.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

YOLOv8项目使用说明

1. 下载群公告中的百度云连接,得到一个压缩文件 2. 解压并使用相关软件(如pycharm、VSCode等)打开 3. 选择一个合适的模型yaml文件,及数据集yaml文件进行训练 4. 配置并填入数据集yaml文件 5. 运行即可

JAVA 标准接口返回与i18n国际化配置

不喜欢废话直接上代码 标准通用返回 package com.luojie.common;import com.luojie.common.inter.ResponseCommon; import lombok.Data;Data public class ResponseCommonImpl implements ResponseCommon {int code;String msg;Object entity; }package com.luojie.common;im…

[muduo网络库]——muduo库三大核心组件之EventLoop类(剖析muduo网络库核心部分、设计思想)

接着上一节[muduo网络库]——muduo库三大核心组件之 Poller/EpollPoller类(剖析muduo网络库核心部分、设计思想),我们来剖析muduo库中最后一类核心组件,EventLoop类。 先回顾一下三大核心组件之间的关系。 接着我们进入正题。 Ev…

C++算法之区间合并

本文介绍区间合并相关知识点 目录 文章目录 前言 区间合并 概述 做法 n个区间合并 校门外的树 总结 前言 本文介绍区间合并这一基础算法,介绍常规的做法以及模板 区间合并 概述 通常区间合并是给定数个区间,想要将有交集的区间合并成一个区间 如下要…

知识付费程序源码_30秒轻松搭建知识付费小程序_免费试用,知识付费工具有哪些?哪个比较好用?

继2016年知识付费大火之后,衍生出很多关于知识付费的平台或工具。除了得到APP、荔枝微课、千聊等需要用户作为“客”家申请入驻的流量型平台,还有一些其他的知识付费工具,那么有哪些呢? 知识付费工具,推荐使用系统。 自2016年知识…

蓝桥杯第246题——矩阵计数

题目描述 一个 NM 的方格矩阵,每一个方格中包含一个字符 O 或者字符 X。 要求矩阵中不存在连续一行 3 个 X 或者连续一列 3 个 X。 问这样的矩阵一共有多少种? 输入描述 输入一行包含两个整数 N,M (1≤N,M≤5)。 输出描述 输出一个整数代表答案。…

SpringBoot内置插件的使用(jackson和lombok)

文章目录 引言I lombok(自动为属性生成构造器)II jacksonsee also引言 idea2021.2.2 已经捆绑安装jackson和lombok插件 I lombok(自动为属性生成构造器) Lombok能通过注解的方式,在编译时自动为属性生成构造器、getter/setter、equals、hashcode、toString方法。 https://p…

Spring Cloud Gateway详解

文章目录 Gateway搭建路由(route)断言(Predicate )自定义断言 过滤器(filter)自定义全局过滤器 引言 在传统的单体项目中,前端和后端的交互相对简单,只需通过一个调用地址即可实现。…

【C语言题解】用函数来模拟实现strlen()、strcpy()、strcmp()、strcat()

🥰欢迎关注 轻松拿捏C语言系列,来和 小哇 一起进步!✊ 学习了函数后,老师让我们用函数来实现上面这四个字符串函数。 我们首先来了解一下这四个字符串函数: 1.strlen函数 用于获取字符串长度(不包括末尾…

每日OJ题_贪心算法四②_力扣435. 无重叠区间

目录 力扣435. 无重叠区间 解析代码 力扣435. 无重叠区间 435. 无重叠区间 难度 中等 给定一个区间的集合 intervals ,其中 intervals[i] [starti, endi] 。返回 需要移除区间的最小数量,使剩余区间互不重叠 。 示例 1: 输入: intervals [[1,2]…

机器学习-有监督学习

有监督学习是机器学习的一种主要范式,其基本思想是从有标签的训练数据中学习输入和输出之间的关系,然后利用学习到的模型对新的输入进行预测或分类。 有监督学习的过程如下: 1. 准备数据:首先,需要准备一组有标签的训练…

WPF EventSetter 写法

感觉这玩意之前一直没用过,可能在容器里用到的比较多吧,记录一下。 第一种代码法: Style itemContainerStyle new Style(typeof(ListBoxItem));itemContainerStyle.Setters.Add(new Setter(ListBoxItem.AllowDropProperty, true));itemCont…

IDEA安装使用Git

IDEA安装使用Git 1 Git下载与安装 2 在IDEA中使用Git 2.1 IDEA中配置Git 在IDEA中使用Git,本质上还是使用本地安装的Git软件,所以需要在IDEA中配置Git。 2.2 在IDEA中使用Git 2.2.1 获取Git仓库 在IDEA中使用Git获取仓库有两种方式: 本地初始化仓库从…

CentOS7 安装 Kamailio

https://www.kamailio.org/wiki/packages/rpms 官方文档说 yum -y install yum-utils yum-config-manager --add-repo https://rpm.kamailio.org/centos/kamailio.repo 但目前这样其实行不通 需要这样做: yum install --disablerepokamailio --enablerepokamai…

软件测试面试题学习

参考视频:软件测试面试——接口测试用例该怎么设计_哔哩哔哩_bilibili 1. 接口测试用例该怎么设计? a.功能测试用例的时候针对的是单接口,提交的一个各种正向或逆向的一些测试数据 b.业务测试用例,

Python异步编程之道:asyncio库的探索与应用

Python异步编程之道:asyncio库的探索与应用 一、引言 在Python编程中,异步编程是提高程序性能、处理高并发场景的重要技术。传统的同步编程模型在处理I/O密集型任务时,如网络请求、文件读写等,会导致CPU的空闲等待,从…

数据库出现死锁的解决方法参考

死锁引起的原因一般是多个用户并发访问数据库导致的问题,或是因为某个进程挂死以后资源未释放导致的。通过onstat –p可查看deadlks项大于0即表示历史总计死锁次数。对于被锁的表进行操作的时候会出现-143 ISAM error: deadlock detected的错误。当其他会话访问此表…

从JSON数据到Pandas DataFrame:如何解析出所需字段

目录 一、引言 二、JSON数据的基本结构 三、使用Pandas从JSON数据中读取数据 四、从DataFrame中解析出所需字段 解析对象字段 解析嵌套对象字段 解析数组字段 五、案例与代码示例 六、总结 一、引言 在数据分析和处理的日常工作中,我们经常需要从各种…

UBoat:一款功能强大的HTTP Botnet学习与研究工具

关于UBoat UBoat是一款功能强大的HTTP Botnet概念验证工具,该工具支持复刻一个现实场景中完整功能的Botnet测试环境,广大研究人员可以利用UBoat深入学习和研究Botnet的工作机制,以此来提升安全检测和保护策略。 功能介绍 1、基于C开发&…

luceda ipkiss教程 70:合并GDS版图

通过代码拼版: 所有代码如下: from si_fab import all as pdk from ipkiss3 import all as i3class Design1(i3.GDSCell):def _default_filename(self):return "Ring_Test.gds"def _default_name(self):return "Design1"class Des…