论文阅读:Lidar Annotation Is All You Need

目录

概要

Motivation

整体架构流程

技术细节

小结


概要

    论文重点在探讨利用点云的地面分割任务作为标注,直接训练Camera的精细2D分割。在以往的地面分割任务中,利用Lidar来做地面分割是目前采用激光雷达方案进行自动驾驶的常见手段。来自Evocargo LCC的学者认为在2D上直接做分割的标注(尤其是高精度的分割标注)是比较耗时耗力的,这会带来很多额外的成本,不利于大规模自动驾驶量产。作者提出使用3D的地面粗分割结果(例如patchwork++这种无需训练的模型)作为reference。解决了激光雷达点云的稀疏地面实况蒙版的问题。该方法的实验证明,在减轻注释负担的同时,能够保持与高质量图像分割模型相媲美的性能。

    论文方法的关键创新是masked损失,其解决了激光雷达点云中稀疏的真值masks。

    论文的贡献总结如下:

  1. 提出了一种新型的灵活且有效的图像分割方法,使用卷积神经网络和投影的激光雷达点云数据作为真值;
  2. 在若干数据集上评估了所提出的方法,将其与使用标准2D真值训练的模型进行比较,并且考虑了本文方法的细节,包括混合能力以及传感器设置的差异。

Motivation

  1. 虽然激光雷达数据提供准确的深度信息,但它们无法精确分割场景内的对象;
  2. 激光雷达测量在某些情况下的精度有限;例如,当处理透明或反射表面时,反射的激光脉冲可能会被扭曲或吸收。
  3. 减少了标注的负担,并且能够在不损失分割质量的情况下训练图像分割模型。

整体架构流程

    方法的整体流程如上图所示。它由四个主要部分组成:点云道路注释、数据准备、掩模损失和分割模型本身。首先,我们获取点云域中带有道路注释的数据。之后,我们使用齐次变换和相机参数来投影点。然后,使用投影点,获得道路地面实况和掩模,用于添加随机噪声的损失计算。来自相机的图像由分割模型处理。Masked 损失利用上一步的预测和掩码,从而允许使用稀疏的地面实况数据来训练模型。最后,经过模型训练,得到了具有分段道路的图像。训练过程以及Masked损失允许将投影的地面实况与传统的 2D掩模混合,这使得该方法在数据方面具有灵活性。  

技术细节

"Waymo full"数据集验证分割的道路分割结果(IoU 的百分比),该数据集针对在不同比率的 2D图像掩模和基于激光雷达的地面实况上训练的模型。

Waymo 开放数据集上三种模型的预测比较。从上到下:仅 2D、仅投影 3D、混合 2D + 投影 3D

    可以在训练过程中将数据集中的 2D 图像掩模与 3D 点云掩模结合起来。这种多功能性非常有价值,特别是当 3D 激光雷达点和图像的手动注释可能不切实际时(当数据集非常大时)。该方法使用两个公共数据集(Waymo 开放数据集和 KITTI-360)和一个专有数据集进行了测试,结果令人鼓舞。仅在投影激光雷达点掩模上训练的模型的性能略逊于二维掩模训练的模型,但前者的质量仍然很高,并且与后者的质量相当。在 2D 掩模和激光雷达投影组合上训练的模型的性能指标与传统的 2D 掩模模型相匹配甚至超过了传统的 2D 掩模模型,强调了这种混合方法的潜力。混合实验表明,可以将训练所需的图像量减少 50%,并在不损失预测质量的情况下增加投影3D 数据量。

小结

    在文中介绍了一种新的道路表面分割方法,其利用了标注的激光雷达点云和传统的2D图像掩膜。通过本文流程(包括点云道路标注、真值数据准备、分割神经网络和专门设计的masked损失函数),作者展示了激光雷达获得的道路masks如何使神经网络在图像分割任务中表现更好。论文方法使用较少的资源来标注来自不同类型传感器的数据。

    该方法的一个显著优势是其灵活性,它能够在训练过程中将数据集中的2D图像掩膜和3D点云掩膜相结合。这种多功能性非常有价值,尤其在3D激光雷达点云和图像的手动标注可能不切实际的情况下(当数据集非常大时)。该方法使用两个公开数据集(Waymo Open Dataset和KITTI-360)和一个专有数据集进行测试,结果非常良好。仅在投影的激光雷达点云掩膜上训练的模型的性能略低于2D掩膜训练的模型,但是前者的质量仍然很高,与后者的质量相当。在2D掩膜和激光雷达投影的组合上训练的模型的性能指标与传统的2D掩膜模型相当甚至超过2D掩膜模型,从而突出了这种混合方法的潜力。混合实验表明,可以将训练所需的图像数量减少50%,并且在不损失预测质量的情况下增加投影的3D数据数量。

    在Waymo和KITTI-360数据集上的分析结果表明,激光雷达的特性(例如图像上的点分布、距离和频率)会影响分割结果。这种可变性表明,尽管基于激光雷达的标注很重要,但是也应该考虑每个数据集的独特属性,包括硬件细节和环境变量。

    未来的研究可以使用不同的方法。增强投影的激光雷达点云的规模可能会提高覆盖范围,但是会损失一些精度。今后也能够扩展数据融合技术,利用车辆周围的多相机视角并且探索各种激光雷达设置。理解不同激光雷达之间的细微差别是至关重要的,并且需要在各种条件下(冬天和夜间场景等)测试本文方法。最后,需要额外研究将投影的激光雷达点作为输入的新型神经架构,可能会优化2D图像标注和3D激光雷达数据的组合,以增强分割。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/227565.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

phpstudy是什么?

PHPStudy 是一个集成环境工具,它将 PHP 开发所需的软件,如 Apache(Web服务器)、MySQL(数据库服务器)、PHP(脚本语言)等打包在一起,以便用户能够轻松安装和配置这些软件&a…

UniGUI 之UniDBGrid

目录 1]DataSource设置 2]显示MEMO类型里的文字 3]显示悬浮提示 4]显示当前记录及总记录数 5]读取所有记录,及分页 6]在前面加上序号列 7]不显示标题栏 8]列排序 9]编辑 和 更新 数据 10]获得某单元格里的内容 11]标题别名 12]将某列设置为CheckBox格式 13]列标题…

Redis设计与实现之字符串哈希表列表

目录 一、字符串 1、字符串编码 2、编码的选择 二、哈希表 1、字典编码的哈希表 2、压缩列表编码的哈希表 3、编码的选择 4、哈希命令的实现 三、列表 1、 编码的选择 2、 列表命令的实现 3、阻塞的条件 4、 阻塞 5、 阻塞因 LPUSH 、RPUSH 、LINSERT 等添加命令而…

【C语言】操作符详解(五)

目录 操作符的属性:优先级,结合性 优先级 结合性 表达式求值 整形提升 算术转换 问题表达式解析 表达式1 表达式2 表达式3 总结 操作符的属性:优先级,结合性 优先级 ⭐优先级:优先级指的是,如果一…

网络安全——Iptables防DDoS攻击实验

一、实验目的要求: 二、实验设备与环境: 三、实验原理: 四、实验步骤: 五、实验现象、结果记录及整理: 六、分析讨论与思考题解答: 一、实验目的要求: 1、掌握常见DDoS攻击SYN Flood的攻击…

PCL点云处理之主成分分析(PCA)拟合圆柱参数(C++详细介绍)(二百二十六)

PCA点云处理之主成分分析拟合圆柱参数(C++详细介绍)(二百二十六) 一、算法介绍二、算法设计三、算法实现1.代码2.结果3.矩阵分解的特征值和特征向量的说明一、算法介绍 这个算法的作用是对给定的点云数据进行圆柱拟合,从而得到圆柱的主轴向量、中心点和半径参数。具体来说…

Cmake基础(4)

这篇文章在上一篇的基础之上应用多文件,即一个项目中添加多个文件 文章目录 GLOBsource_group排除文件 上一篇文章的cmake基本不变,这篇文章的重点在于add_executable(${EXECUTABLE_NAME} main.cpp) GLOB file(GLOB cpp_list ${CMAKE_CURRENT_SOURCE_…

FPGA实现腐蚀和膨胀算法verilog设计及仿真 加报告

要在FPGA上实现腐蚀和膨胀算法,你可以按照以下步骤进行: 图像存储:首先,你需要设计一个图像存储器来存储待处理的图像数据。这可以采用FPGA内部存储器或外部存储器。 读取图像数据:使用适当的接口从图像存储器中读取图像数据,并将其加载到FPGA的计算单元中。 结构元素定义…

Arrays.asList()方法:陷阱与解决之道

在Java编程中,Arrays类提供了一系列用于操作数组的实用方法。其中,​Arrays.asList()​方法是一个常用的方法,用于快速将数组转换为List集合。然而,这个方法存在一些潜在的陷阱,可能导致出现意外的行为。本文将介绍​A…

h5 hdf5 pytables 数据库 减少空间占用的方法

方法来源:https://forum.hdfgroup.org/t/hdf5-deleting-datasets-and-recovering-space/1293 h5 数据库,在删除一些数据,表,数组后,无法变小; 或是在多次读写后,会越来越大,并且有一…

剑指 Offer(第2版)面试题 35:复杂链表的复制

剑指 Offer(第2版)面试题 35:复杂链表的复制 剑指 Offer(第2版)面试题 35:复杂链表的复制解法1:模拟 剑指 Offer(第2版)面试题 35:复杂链表的复制 题目来源&…

python:import 自定义包或者.py文件时出现:ModuleNotFoundError: no module named 的问题解决

问题: 在以下的示例中,wuHanMoviesSprider.py文件,想要import引用指定目录下的Items类时,出现无法识别module模块的问题(from 的引用处报错)。 原因分析: 正常情况下,被引用的包(或目录)中存在一个空文件…

【华为数据之道学习笔记】5-3数据入湖标准

数据入湖是数据消费的基础,需要严格满足入湖的6项标准,包括明确数据Owner、发布数据标准、定义数据密级、明确数据源、数据质量评估、元数据注册。通过这6项标准保证入湖的数据都有明确的业务责任人,各项数据都可理解,同时都能在相…

vue 实现点击复制文本到剪贴板

vue 实现点击复制文本到剪贴板 共四种方法 1. navigator.clipboard.writeText该方法需要在安全域下才能够使用&#xff0c;比如&#xff1a;https 协议的地址、127.0.0.1、localhost <template><div><el-button type"primary" click"btn1"…

【PostgreSQL】从零开始:(八)PostgreSQL-数据库PSQL元命令

元命令 postgres# \? General\bind [PARAM]... set query parameters\copyright show PostgreSQL usage and distribution terms\crosstabview [COLUMNS] execute query and display result in crosstab\errverbose show most recent error…

Docker 部署 Lobe Chat 服务

拉取最新版本的 Lobe Chat 镜像&#xff1a; $ sudo docker pull lobehub/lobe-chat:latest使用以下命令来运行 Lobe Chat 容器: $ sudo docker run -d --name lobe-chat -p 10084:3210 -e OPENAI_API_KEYsk-xxxx -e OPENAI_PROXY_URLhttps://api.openai.com/v1 -e ACCESS_CO…

ES6 面试题 | 13.精选 ES6 面试题

&#x1f90d; 前端开发工程师&#xff08;主业&#xff09;、技术博主&#xff08;副业&#xff09;、已过CET6 &#x1f368; 阿珊和她的猫_CSDN个人主页 &#x1f560; 牛客高级专题作者、在牛客打造高质量专栏《前端面试必备》 &#x1f35a; 蓝桥云课签约作者、已在蓝桥云…

深度神经网络在作为人类听觉模型方面显示出了前景

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗&#xff1f;订阅我们的简报&#xff0c;深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同&#xff0c;从行业内部的深度分析和实用指南中受益。不要错过这个机会&#xff0c;成为AI领…

android Retrofit2.0请求 延长超时操作

import okhttp3.OkHttpClient; import retrofit2.Retrofit; import retrofit2.converter.gson.GsonConverterFactory;public class MyApiClient {private static final String BASE_URL "https://api.example.com/";// 创建 OkHttpClient&#xff0c;并设置超时时间…

普冉(PUYA)单片机开发笔记(10): I2C通信-配置从机

概述 I2C 常用在某些型号的传感器和 MCU 的连接&#xff0c;速率要求不高&#xff0c;距离很短&#xff0c;使用简便。 I2C的通信基础知识请参见《基础通信协议之 IIC详细讲解 - 知乎》。 PY32F003 可以复用出一个 I2C 接口&#xff08;PA3&#xff1a;SCL&#xff0c;PA2&a…