详解4D毫米波雷达数据集(VOD)Multi-class Road User Detection with 3+1D Radar in the View-of-Delft Dataset

Multi-class Road User Detection with 3+1D Radar in the View-of-Delft Dataset

本文介绍一个新的自动驾驶数据集:VOD,论文收录于 ICRA2022。下一代毫米波雷达除了提供距离、方位多普勒速度外,还会提供高度信息。

  • 在本文中,作者将 PointPillars 3D 检测器应用于了 3+1D 雷达数据 (1D指的是多普勒)。在消融实验中,作者比较了雷达高度信息、多普勒速度、雷达反射截面 RCS雷达点云时域融合对最终检测性能的影响。
  • 随后,作者比较了毫米波雷达和激光雷达在不同目标类别和距离上的检测性能。
  • 本文提出的 VOD 数据集,包含 8693 帧时间同步和标定好的 64线激光雷达、双目相机和 3+1D 雷达,数据是在复杂的城市交通中采集的。包括 123106 个运动和静态对象的 3D 边界框,其中包括 26587 个行人、10800 个骑自行车的人和 26949 辆汽车。
  • 实验表明,64线激光雷达的检测性能仍然优于 3+1D 雷达的检测性能,但添加高度信息连续雷达扫描的融合有助于缩小二者之间的检测差距。

项目链接为:https://github.com/tudelft-iv/view-of-delft-dataset


1. Dataset

下表是开源的毫米波雷达数据集比较,目前学术界使用很广泛的有nuScenes,不过其使用的是2+1D毫米波雷达,3+1D毫米波雷达数据集还有Astyx,不过只有546frames,规模很小,不适合做研究。VOD除了使用3+1D毫米波雷达以外,还使用到了双目摄像头和64线激光雷达,共标注了8693frames,是目前最大的含有3+1D毫米波雷达的数据集。

在这里插入图片描述

下表是4D毫米波雷达传感器的规范,可以看到其在测量距离,速度,升角和方位角的准确度和分辨率。传感器坐标方向以及最终的数据结构形式和KITTI数据集一模一样(只是编号稍有不同),详细内容可以看github中作者提供的jupyter notebook。

在这里插入图片描述

下表是数据统计情况:可以看到不同类别的标注数量及其在整个数据集的比例以及动态物体所占比例。

在这里插入图片描述


2. Methodology

本文中使用PointPillars作为多类别物体检测器。毫米波雷达返回点云共包含5个特征:距离 rrr、方位角 α\alphaα、升程角 θ\thetaθ、相对速度 vrelv_{rel}vrel 以及反射截面 RCSRCSRCS。转换为直角坐标系,则可以得到点云 p=[x,y,z,vrel,RCS]p=[x,y,z,v_{rel},RCS]p=[x,y,z,vrel,RCS]。根据自车速度,可以得到补偿后的速度 vrv_rvr,可以看作是一个附加特征。

LiDAR领域中的数据增强技术不能直接用于毫米波雷达点云,这是因为雷达测量的相对速度与物体所处的角度相关。同样地,也不能旋转真值bounding box和其中的点云,这会导致物体的速度发生改变。


3. Experiments

本文测试了三种类别的检测性能:汽车,行人,骑自行车人员。三种类别的空间分布如下图所示,训练集、验证集、测试集比例为59%/15%/26%。

在这里插入图片描述
本文给出了两个区域的评价指标,一是整个区域(相机FOV至50米),二是矩形区域(相机坐标: −4m<x<4m,z<25m-4m<x<4m,z<25m4m<x<4m,z<25m)。下表是不同区域、不同类别的检测结果(这是测试集结果)。可以看出:

  • 速度特征对行人和骑自行车人员的检测影响很大,其次是高度信息,然后是RCS。
  • 聚合多帧雷达扫描有助于提高检测结果,特别是在Cyclist提升最多。
    在这里插入图片描述
    在这里插入图片描述在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/439463.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自动驾驶之心:毫米波雷达-视觉融合感知方法(前融合/特征级融合/数据级融合)

毫米波雷达-视觉融合感知方法&#xff08;前融合/特征级融合/数据级融合&#xff09;分享一个自动驾驶之心的报告&#xff1a;毫米波雷达与视觉融合目标检测。 作者主页为&#xff1a;https://www.zhihu.com/people/nacayu 文章目录1. 毫米波雷达与相机融合检测背景2. 主流融合…

【PAT - 甲级1095】Cars on Campus (30分)(模拟)

题干&#xff1a; Zhejiang University has 8 campuses and a lot of gates. From each gate we can collect the in/out times and the plate numbers of the cars crossing the gate. Now with all the information available, you are supposed to tell, at any specific t…

TFS中的迭代(五)

从团队资源管理器中打开迭代选项。 TFS在新建完团队项目后会自动为本团队项目新建迭代子项&#xff0c;包含发布和冲刺。第一级为团队项目TestProject&#xff0c;第二层为发布&#xff0c;第三层为冲刺&#xff0c;这样的层次一共可以建14层。 这些选项可以编辑&#xff0c;添…

2022百度ApolloDay技术开放日:文心大模型在自动驾驶感知中的落地应用

2数据处理大模型技术是自动驾驶行业近年的热议趋势&#xff0c;但能否落地应用、能否用好是关键难题。百度自动驾驶依托文心大模型特色优势&#xff0c;率先实现技术应用突破。百度自动驾驶技术专家王井东表示&#xff1a;文心大模型-图文弱监督预训练模型&#xff0c;背靠文心…

【PAT - 甲级1155】Heap Paths (30分)(栈,dfs,二叉树)

题干&#xff1a; In computer science, a heap is a specialized tree-based data structure that satisfies the heap property: if P is a parent node of C, then the key (the value) of P is either greater than or equal to (in a max heap) or less than or equal to…

TFS中的工作项(六)

TFS中的工作项 在VS中打开团队资源管理器 工作项有功能&#xff0c;产品积压工作项&#xff0c;任务&#xff0c;测试用例&#xff0c;Bug&#xff0c;障碍&#xff0c;它们之间的关系是&#xff1a;一个产品或应用&#xff0c;有一系列功能&#xff0c;功能最大&#xff0c;可…

单目3D物体检测模型(CaDDN): Categorical Depth Distribution Network for Monocular 3D Object Detection

本文介绍一篇单目3D物体检测模型&#xff1a;CaDDN&#xff0c;论文收录于 CVPR2021。 单目3D物体检测的主要挑战在于准确预测物体深度&#xff0c;由于缺乏直接的距离测量&#xff0c;因此必须根据物体和场景线索来推断物体深度。过去许多方法试图直接估计深度来辅助3D检测&am…

【PAT - 甲级1003】Emergency (25分)(Dijkstra,最短路条数,双权值最短路)

题干&#xff1a; As an emergency rescue team leader of a city, you are given a special map of your country. The map shows several scattered cities connected by some roads. Amount of rescue teams in each city and the length of each road between any pair of…

抠图、换背景、正装图证件照制作方法

本篇灵感是最近又要使用别的底色的正装照的图片。上学的时候&#xff0c;要求证件照的底色是蓝底、党员档案里要求图片的底色是红底、 将来上班的证件照要求是白底&#xff0c;并且无论是考研还是找工作都是制作简历的时候&#xff0c;根据简历的样板不同需要更换不同的底色。 …

TFS的Web门户工作项(七)

在TFS的web门户中有更丰富和更全面的设置和数据展示。 Web门户如图有A&#xff0c;B&#xff0c;C&#xff0c;D四部分组成。A部分为团队项目和项目切换&#xff0c;登录人员和登录人员切换。B部分是Web门户主要功能的菜单&#xff0c;C部分是当前团队项的一些信息的展示&#…

详解多视角3D检测模型 BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection

本文介绍一个多视角的3D检测模型&#xff1a;BEVDepth&#xff0c;论文收录于 AAAI2023。在这篇文章中&#xff0c;作者提出了一种新的具有可信深度估计的三维物体检测器。本文提出的BEVDepth通过利用激光雷达显式深度监督来提高图像深度估计的可信度。作者引入了摄像机感知深度…

TFS版本管理(八)

目前TFS支持两种版本管理方式&#xff0c;一种是自带的TFS版本控制&#xff0c;一种是Git&#xff0c;后一种是分布式&#xff0c;并且分支功能相对强大&#xff0c;关于Git可以找更详细的资源学习。 如果没有创建项&#xff0c;在web门户中代码下的资源管理器是空的。 团队资…

【PAT - 甲级1006】Sign In and Sign Out (25分)(STLmap)

题干&#xff1a; At the beginning of every day, the first person who signs in the computer room will unlock the door, and the last one who signs out will lock the door. Given the records of signing ins and outs, you are supposed to find the ones who have …

Python开发常用工具库

本文汇总了在使用Python开发时常用到的第三方库和工具。 1.Python 官网地址&#xff1a;https://www.python.org/doc/ 博文地址&#xff1a;《Python编程&#xff1a;从入门到实践》速查表 2.OpenCV&#xff08;图像处理&#xff09; 官网地址&#xff1a;https://opencv.o…

TFS中的统一集成(九)

首先要在TFS服务器上配置生成配置&#xff0c;操作如下&#xff1a; 现在可以创建一个生成定义了&#xff0c;单击团队资源管理器的生成。 新建生成定义&#xff1a; 这里选择的是手动。触发这个生成有很多条件&#xff0c;我们选择手动主式。 在要服务器上共享一个文件夹&…

【PAT - 甲级1009】Product of Polynomials (25分)(模拟,细节)

题干&#xff1a; This time, you are supposed to find AB where A and B are two polynomials. Input Specification: Each input file contains one test case. Each case occupies 2 lines, and each line contains the information of a polynomial: K N​1​​ a​N​…

常用工具整理:数学,论文,代码等

1. Mathpix&#xff08;图片转数学公式工具&#xff09; 官网地址&#xff1a;Mathpix Snip在线LaTeX公式编辑&#xff1a;在线LaTeX公式编辑器-编辑器 (latexlive.com)推荐另一个开源的工具&#xff1a;Image to LaTex Converter&#xff0c;官网地址&#xff1a;GitHub - ki…

【PAT - 甲级1010】Radix (25分)(二分,进制转化)

题干&#xff1a; Given a pair of positive integers, for example, 6 and 110, can this equation 6 110 be true? The answer is yes, if 6 is a decimal number and 110 is a binary number. Now for any pair of positive integers N​1​​ and N​2​​, your task …

C#中 ??、 ?、 ?: 、?.、?[ ]、:

1. 可空类型修饰符&#xff08;&#xff1f;&#xff09; 引用类型可以使用空引用表示一个不存在的值&#xff0c;而值类型通常不能表示为空。 例如&#xff1a;string strnull; 是正确的&#xff0c;int inull; 编译器就会报错。 为了使值类型也可为空&#xff0c;就可以使用…

几位无人驾驶领域的杰出科学家

本文介绍了几位无人驾驶领域杰出的科学家们&#xff0c;大家可以关注他们的主页&#xff0c;及时了解一些无人驾驶行业最新动态。 &#xff08;当然还有很多杰出的科学家&#xff0c;这里不一一列举了&#xff0c;暂时只列举出4位&#xff1a;3位外国科学家1位中国科学家&#…