自动驾驶之心:毫米波雷达-视觉融合感知方法(前融合/特征级融合/数据级融合)

毫米波雷达-视觉融合感知方法(前融合/特征级融合/数据级融合)

分享一个自动驾驶之心的报告:毫米波雷达与视觉融合目标检测。

作者主页为:https://www.zhihu.com/people/nacayu

文章目录

  • 1. 毫米波雷达与相机融合检测背景
  • 2. 主流融合方法
  • 3. 其它领域应用简介
  • 4. 未来机遇与挑战

1. 毫米波雷达与相机融合检测背景

毫米波雷达显著特性有:可以测量目标的位置、速度、角度,此外毫米波雷达能够全天候全天时工作,受天气影响较小。

在这里插入图片描述
下面是毫米波雷达工作原理,原始的毫米波雷达数据是RDA数据块,分别表示距离、多普勒和角度,但在实际使用中往往得到的是点云数据。

在这里插入图片描述
下面是毫米波雷达和激光雷达的对比:

  • 毫米波雷达得到的点云是很稀疏的,同时是不均匀的;而激光雷达是稠密且均匀的;
  • 同时激光雷达和毫米波雷达发射方式也不同,激光雷达是射线发射,毫米波雷达是锥形发射;
  • 数据格式也完全不同,毫米波除了位置信息,还有RCS和速度信息,而激光雷达只能得到物体形状信息;

在这里插入图片描述

2. 主流融合方法

首先介绍多传感器融合的必要性,以及由此而引入的问题。

在这里插入图片描述
下面是不同融合方式的优劣势对比及代表工作,RadSegNet是一个用于做3D检测的代表性工作。
在这里插入图片描述
这里会重点介绍下面三个红字标出的方法。

在这里插入图片描述
首先是CRFNet,这里也给出了复现代码。
在这里插入图片描述
第二个就是CenterFusion,很经典的一个融合工作。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
第3个工作是CRAFT。

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
下面是特征融合的总结:

  • 如何选择适合Radar的特征表示形式,point表征,voxel表征还是proposal表征等;
  • 激光雷达中的特征提取方法能否迁移到Radar中,二者都可以看作是点云数据;
  • 如何高效的关联两个模态的数据;
  • Radar表征能力不断加强;
  • 寻求多阶段的融合方法;
  • 引入先验信息;

在这里插入图片描述
下面是已有的Radar数据集:

在这里插入图片描述


3. 其它领域应用简介

在这里插入图片描述

4. 未来机遇与挑战

4D毫米波雷达的兴起未来会促进相机与毫米波雷达的感知能力。之前在两个不同的4D毫米波雷达数据集上进行测试发现,一个数据集中平均每帧4D毫米波雷达会包含330个3D点,一个数据集中平均每帧会返回2700个3D点,点数远远多于传统的3D毫米波雷达,且同时还提供高度信息,无疑会大幅提高二者融合感知能力。

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/439462.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

【PAT - 甲级1095】Cars on Campus (30分)(模拟)

题干: Zhejiang University has 8 campuses and a lot of gates. From each gate we can collect the in/out times and the plate numbers of the cars crossing the gate. Now with all the information available, you are supposed to tell, at any specific t…

TFS中的迭代(五)

从团队资源管理器中打开迭代选项。 TFS在新建完团队项目后会自动为本团队项目新建迭代子项,包含发布和冲刺。第一级为团队项目TestProject,第二层为发布,第三层为冲刺,这样的层次一共可以建14层。 这些选项可以编辑,添…

2022百度ApolloDay技术开放日:文心大模型在自动驾驶感知中的落地应用

2数据处理大模型技术是自动驾驶行业近年的热议趋势,但能否落地应用、能否用好是关键难题。百度自动驾驶依托文心大模型特色优势,率先实现技术应用突破。百度自动驾驶技术专家王井东表示:文心大模型-图文弱监督预训练模型,背靠文心…

【PAT - 甲级1155】Heap Paths (30分)(栈,dfs,二叉树)

题干: In computer science, a heap is a specialized tree-based data structure that satisfies the heap property: if P is a parent node of C, then the key (the value) of P is either greater than or equal to (in a max heap) or less than or equal to…

TFS中的工作项(六)

TFS中的工作项 在VS中打开团队资源管理器 工作项有功能,产品积压工作项,任务,测试用例,Bug,障碍,它们之间的关系是:一个产品或应用,有一系列功能,功能最大,可…

单目3D物体检测模型(CaDDN): Categorical Depth Distribution Network for Monocular 3D Object Detection

本文介绍一篇单目3D物体检测模型:CaDDN,论文收录于 CVPR2021。 单目3D物体检测的主要挑战在于准确预测物体深度,由于缺乏直接的距离测量,因此必须根据物体和场景线索来推断物体深度。过去许多方法试图直接估计深度来辅助3D检测&am…

【PAT - 甲级1003】Emergency (25分)(Dijkstra,最短路条数,双权值最短路)

题干: As an emergency rescue team leader of a city, you are given a special map of your country. The map shows several scattered cities connected by some roads. Amount of rescue teams in each city and the length of each road between any pair of…

抠图、换背景、正装图证件照制作方法

本篇灵感是最近又要使用别的底色的正装照的图片。上学的时候,要求证件照的底色是蓝底、党员档案里要求图片的底色是红底、 将来上班的证件照要求是白底,并且无论是考研还是找工作都是制作简历的时候,根据简历的样板不同需要更换不同的底色。 …

TFS的Web门户工作项(七)

在TFS的web门户中有更丰富和更全面的设置和数据展示。 Web门户如图有A,B,C,D四部分组成。A部分为团队项目和项目切换,登录人员和登录人员切换。B部分是Web门户主要功能的菜单,C部分是当前团队项的一些信息的展示&#…

详解多视角3D检测模型 BEVDepth: Acquisition of Reliable Depth for Multi-view 3D Object Detection

本文介绍一个多视角的3D检测模型:BEVDepth,论文收录于 AAAI2023。在这篇文章中,作者提出了一种新的具有可信深度估计的三维物体检测器。本文提出的BEVDepth通过利用激光雷达显式深度监督来提高图像深度估计的可信度。作者引入了摄像机感知深度…

TFS版本管理(八)

目前TFS支持两种版本管理方式,一种是自带的TFS版本控制,一种是Git,后一种是分布式,并且分支功能相对强大,关于Git可以找更详细的资源学习。 如果没有创建项,在web门户中代码下的资源管理器是空的。 团队资…

【PAT - 甲级1006】Sign In and Sign Out (25分)(STLmap)

题干: At the beginning of every day, the first person who signs in the computer room will unlock the door, and the last one who signs out will lock the door. Given the records of signing ins and outs, you are supposed to find the ones who have …

Python开发常用工具库

本文汇总了在使用Python开发时常用到的第三方库和工具。 1.Python 官网地址:https://www.python.org/doc/ 博文地址:《Python编程:从入门到实践》速查表 2.OpenCV(图像处理) 官网地址:https://opencv.o…

TFS中的统一集成(九)

首先要在TFS服务器上配置生成配置,操作如下: 现在可以创建一个生成定义了,单击团队资源管理器的生成。 新建生成定义: 这里选择的是手动。触发这个生成有很多条件,我们选择手动主式。 在要服务器上共享一个文件夹&…

【PAT - 甲级1009】Product of Polynomials (25分)(模拟,细节)

题干: This time, you are supposed to find AB where A and B are two polynomials. Input Specification: Each input file contains one test case. Each case occupies 2 lines, and each line contains the information of a polynomial: K N​1​​ a​N​…

常用工具整理:数学,论文,代码等

1. Mathpix(图片转数学公式工具) 官网地址:Mathpix Snip在线LaTeX公式编辑:在线LaTeX公式编辑器-编辑器 (latexlive.com)推荐另一个开源的工具:Image to LaTex Converter,官网地址:GitHub - ki…

【PAT - 甲级1010】Radix (25分)(二分,进制转化)

题干: Given a pair of positive integers, for example, 6 and 110, can this equation 6 110 be true? The answer is yes, if 6 is a decimal number and 110 is a binary number. Now for any pair of positive integers N​1​​ and N​2​​, your task …

C#中 ??、 ?、 ?: 、?.、?[ ]、:

1. 可空类型修饰符(?) 引用类型可以使用空引用表示一个不存在的值,而值类型通常不能表示为空。 例如:string strnull; 是正确的,int inull; 编译器就会报错。 为了使值类型也可为空,就可以使用…

几位无人驾驶领域的杰出科学家

本文介绍了几位无人驾驶领域杰出的科学家们,大家可以关注他们的主页,及时了解一些无人驾驶行业最新动态。 (当然还有很多杰出的科学家,这里不一一列举了,暂时只列举出4位:3位外国科学家1位中国科学家&#…

【PAT - 甲级1012】The Best Rank (25分)

题干: To evaluate the performance of our first year CS majored students, we consider their grades of three courses only: C - C Programming Language, M - Mathematics (Calculus or Linear Algrbra), and E - English. At the mean time, we encourage s…