详解3D物体检测模型 SPG: Unsupervised Domain Adaptation for 3D Object Detection via Semantic Point Generation

在这里插入图片描述
本文对基于激光雷达的无监督域自适应3D物体检测进行了研究,论文已收录于 ICCV2021

Waymo Domain Adaptation dataset上,作者发现点云质量的下降是3D物件检测器性能下降的主要原因。因此论文提出了Semantic Point Generation (SPG)方法,首先在预测的前景点区域生成语义点云,复原前景点物体缺失的部分。然后,将原始点云与生成的语义点云进行融合得到增强后的点云数据,再使用通用的3D物体检测器进行检测。在WaymoKITTI 数据集上,无论是在target domain 还是 source domain上,本文提出的SPG方法都大幅提高了3D物检检测器的性能。

论文链接为:https://arxiv.org/pdf/2108.06709v1.pdf


1. Introduction

首先是引出本文要解决的问题:Waymo Open Dataset (OD)数据集是在California和Arizona收集的,而Waymo Kirkland Dataset (Kirk)是在Kirk收集的,这里将OD数据当作source domainKirk数据当作target domain

作者使用PointpPllars模型在OD训练集上训练,然后在ODKirk验证集上进行验证。从表1可以看出,雨天下收集到的点云质量下降很厉害,平均每帧缺失点数几乎是干燥天气下的两倍,检测性能也下降了27%左右;同时从Range Image上也可以看出雨天下物体点云缺失的区域也更不规则。

在这里插入图片描述在这里插入图片描述

2. Semantic Point Generation

本文提出的SPG辅助检测方法如下图所示,SPG首先在预测的前景点区域生成语义点集,然后语义点集与原始点云相结合得到增强点云 PCaugPC_{aug}PCaug,最后再使用一个点云检测器得到检测结果。

在这里插入图片描述

2.1 Training Targets

设原始输入点云为 PCraw={p1,p2,...,pN}∈R3+FPC_{raw}=\{p_1,p_2,...,p_N\} \in \mathbb{R}^{3+F}PCraw={p1,p2,...,pN}R3+F333 表示点云坐标,FFF 表示点云属性。

  • SPG首先将原始点云划分为一个个Voxel,对于每一个Voxel,模型首先预测其为前景Voxel的概率 P~f\tilde{P}^{f}P~f,然后在每一个前景Voxel生成语义点集 sp~\tilde {sp}sp~,其特征为 ψ~=[χ~,f~]\tilde{\psi}=[\tilde{\chi}, \tilde{f}]ψ~=[χ~,f~],分别表示语义点集的坐标和属性。
  • 在与原始点云融合时只保留置信度超过 PthreshP_{thresh}PthreshKKK 个点,得到增强后的点云PCaug={p^1,p^2,…,p^N,sp~1,sp~2,…,sp~K}∈R3+F+1PC_{aug}=\left\{\hat{p}_{1}, \hat{p}_{2}, \ldots, \hat{p}_{N}, \tilde{s p}_{1}, \tilde{s p}_{2}, \ldots, \tilde{s p}_{K}\right\} \in \mathbb{R}^{3+F+1}PCaug={p^1,p^2,,p^N,sp~1,sp~2,,sp~K}R3+F+1最后一个通道表示点为前景点的置信度,原始点云则置信度为 1.01.01.0,语义点集则置信度为 P~f\tilde{P}^fP~f

在训练时,如果划分的Voxel为前景voxel VfV^fVf,则其对应类别 yif=1y_i^f=1yif=1,否则为 yif=0y_i^f=0yif=0。如果划分的Voxel非空的话, 令 ψi=[χˉi,fˉi]\psi_{i}=\left[\bar{\chi}_{i}, \bar{f}_{i}\right]ψi=[χˉi,fˉi] 为回归目标,其中 χiˉ\bar{\chi_i}χiˉ 为Voxel中所有前景点的平均坐标,fˉi\bar{f}_ifˉi 为前景点的属性平均值。
在这里插入图片描述


2.2 Model Structure

SPG模型结构由三部分组成:

  • 首先是Voxle特征编码模块,对每一个Voxel进行特征学习,编码成pillars投影到鸟瞰图;
  • 然后是信息传播模块,将非空pillars语义信息传播到附近非空pillars;
  • 最后是语义点集生成模块,在每一个前景Voxel生成语义点集 sp~i=[χ~i,f~i,P~if]\tilde{sp}_i=\left[\tilde{\chi}_{i}, \tilde{f}_{i}, \tilde{P}_{i}^{f}\right]sp~i=[χ~i,f~i,P~if]

2.3 Foreground Region Recovery

为了在 empty areas 生成语义点集,作者设计了两个策略Hide and PredictSemantic Area Expansion

  • Hide and Predict。原始点云 PCrawPC_{raw}PCraw 划分为Voxel集合 V={v1,v2,...,vM}V=\{v_1,v_2,...,v_M\}V={v1,v2,...,vM},在训练时,丢弃 γ%\gamma\%γ%的非空Voxel VhideV_{hide}VhideSPG需要预测出这些隐藏的Voxel标签 yfy^fyf和对应点特征 ψ~\tilde{\psi}ψ~
  • Semantic Area Expansion。作者设计了一个扩展语义区域策略(图5所示),用以在empty space生成语义点集。具体地,非空和空的背景Voxel为 Vob,VebV_o^b,V_e^bVob,Veb,其对应标签为 yf=0y^f=0yf=0;非空前景Voxel VofV_o^fVof 类别标签 yf=1y^f=1yf=1;bounding box中空的前景Voxel VefV_e^fVef 类别标签为 yf=1y^f=1yf=1,同时增加一个权重系数 α<1\alpha < 1α<1;监督学习非空前景Voxel VofV_o^fVof 点集特征 ψ\psiψ。图6为是否使用Expansion生成语义点集的效果。
在这里插入图片描述在这里插入图片描述

2.4 Objectives

损失函数有两个,一个是类别损失函数,其中 VoV_oVo 为非空Voxel,VebV_e^bVeb 为空的背景Voxel,VefV_e^fVef 为空的前景Voxel,VhideV_{hide}Vhide 为隐藏的Voxel。

Lcls=1∣Vo∪Veb∣∑Vo∪VebLfocal +α∣Vef∣∑VefLfocal +β∣Vhide ∣∑Vhide Lfocal \begin{aligned} L_{c l s} &=\frac{1}{\left|V_{o} \cup V_{e}^{b}\right|} \sum_{V_{o} \cup V_{e}^{b}} L_{\text {focal }} +\frac{\alpha}{\left|V_{e}^{f}\right|} \sum_{V_{e}^{f}} L_{\text {focal }}+\frac{\beta}{\left|V_{\text {hide }}\right|} \sum_{V_{\text {hide }}} L_{\text {focal }} \end{aligned} Lcls=VoVeb1VoVebLfocal +VefαVefLfocal +Vhide βVhide Lfocal 

另一个是点集回归损失函数:
Lreg =1∣Vof∣∑VofLsmooth- L1(ψ~,ψ)+β∣Vhide f∑Vhide fLsmooth-L1 (ψ~,ψ)\begin{aligned} L_{\text {reg }} &=\frac{1}{\left|V_{o}^{f}\right|} \sum_{V_{o}^{f}} L_{\text {smooth- } L 1}(\tilde{\psi}, \psi) +\frac{\beta}{\mid V_{\text {hide }}^{f}} \sum_{V_{\text {hide }}^{f}} L_{\text {smooth-L1 }}(\tilde{\psi}, \psi) \end{aligned} Lreg =Vof1VofLsmooth- L1(ψ~,ψ)+Vhide fβVhide fLsmooth-L1 (ψ~,ψ)


3. Experiments

首先是在Waymo数据集上的检测结果:

在这里插入图片描述在这里插入图片描述在这里插入图片描述

然后是在KITTI数据集上的检测结果。

在这里插入图片描述在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/439588.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Waymo研发经理:《自动驾驶感知前沿技术介绍》

Waymo研发经理|自动驾驶感知前沿技术介绍这是Waymo研发经理&#xff08;VoxelNet作者&#xff09;的一个最新分享报告&#xff1a;《自动驾驶感知前沿技术介绍》。在这份报告里&#xff0c;介绍了Waymo在自动驾驶感知中五个研究方向的最新成果。 1. Overview of the autonomous…

几种常见软件过程模型的比较

瀑布模型 瀑布模型&#xff08;经典生命周期&#xff09;提出了软件开发的系统化的、顺序的方法。其流 程从用户需求规格说明开始&#xff0c;通过策划、建模、构建和部署的过程&#xff0c;最终提供一 个完整的软件并提供持续的技术支持。 优点&#xff1a; 1. 强调开发的…

两篇基于语义地图的视觉定位方案:AVP-SLAM和RoadMap

本文介绍两篇使用语义地图进行视觉定位的论文&#xff0c;两篇论文工程性很强&#xff0c;值得一学。 AVP-SLAM是一篇关于自动泊车的视觉定位方案&#xff0c;收录于 IROS 2020。论文链接为&#xff1a;https://arxiv.org/abs/2007.01813&#xff0c;视频链接为&#xff1a;ht…

【51Nod - 1270】数组的最大代价(dp,思维)

题干&#xff1a; 数组A包含N个元素A1, A2......AN。数组B包含N个元素B1, B2......BN。并且数组A中的每一个元素Ai&#xff0c;都满足1 < Ai < Bi。数组A的代价定义如下&#xff1a; &#xff08;公式表示所有两个相邻元素的差的绝对值之和&#xff09; 给出数组B&…

一步步编写操作系统 56 门、调用门与RPL序 1

小弟多次想把调用门和RPL分开单独说&#xff0c;但几次尝试都没有成功&#xff0c;我发现它们之间是紧偶合、密不可分&#xff0c;RPL的产生主要是为解决系统调用时的“越权”问题&#xff0c;系统调用的实现方式中&#xff0c;以调用门和中断门最为适合。由于以后我们将用中断…

自动驾驶纯视觉3D物体检测算法

视频链接&#xff1a;https://www.shenlanxueyuan.com/open/course/112 这是Pseudo-LiDAR作者最近做的一个分享报告&#xff1a;《Pseudo-LiDAR&#xff1a;基于相机的3D物体检测算法》。在这份报告里&#xff0c;作者主要介绍了博士期间的研究成果&#xff1a;基于深度学习的…

一步步编写操作系统 57 门、调用门与RPL序 2

接上文&#xff1a; 提供了4种门的原因是&#xff0c;它们都有各自的应用环境&#xff0c;但它们都是用来实现从低特权级的代码段转向高特权级的代码段&#xff0c;咱们这里也只讨论有关特权级的功用&#xff1a; 1.调用门 call和jmp指令后接调用门选择子为参数&#xff0c;以…

Coursera自动驾驶课程第15讲:GNSS and INS Sensing for Pose Estimation

在上一讲《Coursera自动驾驶课程第14讲&#xff1a;Linear and Nonlinear Kalman Filters》 我们学习了卡尔曼滤波相关知识&#xff0c;包括&#xff1a;线性卡尔曼滤波&#xff08;KF&#xff09;、扩展卡尔曼滤波&#xff08;EKF&#xff09;、误差卡尔曼滤波&#xff08;ES-…

详解车道线检测数据集和模型 VIL-100: A New Dataset and A Baseline Model for Video Instance Lane Detection

本文介绍一个新的车道线数据集 VIL-100 和检测模型 MMA-Net&#xff0c;论文已收录于 ICCV2021&#xff0c;重点是理解本文提出的 LGMA 模块&#xff0c;用于聚合局部和全局记忆特征。 论文链接&#xff1a;https://arxiv.org/abs/2108.08482 项目链接&#xff1a;https://gi…

七天入门图像分割(1):图像分割综述

最近在研究自动驾驶视觉语义地图构建&#xff0c;因为要使用到语义分割技术&#xff0c;趁此机会学习了百度飞桨的图像分割课程&#xff0c;课程蛮好的&#xff0c;收获也蛮大的。 课程地址&#xff1a;https://aistudio.baidu.com/aistudio/course/introduce/1767 1. 课程简要…

一步步编写操作系统 59 cpu的IO特权级1

在保护模式下&#xff0c;处理器中的“阶级”不仅体现在数据和代码的访问&#xff0c;还体现在指令中。 一方面将指令分级的原因是&#xff0c;有些指令的执行对计算机有着严重的影响&#xff0c;它们只有在0特权级下被执行&#xff0c;因此被称为特权指令&#xff08;Privile…

重读经典:《ImageNet Classification with Deep Convolutional Neural Networks》

9年后重读深度学习奠基作之一&#xff1a;AlexNet【下】【论文精读】这两天偶然间在B站看了李沐博士对AlexNet论文的重新解读&#xff0c;收获满满。AlexNet是当今深度学习浪潮奠基作之一&#xff0c;发表在2012年。在视频中&#xff0c;李沐博士主要是分享了他的三步法快速读论…

一步步编写操作系统 60 cpu的IO特权级2 什么是驱动程序

用户程序可以在由操作系统加载时通过指定整个eflags设置&#xff0c;操作系统如何设置自己的IOPL呢&#xff0c;即使内核IOPL为0也得写进去eflags寄存器中才生效。可惜的是&#xff0c;没有直接读写eflags寄存器的指令&#xff0c;不过可以通过将栈中数据弹出到eflags寄存器中来…

详解惯性导航论文 RINS-W: Robust Inertial Navigation System on Wheels

本文介绍一篇惯性导航定位论文 RINS-W&#xff0c;论文发表于 IROS2019。在本论文中作者提出了仅使用一个IMU进行长时间惯性导航的方法。方法主要包括两个部分&#xff1a; 检测器使用循环神经网络来检测IMU的运动状况&#xff0c;如零速或零横向滑移&#xff1b;使用Invarian…

一步步编写操作系统 61 任务状态段 TSS

I/O位图是位于TSS中的&#xff0c;它可以存在也可以不存在&#xff0c;它只是用来设置对某些特定端口的访问&#xff0c;没有它的话便默认为禁止访问所有端口。正是由于它可有可用&#xff0c;所以TSS的段界限TSS limit&#xff08;即实际大小-1&#xff09;并不固定。当TSS中不…

重读经典:《Deep Residual Learning for Image Recognition》

ResNet论文逐段精读【论文精读】这是李沐博士论文精读的第二篇论文&#xff0c;这次精读的论文是ResNet。ResNet 是 CVPR2016 的最佳论文&#xff0c;目前谷歌学术显示其被引用数已经达到了90000。 ResNet论文链接为&#xff1a;https://arxiv.org/abs/1512.03385。 1.第一遍 …

【CodeForces - 1131F 】Asya And Kittens(并查集,思维)

题干&#xff1a; Asya loves animals very much. Recently, she purchased nn kittens, enumerated them from 11 and nn and then put them into the cage. The cage consists of one row of nncells, enumerated with integers from 11 to nn from left to right. Adjacent…

详解道路标记数据集 CeyMo: See More on Roads -- A Novel Benchmark Dataset for Road Marking Detection

本文介绍一个新的道路标记检测数据集&#xff0c;论文收录于 WACV2022。Ceymo数据集总共包含2887张图片&#xff0c;标注了11类共4706个道路标记实例&#xff0c;图片分辨率为 192010801920\times108019201080。其中&#xff0c;对于每一个道路标记实例&#xff0c;作者采用了三…

动手学无人驾驶(7):车道线检测

最近在研究视觉语义地图&#xff0c;需要进行车道线检测&#xff0c;发现这篇车道线检测论文效果蛮好的 &#xff08;Ultra Fast Structure-aware Deep Lane Detection&#xff09;。论文作者在知乎上已经介绍过了&#xff1a;https://zhuanlan.zhihu.com/p/157530787&#xff…

Coursera自动驾驶课程第16讲:LIDAR Sensing

在第15讲《Coursera自动驾驶课程第15讲&#xff1a;GNSS and INS Sensing for Pose Estimation》 我们学习了自动驾驶定位中常用的两种传感器&#xff1a;IMU&#xff08;惯性测量单元&#xff09; 和GNSS&#xff08;全球导航卫星系统&#xff09;。 本讲我们将学习自动驾驶汽…