3d目标检测_CVPR 2020 |基用于3D目标检测的层级图网络

ae31e13189ebb55c774f7a79fd21e955.png

论文:A Hierarchical Graph Network for 3D Object Detection on Point Clouds论文地址:https://www.aminer.cn/pub/5eccb534e06a4c1b26a834c7?conf=cvpr2020
由于大多数现有的点云对象检测方法不能充分适应点云的特征(例如稀疏性),所以一些关键的语义信息(如物体形状)不能被很好的捕捉到。本文提出了一种基于层级图网络(HGNet)的图卷积(GConv),可以直接将点云作为输入来预测 3D 的边界框。形状注意图卷积(SA-GConv)可以通过剑魔点的位置星系来描述物体形状,基于 SA-GConv 的 U 形网络可以通过改进的 voting 模块获取多层级的特征进而生成候选,然后一个基于图卷积的候选推理模块考虑全局的场景语义来对边界框进行预测。该框架在两个大规模点云数据上的表现超过了目前最先进的模型。

论文背景

由于点云的稀疏性,一些已有的为网格形式数据设计的方法(如CNN)在点云上的表现并不好,为解决这一问题,最近有一些对点云数据的方法被提出,例如基于投影的方法、基于体卷积的方法和基于 PointNet 的方法。前两种试图将点云数据严格转换为网格结构数据,而后一种则在不明确考虑点的几何位置的情况下聚合特征。

与其他方法相比,PointNet++ 可以保留点的稀疏特点,因此被广泛作为框架的骨架。当目前仍有一些未能很好解决的挑战,首先由于没有考虑点的相对几何位置,因此使用 PointNet++ 作为主干忽略了一些局部形状信息。其次,框架的结构没有充分利用多级语义,这可能会忽略一些有助于目标检测的信息。本文提出了一个基于图卷积(GCONV)的层级图网络(HGNet)用于基于点云的 3D 目标检测。HGNet 包含三部分:一个基于图卷积的 U 形网络(GUnet)、一个候选生成器以及一个候选推理模块(ProRe Module)。整个 HGNet 以端到端的方式进行培训。在本文的框架中,点云的局部形状信息、多级语义和全局场景信息(候选的特征)已被层级图模型充分捕获、聚合和合并,充分考虑了点云数据的特征。本文的主要贡献如下:
(A)开发了一种新的层级图网络(HGNet),用于在点云上进行 3D 对象检测,其表现好于已有方法。(B)提出了一种新颖的 SA-(De)GConv,它可以有效地聚合特征并捕获点云中对象的形状信息。(C)构建了一个新的 GU-net,用于生成多级特征,这对于 3D 对象检测至关重要。(D)利用全局信息,ProRe 模块通过对候选进行推理来提高效果。论文模型

daec14648716317de634910371b6930c.png

融合采样

3D 目标检测有基于点和基于体素两种框架,前者更加耗时,由候选生成与预测细化两个阶段组成。

在第一个阶段,SA 用于降采样以获得更高的效率以及扩大感受野,FP 用来为降采样过程中丢掉的点传播特征。在第二阶段,一个优化模块最优化 RPN 的结果以获得更准确的预测。SA 对于提取点的特征是必需的。但 FP 和优化模块会限制效率。

形状注意图卷积

点云通常不能清楚地表示出物体的形状,可以使用其相邻点的相对几何位置来描述点周围的局部形状。本文介绍了一种新颖的形状注意图卷积,它通过对点的几何位置建模来捕获对象形状。

ac3402c464d9037178169efe1fad9a2b.png

其中 g 表示 i 和 j 的相对位置,通过一个卷积将三维变为一维,f 是 mlp,然后二者的乘积就是中心点的 knn,其中最大的作为 i 的特征。形状注意操作不同于简单的基于 mlp 的操作主要就是因为这个 g 函数。虽然形式上没有 attention 中的 softmax 这样的归一化,但是 g 的输出就和 attention一样,每个点的 weights,然后对应的乘以特征。

c72024640e99eb58f3dc0097f8aa49c4.png

GU-net本文设计了一个下采样模块,并将其重复堆叠 4 次以形成下采样路径,而将一个上采样模块重复堆叠两次以构成上采样方式。类似 FPN、GU-net 生成三张点特征图的特征金字塔。下采样使用的是 FPS,然后通过KNN构建局部区域,再使用 SA-GConv 更新特征,上采样模块的过程与下采样模块的过程相反,主要由 SA-GConv 执行。

3b2fe6bc47f6f3a834aac8fb968d8aa4.png

候选生成器

GU-net 生成了包含多级语义的三张点特征图。一些先前的方法(如 VoteNet)仅使用一个特征图进行目标预测。即使通过在上采样过程中融合较低层的特征来计算较高层的特征,由于不同层的特征提供了各种语义,因此将多层特征一起用于候选生成会更加有益。本文提出了一种候选生成器,以改进的投票模块作为主要结构来预测对象中心,该模型将多级特征转换为相同的特征空间。接下来为了聚合特征,通过 FPS 保留 Np 的投票,该做法与 VoteNet 类似,从而融合多级特征以预测边界框及其类别。候选推理模块

通过以上几步,多层局部的语义信息已经被很好的捕捉到了,但全局信息还没有很好的学到,或者说可能有些目标在点云中只体现出很小的一部分表面的点,在这样少的信息下很难正确的将其识别出来。其推理过程为:

ee0573a889407cd896474352d77faaa8.png

其中 Hp 表示候选特征 tensor,P 表示候选的相对位置

论文实验

本文在 SUN RGB-D 和 ScanNet-V2 两个数据集上进行了实验。

5e4d425dcb3513ffc1751b25b2c98db1.png

d0198e7e120ac3f55db148f033142ad2.png

此外,本文还进行了消融实验以证明各模快的有效性。

f493a0655806eacd5d41bd0d41e8d0f5.png

结论

本文提出了一种新颖的 HGNet 框架,该框架通过层级图建模学习语义。
具体来说,作者提出了一种新颖且轻巧的形状注意图卷积来捕获局部形状语义,该语义聚合了点的相对几何位置的特征。基于 SA-GConv 和 SA-DeGConv 构建了 GU-net,生成了包含多级语义的特征金字塔。要素金字塔投票的点将位于相应的对象中心,并且进一步聚合多级语义以生成候选。然后使用 ProRe 模块在候选之间合并和传播特征,从而利用全局场景语义来提高检测性能。最后,对边界框和类别进行了预测。

4ed6bf598cf616c9e09ce5f201ee9536.png625c5854222d04eb0f830dc3e79a4543.png

d81beedff34b0d958fa38d7dd7a2769f.png

点击阅读原文,查看更多精彩!喜欢本篇内容,请分享、点赞、在看6edfe70b89343a2c19b1c681c579e2a0.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/297808.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C# datagridview、datagrid、GridControl增加行号

01—WinForm中datagridview增加行号在界面上拖一个控件dataGridView1&#xff0c;在datagridview添加行事件中添加如下代码&#xff1a;private void dataGridView1_RowsAdded(object sender, DataGridViewRowsAddedEventArgs e){try{for (int i 0; i < dataGridView1.Rows…

position定位 响应式_使用 Vue3 实现双盒子定位 Overlay

之前说过&#xff0c;使用 可以很优雅的把某个组件渲染到根节点之外的节点&#xff0c;同时使其渲染的内容不丧失响应式和对应的生命周期函数调用。那么基于此&#xff0c;用 实现相对于某一元素的 Overlay 。实际上&#xff0c;这篇文章跟 Vue3 的关系不大&#xff0c;只是通…

模型化的SAP系统权限管理

IDS Scheer中国副总裁 王磊 SAP系统刚上线时&#xff0c;系统内的权限管理往往并不引起重视。大家关注 更多的是系统能否顺畅运行、数据是否准确&#xff0c;财务帐是否能对得上等等。事实上&#xff0c;此时为了确保系统迅速转起来&#xff0c;给很多用户的权限往往是放大的。…

月薪5 千~1万的兼职你要不要?不限学历,不限男女!

全世界只有3.14 % 的人关注了爆炸吧知识你想拥有一份月薪过万的兼职吗&#xff1f;窝在家里就行的那种&#xff1f;这就有一份看起来高大上、实则难度系数并不高的英语翻译&#xff01;兼职英语翻译到底有多赚钱&#xff1f;水平一般的英语笔译员一周7天每天拿出2小时翻译&…

电子商务时代企业统计的发展方向

摘要&#xff1a;电子商务的出现,对现代企业产生了巨大的影响。它从多个方面影响着现代企业的发展,其中即有机遇也有挑战。文章将从企业统计面临的理论、职能、组织等方面的困境,阐述电子商务的影响。 一、企业统计工作面临时代困境 1.企业统计理论困境 任何企业统计理论总是建…

c语言课程设计加密程序,C语言课程设计文件加密解密.doc

C语言课程设计文件加密解密C语言程序设计 课程设计学 院 计算机工程 班 级 计算1313姓 名 学 号 201321121089成 绩 指导老师2014年6月26日计算1313班C语言程序设计课程设计大纲一、设计目的&#xff1a;通过课程设计&#xff0c;学会把相关的理论知识和实际应用相结合&#xf…

【分享】154页微软WPF官方手册(含.NETCore和.NET Framwork双版本)

物联网IOT多场景概念落地&#xff0c;带火了WPF招聘&#xff0c;像阿里影视、百度地图、小米小鹏特斯拉都在高薪抢WPF人才了。机智的.NET开发者去关注学习WPF的时候却发现&#xff0c;市面上真的太缺WPF优秀的教程了&#xff0c;还好这里有最权威最详尽的微软官方pdf教程&#…

ln -s 的一个坑

为什么80%的码农都做不了架构师&#xff1f;>>> 事情是这样的&#xff0c;今天在ssh到iphone上将一个应用内目录软链接配置到用户目录下时&#xff0c;执行了如下命令&#xff1a; cd /var/mobile/Applications/9E13D9B8-63E0-49A5-82CE-6DB914495EC1/Documentsmkd…

python 空指针_Python&CType空指针错误

我正在从Python访问C共享库。 C共享库管理信号分析器&#xff0c;并且在没有源代码的情况下分发。Python&#xff06;CType空指针错误 其中一个功能需要一个结构被传递到函数调用&#xff0c;我不知道我正在使用ctypes正确地做它。 在头文件中的结构定义是&#xff1a; typedef…

unity重定向_unity3D游戏开发之动画混合与动画重定向

Unity3D游戏开发之动画混合与动画重定向动画混合状态机之中的状态不仅可以是单个剪辑&#xff0c;也可以是一个混合树。构建和编辑复杂的状态机和混合树&#xff0c;以便完全控制的角色如何运动。Unity编辑器提供强大的工具&#xff0c;用于分割、创建循环和从导入的动画文件中…

python中dict和lambda结合的小例子

python的dict用起来很方便&#xff0c;可以自定义key值&#xff0c;并通过下标访问&#xff0c;示例如下&#xff1a; >>> d {key1:value1,... key2:value2,... key3:value3}>>> print d[key2]value2>>>lambda表达式也是很实用的东东&#xff0c;示…

c语言50行左右程序,谁有50行和300行左右又简单的程序,急需

该楼层疑似违规已被系统折叠 隐藏此楼查看此楼/*拼图(数字型)通过1&#xff0c;2&#xff0c;3&#xff0c;4控制空白位置移动&#xff0c;使1--8顺序排列*//*有很多可改进之处&#xff0c;你自己再改改吧*/#include#include#includevoid screen(short *);/*屏幕显示*/int judg…

知乎高赞:这个开挂神器简直了!

全世界只有3.14 % 的人关注了爆炸吧知识对于工作学习中常要用到PPT的人来说&#xff0c;每当谈起PPT&#xff0c;是否都会出现以下印象&#xff1a;[买模板]→[改PPT]→[粘贴复制]→[应付领导][操作繁琐]→[体力劳动]→[熬夜]→[加班]从什么时候开始&#xff0c;PPT从一个 表达…

jQuery常用方法一览

Attribute&#xff1a;$(”p”).addClass(css中定义的样式类型); 给某个元素添加样式$(”img”).attr({src:”test.jpg”,alt:”test Image”}); 给某个元素添加属性/值&#xff0c;参数是map$(”img”).attr(”src”,”test.jpg”); 给某个元素添加属性/值$(”img”).attr(”t…

Aspnetpage ie10下 __dopost方法未找到 不能翻页的问题

1.问题分析&#xff1a; 没有__dopost 的原因是因为没有 ie10下 页面里 没有这个 方法&#xff0c;和 2个 input 标签&#xff0c;ie10 没有解析出来&#xff0c;所以就不能翻页了。 2.解决办法&#xff1a;&#xff08;缺什么补什么&#xff0c;将这个 方法 和 input 标签手动…

性能再提升70%?大咖前瞻带你揭开.NET6的神秘面纱!

本月初微软官宣 .NET6 的RC1即将在11月正式发布&#xff0c;这意味着 .NET6 正式版跟我们见面的时间又近了一步。在之前的 .NET6 预览版本中&#xff0c;微软加入了大量新功能特性&#xff0c;而在最终版本中将不再额外加入新的内容&#xff0c;只对现在的内容进行进一步性能优…

python删除列表中的重复值_如何从 Python 列表中删除重复项

例子解释 创建一个以 List 作为参数的函数。 创建函数 def my_function(x): return list(dict.fromkeys(x)) mylist my_function(["a", "b", "a", "c", "c"]) print(mylist) 使用此 List 项作为键创建字典。 创建字典 def …

confluencejira集成_Jira Service Desk使用教程之如何将Jira Cloud与Confluence集成?

什么是汇合&#xff1f;Confluence是一个内容创建和协作平台&#xff0c;它将团队与他们需要更快地完成工作的内容&#xff0c;知识和同事联系起来。Confluence空间非常适合使用Confluence页面创建和组织与Jira项目相关的丰富内容-会议记录&#xff0c;项目计划&#xff0c;需求…

学生成绩……

Description 有N个学生&#xff0c;每个学生的数据包括学号、姓名、3门课的成绩&#xff0c;从键盘输入N个学生的数据&#xff0c;要求打印出3门课的总平均成绩(取整数)&#xff0c;以及总分最高的学生的信息&#xff08;包括学号、姓名、3门课成绩&#xff0c;如果有多个最高分…

JMS : Java Message Service (Java消息服务)之一 [转]

为什么80%的码农都做不了架构师&#xff1f;>>> 1 引言1.1 编写目的本文作为B2bi项目中开源产品JORAM的使用指导文档&#xff0c;旨在帮助项目组人员方便明了的进行JMS模块的详细设计和开发工作。本文档主要包含建设银行EAI平台B2Bi子系统中使用的开源JMS产品??J…