【自动驾驶】3 激光雷达③

5 激光雷达点云检测模型

🦋🦋🦋CenterPoint是Anchor‐Free的3D物体检测器,以点云作为输入,将三维物体在Bird‐View下的中心点作为关键点,基于关键点检测的方式回归物体的尺寸、方向和速度。相比于Anchor‐Based的3D物体检测器,CenterPoint不需要人为设定Anchor尺寸,面向物体尺寸多样不一的场景时,其精度表现更高,且简易的模型设计使其在性能上也表现更加高效🦋🦋🦋。

2287a445b2e84ad28c5e38fd4555f28c.jpg

💚论文题目:Center-based 3D Object Detection and Tracking(基于中心的3D物体检测和跟踪)

💜论文地址:https://arxiv.org/abs/2006.11275

💙代码地址:https://github.com/tianweiy/CenterPoint

【摘要】

3D物体在点云中通常表示为3D盒子。这种表示方法模仿了基于图像的2D边界框检测,但也带来了额外的挑战。3D世界中的物体并不遵循任何特定的方向,而基于框的检测器很难枚举所有方向或将轴对齐的包围框拟合到旋转的物体上。

💕💕💕在本文中,我们转而提出将3D物体表示、检测和跟踪为点。我们的框架CenterPoint首先使用关键点检测器检测物体的中心,然后回归到其他属性,包括3D大小、3D方向和速度。

🌸🌸🌸在第二阶段,它使用物体上的额外点特征来改进这些估计。在CenterPoint中,3D目标跟踪简化为贪婪的最近点对匹配。由此得到的检测与跟踪算法简单、高效、有效。

🦋🦋🦋CenterPoint在3D检测和跟踪的nuScenes基准上都取得了最先进的性能,单个模型的NDS和AMOTA分别为65.5和63.8。在Waymo公开数据集上,CenterPoint的表现大大超过了之前的所有单模型方法,并且在所有Lidar-only提交中排名第一。

下图1:我们提出了一个基于中心的框架来表示、检测和跟踪物体。

以前的基于锚点的方法使用轴对齐的锚点相对于自我车辆坐标。当车辆在直线道路上行驶时,基于锚点和我们的基于中心的方法都能够准确地检测出物体(顶部)。然而,在安全关键的左转(下转)期间,基于锚点的方法很难将轴对齐的边界框拟合到旋转的物体上。我们的基于中心的模型通过旋转不变的点精确地检测物体。

3f6b5af048c747279e461e713d8ba039.jpg

下图2:我们的Centerpoint框架概述。我们依赖一个标准的3D骨架,从Lidar点云中提取地图视图特征表示。然后,一个2D CNN架构的检测头找到目标中心,并使用中心特征回归到完整的3D边界框。该框预测用于在估计的三维包围框的每个面的三维中心处提取点特征,并将其传递到MLP中,以预测IoU指导的置信度评分和框回归精化。最好彩图观赏。

6af03818b57041d28ab79c2c3ca52a5b.jpg

下图3:CenterPoint对Waymo验证的示例定性结果。我们将原始点云显示为蓝色,将检测到的物体显示为绿色边界框,将边界框内的Lidar点显示为红色。最好彩图观赏。

54a499340a894442ac19a87b69d9bdf7.jpg

【结论】

提出了一种基于中心的,同时从Lidar点云中检测和跟踪三维目标的框架。我们的方法使用标准的3D点云编码器,在头部使用少量卷积层来产生鸟瞰热图和其他稠密的回归输出。检测是一种简单的细化局部峰值提取,跟踪是一种最近距离匹配。CenterPoint简单,接近实时,在Waymo和nuScenes基准测试集上达到了最先进的性能。

【扩展】

1 Tracking algorithm

6563e03b661b4f72935531edb8498ddc.jpg

2 CenterPoint

◎ 对输入的点云进行体素化(voxelization),也即将点云投影到pillar或者voxels中。

◎ 使用fully connection layer / 3d sparse convolution 提取pillar / voxels中的特征。

◎ 使用max pooling操作将pillar / voxels的特征“压缩”到BEV平面,获得BEV特征图。

◎ 使用Second Backbone和Second Neck提取BEV的特征。

◎ head部分。

1.采用anchor‐free的预测方式,直接预测目标的center位置。

2.每个不同的类别使用不同head进行预测。

3.预测内容。

内容包括:目标中心位置 heatmap、目标中心和所在像素左上角的偏移量 offset、目标的长宽高 、 目标center在激光雷达坐标系中的高度坐标 z、 目标在激光雷达坐标系中的旋转角 rot。

 

至此,本文分享的内容就结束了💕💕💕。

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/64920.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Typesense:开源的高速搜索引擎

在当今数据驱动的世界中,高效、快速且智能的搜索能力是任何应用程序和网站成功的关键因素之一。无论是电商平台、内容管理系统还是社交媒体,用户都希望能够迅速找到所需信息。Typesense,作为一款优秀的开源搜索引擎,旨在通过其卓越…

自动化测试框架playwright 常见问题和解决方案

自动化课程已经讲完了playwright框架,很多同学跃跃欲试,所谓实践出真知,这不在实践中就要到了一些问题,小编也给大家整理出来了,送个有需要的同学,记得点赞收藏哦~~ 01安装问题 问题描述: 在安…

Windows10 下通过 Visual Studio2022 编译 openssl 3.4 + POCO 1.14.1

Windows10 下通过 Visual Studio2022 编译 POCO库 1 POCO库简介2 环境准备2.1 VS Studio 2022 安装2.2 openssl 安装3 编译 POCO 1.14.13.1 下载源码3.2 修改编译配置3.2.1 修改 poco\Crypto 工程 引用 openssl 的配置3.2.2 修改 poco\NetSSL_OpenSSL 工程 引用 openssl 的配置…

微软的AI转型故事

在一次备受瞩目的深度访谈中,微软的CEO萨提亚纳德拉与著名投资人比尔格里和布拉德格斯特纳展开了一场关于微软十年转型与AI未来的深入探讨。这次对话不仅回顾了微软在纳德拉领导下的重大发展轨迹,也为AI时代的战略布局提供了洞见。 纳德拉的职业起点 故…

Vue.js前端框架教程11:Vue监听器watch和watchEffect

文章目录 监听器(watchers)基本用法deep: trueimmediate: true总结watchEffect基本用法自动追踪依赖停止监听与 `watch` 的对比性能优化总结监听器(watchers) 在 Vue 中,监听器(watchers)是一种观察和响应 Vue 实例上的数据变动的机制。Vue 提供了 watch 属性,允许我们…

厉害了多模态对齐!新思路直接发高区!小红书、国科大都在抢着发!

多模态是个非常热门的话题,这其中,“多模态对齐”已经被验证非常重要,它能够提升AI模型的跨模态理解和情感分析精度,是未来多模态大模型商业化的必要条件,研究热度不言而喻。 就说最近的大佬团队,小红书前…

ubuntu20.04安装imwheel实现鼠标滚轮调速

ubuntu20.04安装imwheel实现鼠标滚轮调速 Ubuntu 系统自带的设置中仅具备调节鼠标速度的功能,而无调节鼠标滚轮速度的功能。其默认的鼠标滚轮速度较为缓慢,在查看文档时影响尚可接受,但在快速浏览网页时,滚轮速度过慢会给用户带来…

基于深度学习的图像超分辨率重建

基于深度学习的图像超分辨率重建技术是一种先进的图像处理技术,它能够从低分辨率的图像中重建出高分辨率的图像。以下是对该技术的详细介绍: 一、技术背景图像超分辨率(Image Super Resolution)重建是指从观测到的低分辨率图像重…

MacOS安装MySQL

官网下载MySQL 苹果芯片选择ARM版本 安装过程中会要求你输入root的密码(不少于8位),这里设置为12345678 打开系统设置查看是否成功安装MySQL 配置MySQL环境变量 vi ~/.zshrc加入一行export PATH$PATH:/usr/local/mysql/bin 执行source ~/…

dolphinscheduler服务注册中心源码解析(三)RPC提供者服务整合注册中心注册服务实现源码

RPC提供者服务整合注册中心注册服务实现源码 1.概述2.源码解读思路3.实现2.1.应用服务的RPC服务接口定义2.1.1.MasterServer应用中提供的RPC接口服务2.1.2.WorkerServer应用中提供的RPC接口服务2.2.应用服务的RPC服务接口实现2.2.1.MasterServer应用中提供的RPC接口服务实现类2…

Sass变量的妙用:提升CSS开发效率与可维护性

Sass变量的妙用:提升CSS开发效率与可维护性 Sass变量的妙用:提升CSS开发效率与可维护性一、Sass变量的基础二、Sass变量的妙用三、提升开发效率与可维护性四、结论 Sass变量的妙用:提升CSS开发效率与可维护性 在前端开发的世界里&#xff0c…

Leetcode Hot 100 【二叉树】104. 二叉树的最大深度

104. 二叉树的最大深度 已解答 简单 相关标签 相关企业 给定一个二叉树 root ,返回其最大深度。 二叉树的 最大深度 是指从根节点到最远叶子节点的最长路径上的节点数。 示例 1: 输入:root [3,9,20,null,null,15,7] 输出:3…

【漏洞复现】F5 BIG-IP Next Central Manager SQL注入漏洞(CVE-2024-26026)

🏘️个人主页: 点燃银河尽头的篝火(●’◡’●) 如果文章有帮到你的话记得点赞👍+收藏💗支持一下哦 一、漏洞概述 1.1漏洞简介 漏洞名称:F5 BIG-IP Next Central Manager SQL注入漏洞漏洞编号:CVE-2024-26026漏洞威胁等级:超危影响范围:BIG-IP Next Central Manage…

Debian系统宝塔面板安装LiteSpeed Memcached(LSMCD)

参考链接 1. 官网指引: https://www.litespeedtech.com/support/wiki/doku.php/litespeed_wiki:lsmcd:installation 2. 安装OpenLiteSpeed官方LSMCD对象缓存替换Memcached详细图文教程 - 搬主题 实操记录: 首先LSMCD 默认的端口是11211,…

WebDAV文件共享:将个人电脑变身为云存储,实现自由文件传输

WebDAV文件共享:将个人电脑变身为云存储,实现自由文件传输 引言:操作步骤搭建安装Internet Information Services (IIS) 管理器配置Internet Information Services (IIS) 管理器配置远程域名访问地址 引言: 相信很多朋友都有过把…

MySQL的分析查询语句

【图书推荐】《MySQL 9从入门到性能优化(视频教学版)》-CSDN博客 《MySQL 9从入门到性能优化(视频教学版)(数据库技术丛书)》(王英英)【摘要 书评 试读】- 京东图书 (jd.com) MySQL9数据库技术_夏天又到了…

前端开发 之 12个鼠标交互特效上【附完整源码】

前端开发 之 12个鼠标交互特效上【附完整源码】 文章目录 前端开发 之 12个鼠标交互特效上【附完整源码】一:彩色空心爱心滑动特效1.效果展示2.HTML完整代码 二:彩色实心爱心滑动特效1.效果展示2.HTML完整代码 三:粒子连结特效1.效果展示2.HT…

VSCode如何修改默认扩展路径和用户文件夹目录到D盘

在使用Visual Studio Code(VSCode)时,随着安装的扩展和用户数据的增多,C盘的空间可能会逐渐紧张。为了优化存储管理,将VSCode的默认扩展路径和用户文件夹目录迁移到D盘是一个有效的解决方案。以下是详细的操作步骤&…

Spring Cloud OpenFeign快速入门demo

一、应用场景 Spring Cloud OpenFeign 是一个声明式的 HTTP 客户端,旨在简化微服务之间的通信。它使得开发者能够通过简单的接口定义和注解来调用 RESTful API,极大地减少了样板代码。以下是一些典型的应用场景: 微服务间调用:在…

深度学习之超分辨率算法——SRGAN

更新版本 实现了生成对抗网络在超分辨率上的使用 更新了损失函数,增加先验函数 SRresnet实现 import torch import torchvision from torch import nnclass ConvBlock(nn.Module):def __init__(self, kernel_size3, stride1, n_inchannels64):super(ConvBlock…