理想汽车提出3DRealCar:首个大规模3D真实汽车数据集

理想提出3DRealCar,这是第一个大规模 3D 实车数据集,包含 2500 辆在真实场景中拍摄的汽车。我们希望 3DRealCar 可以成为促进汽车相关任务的宝贵资源。

理想汽车提出3DRealCar:首个大规模3D真实汽车数据集!

我们精心策划的高质量3DRealCar数据集的特征。3DRealcar包含各种颜色、汽车类型、品牌的详细注释,甚至汽车解析图。特别是,我们的数据集包含三种汽车表面的照明条件,对现有方法提出了挑战。

3D汽车常用于自动驾驶系统、虚拟/增强现实和游戏。然而,现有的3D汽车数据集要么是合成的,要么质量较差,与高质量的真实世界3D汽车数据集存在很大差距,限制了它们在实际场景中的应用。

在本文中,我们提出了第一个大规模 3D 实车数据集,称为 3DRealCar,它具有三个独特功能。(1)高容量:2,500 辆汽车经过 3D 扫描仪的精心扫描,获得具有真实世界尺寸的汽车图像和点云;(2)高质量:每辆汽车平均在 200 个密集的高分辨率 360 度 RGB-D 视图中捕获,从而实现高保真 3D 重建;(3)高多样性:该数据集包含来自 100 多个品牌的各种汽车,在三种不同的照明条件下收集,包括反光、标准和黑暗。此外,我们为每个实例提供详细的汽车解析图,以促进汽车解析任务的研究。

此外,我们删除了背景点云,并将汽车方向标准化为统一轴,仅在没有背景和可控渲染的汽车上进行重建。我们在 3DRealCar 中的每个照明条件下使用最先进的方法对 3D 重建结果进行基准测试。大量实验表明,3DRealCar 的标准照明条件部分可用于生成大量高质量的 3D 汽车,从而改进与汽车相关的各种 2D 和 3D 任务。值得注意的是,我们的数据集让我们了解到,最近的 3D 重建方法在反射和暗光条件下重建高质量 3D 汽车时面临挑战。

相关链接

论文地址:https://arxiv.org/abs/2406.04875

项目主页:xiaobiaodu.github.io/3drealcar

分布

我们的数据集主要包含六种不同的车型。我们还统计了汽车在各种光照条件下的表现。标准条件意味着汽车光照充足,没有强烈的镜面高光。反射条件意味着汽车有镜面高光。光泽材料给最近的 3D 重建方法带来了巨大的挑战。黑暗条件意味着汽车是在地下停车场拍摄的,光照不太好。每辆车拍摄的图像数量平均为 200 张。视图数量从 50 到 400 不等。我们的数据集包含二十多种颜色,但白色和黑色仍然占据了数据集的大部分。此外,我们还展示了汽车尺寸的分布,包括长度、宽度和高度。

支持的任务

由于我们的数据集提供了 RGB-D 图像、点云、汽车解析地图和详细注释,我们可以在其中执行各种 2D 和 3D 任务。具体来说,我们提供汽车解析地图,表明我们的数据集可用于汽车检测、分割和解析任务。此外,我们捕获的 RGB-D 图像支持深度估计任务。由于我们收集了外观各异的各种车型,研究人员可以使用我们的数据集进行不同车型的领域迁移学习。对于 3D 任务,我们捕获的密集视图和点云可用于 3D 重建、3D 生成、新颖视图合成、车辆点云完成和车辆点云解析。利用重建的 3D 汽车,我们可以使用它们来模拟极端情况,以训练强大的自动驾驶感知系统。

3DRealCar数据集的分布。我们展示了汽车类型的分布,照明条件、捕获的视图、汽车颜色和汽车大小。我们尽力捕捉各种各样的汽车颜色和类型的多样性,我们的数据集。

3D 汽车解析

我们的数据集是第一个提供 3D 汽车解析注释的数据集,用于解析 3D 空间中的汽车组件。 由于我们为 3DRealCar 数据集中的每个实例提供了 2D 汽车解析图,我们可以将 2D 解析图提升到 3D,并将每个组件分割为点云和网格。这些 3D 汽车解析图的主要目的是实现对车辆结构的精确和全面分析,这对于自动驾驶、车辆设计、车辆编辑和虚拟现实模拟等应用至关重要。通过使用这些详细的 3D 解析图,开发人员和研究人员可以改进对象识别算法并增强碰撞检测系统。此外,该数据集有助于训练机器学习模型,以更好地理解汽车部件的空间关系和物理属性,从而实现更先进、更可靠的汽车技术。

论文阅读

3DRealCar:一个野外RGB-D汽车数据集360度视图

摘要

3D 汽车通常用于自动驾驶系统、虚拟/增强现实和游戏。然而,现有的 3D 汽车数据集要么是合成的,要么是低质量的,与高质量的真实世界 3D 汽车数据集存在很大差距,限制了它们在实际场景中的应用。在本文中,我们提出了第一个大规模 3D 真实汽车数据集,称为 3DRealCar,它具有三个独特的特点。

  • 高容量:2,500 辆汽车经过 3D 扫描仪的精心扫描,获得具有真实世界尺寸的汽车图像和点云;

  • 高质量:每辆汽车平均在 200 个密集的高分辨率 360 度 RGB-D 视图中捕获,从而实现高保真 3D 重建;

  • 高多样性:数据集包含来自 100 多个品牌的各种汽车,在三种不同的光照条件下收集,包括反光、标准和黑暗。

此外,我们为每个实例提供了详细的汽车解析图,以促进汽车解析任务的研究。此外,我们删除背景点云并将汽车方向标准化为统一轴,仅在没有背景和可控渲染的汽车上进行重建。我们在 3DRealCar 中的每个照明条件下使用最先进的方法对 3D 重建结果进行基准测试。大量实验表明,3DRealCar 的标准照明条件部分可用于生成大量高质量的 3D 汽车,从而改进与汽车相关的各种 2D 和 3D 任务。值得注意的是,我们的数据集让我们了解到,最近的 3D 重建方法在反射和暗光条件下重建高质量 3D 汽车时面临挑战。我们的数据集可在此处获得。

方法

数据收集和预处理。我们先绕一辆车转三圈 同时用3D扫描仪扫描汽车以获得RGB-D图像及其点云。然后我们使用Colmap和SAM获取姿态并去除背景点云。最后,我们使用经过处理数据训练的3DGS来获得3D汽车模型。

我们精心策划的高质量3DRealCar数据集的特征。3 drealcar包含 各种颜色、汽车类型、品牌的详细注释,甚至汽车解析图。特别是,我们的 数据集包含三种汽车表面的照明条件,对现有方法提出了挑战

效果展示

定性比较

近年来先进图像分割方法的定性比较。我们 从我们的图像测试集中选择输入,并评估汽车部件的容量对每种方法的理解。

可视化

新视图合成(左)和图像到3d生成(右)的可视化。我们比较最近最先进的方法的结果,Zero123-XL,Dreamcraft3D,和他们通过在我们的数据集上训练而得到的改进。

重建结果

我们利用最新最先进的 3D 重建方法 3DGS(高斯溅射)在我们的数据集中展示可视化效果。在标准照明条件下,3DGS 能够从我们的数据集中重建相对高质量的 3D 汽车。请注意,这种级别的重建质量足以用于下游任务并进行渲染。然而,在反光和黑暗条件下的结果并不理想。因此,我们的 3DRealCar 的这两个部分给最近的 3D 方法带来了两个挑战。

第一个挑战是镜面高光的重建,由于汽车的特殊性,汽车表面的材质一般都是有光泽的,也就是说汽车在阳光或者强光照射下会产生大量的镜面高光。

第二个挑战是黑暗环境下的重建。在黑暗环境下拍摄的训练图像丢失了大量重建细节。因此,如何在这两种极端光照条件下实现高质量的重建结果是对近期方法的挑战。

我们希望这些结果能够鼓励后续在恶劣条件下进行3D重建的研究。

结论

在本文中,我们提出了第一个大规模高质量 3D 实车数据集,名为3DRealCar。收集到的每辆汽车的密集高分辨率 360 度视图可用于重建高质量的3D汽车。大量实验证明了我们的3DRealCar在3D重建方面的有效性和挑战。得益于从我们的数据集和汽车零件级注释中重建的高质量3D汽车,我们的数据集可用于支持与汽车相关的各种任务。此外,基准测试结果可以作为未来研究的基线。虽然3DRealCar目前只有汽车外部视图,但我们打算在未来提供外部和内部视图,以进一步促进更完整的3D汽车的重建。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/863980.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

全球点赞第一起名大师颜廷利:是金子总会“花光”的

在物质世界的繁华背后,隐藏着一个深刻的真理:有形之物的分享会逐渐减少,而无形之物的传递却能不断增值。金钱、货币、银两这些商业领域的实体,往往激发出人类对更多财富的渴望和对资源枯竭的恐惧。这种恐惧源于资源的有限性&#…

【数据结构】(C语言):二叉搜索树

二叉搜索树: 树不是线性的,是层级结构。基本单位是节点,每个节点最多2个子节点。有序。每个节点,其左子节点都比它小,其右子节点都比它大。每个子树都是一个二叉搜索树。每个节点及其所有子节点形成子树。可以是空树。…

VRRP和IPVS

1.VRRP VRRP(Virtual Router Redundancy Protocol,简称VRRP,虚拟路由冗余协议)是一种选择协议,它可以把一个虚拟路由器的责任动态分配到局域网上的VRRP路由器中的一台。控制虚拟路由器IP地址的VRRP路由器称为主路由器,它负责转发数据包到这些虚拟IP地址。 VRRP一旦主路由…

PointNet++论文导读

PointNet论文导读 主要改进网络结构:非均匀采样下的特征学习的鲁棒性利用点特征传播处理数据集分割 论文链接:https://arxiv.org/abs/1612.00593 主要改进 PointNet的基本思想是学习每个点的空间编码,然后将所有单个点的特征聚合成一个全局点云标签&am…

Apache Ranger 2.4.0 集成hadoop 3.X(Kerbos)

1、安装Ranger 参照上一个文章 2、修改配置 把各种plugin转到统一目录(源码编译的target目录下拷贝过来),比如 tar zxvf ranger-2.4.0-hdfs-plugin.tar.gz tar zxvf ranger-2.4.0-hdfs-plugin.tar.gz vim install.properties POLICY_MG…

防火墙防御体系结构类型

防火墙防御体系结构类型 防火墙是网络安全的核心组件,用于保护网络和系统免受未经授权的访问和各种网络攻击。防火墙防御体系结构类型多样化,每种类型都针对不同的安全需求和应用场景,提供不同层次的保护。以下是几种常见的防火墙防御体系结…

【车载开发系列】NXP开发环境介绍

【车载开发系列】NXP开发环境介绍 【车载开发系列】NXP开发环境介绍 【车载开发系列】NXP开发环境介绍一. 开发环境1、S32 Design Studio for S32 Platform2、S32 Design Studio for ARM3、S32 Design Studio IDE 二. NXP开发环境支持的单片机1)Kinetis系列2&#x…

力扣3152.特殊数组 II

力扣3152.特殊数组 II 满足条件为0 &#xff0c; 不满足为1 最终如果区间和为0 则为特殊数组 class Solution {public:vector<bool> isArraySpecial(vector<int>& nums, vector<vector<int>>& queries) {int n nums.size();vector<int&…

论文阅读:Simple and Efficient Heterogeneous Graph Neural Network

Yang, Xiaocheng, Mingyu Yan, Shirui Pan, Xiaochun Ye and Dongrui Fan. “Simple and Efficient Heterogeneous Graph Neural Network.” AAAI Conference on Artificial Intelligence (2022). 论文地址&#xff1a;[PDF] Simple and Efficient Heterogeneous Graph Neural…

Java集合框架性能优化与选择指南

Java集合框架性能优化与选择指南 大家好&#xff0c;我是免费搭建查券返利机器人省钱赚佣金就用微赚淘客系统3.0的小编&#xff0c;也是冬天不穿秋裤&#xff0c;天冷也要风度的程序猿&#xff01; 引言 Java集合框架是每位Java开发者日常工作中不可或缺的一部分。正确选择和…

Bytebase 2.20.0 - 支持为工单事件配置飞书个人通知

&#x1f680; 新功能 支持 Databricks。支持 SQL Server 的 TLS/SSL 连接。支持为工单事件配置飞书个人通知。支持限制用户注册的邮箱域名。 &#x1f514; 重大变更 将分类分级同步设置从数据库配置移至工作空间的全局配置。 SQL 编辑器只读模式下只允许执行 Redis 的只读…

着色器预热?为什么 Flutter 需要?为什么原生 App 不需要?那 Compose 呢?Impeller 呢?

依旧是来自网友的问题&#xff0c;这个问题在一定程度上还是很意思的&#xff0c;因为大家可能会想&#xff0c;Flutter 使用 skia&#xff0c;原生 App 是用 skia &#xff0c;那为什么在 Flutter 上会有着色器预热&#xff08;Shader Warmup&#xff09;这样的说法&#xff1…

【PYG】pyg里dataloader和torch中dataloader有什么不一样

torch.utils.data.DataLoader 和 torch_geometric.loader.DataLoader 是两个不同的加载器&#xff0c;它们分别用于处理不同类型的数据。以下是它们之间的主要区别&#xff1a; torch.utils.data.DataLoader torch.utils.data.DataLoader 是 PyTorch 中的通用数据加载器&…

论文1--ViT

Vision Transformer (ViT) 论文&#xff1a;https://arxiv.org/abs/2010.11929代码&#xff1a;GitHub - google-research/vision_transformer 1.背景 &#xff08;1&#xff09;transformer在NLP很强&#xff0c;但在CV的应用还非常有限&#xff0c;在此之前只有目标检测中…

【轻量化】YOLOv8 更换骨干网络之 MobileNetv4 | 《号称最强轻量化网络》

论文地址:https://arxiv.org/pdf/2404.10518 代码地址:https://github.com/tensorflow/models/blob/master/official/vision/modeling/backbones/mobilenet.py 文章速览 文章摘要 MobileNetV4引入了一个名为Universal Inverted Bottleneck (UIB) 的新搜索模块,这个模块融合…

2024年网络安全技术全景扫描:新趋势与新挑战

**# 2024年网络安全技术全景扫描&#xff1a;新趋势与新挑战 随着技术的飞速发展&#xff0c;网络安全领域在2024年迎来了新的变革。从人工智能的深入应用到零信任模型的广泛采纳&#xff0c;再到云环境、太空网络以及量子信息技术的兴起&#xff0c;这些新兴技术正在重塑网络…

民用无人机企业招标投标需要资质证书详解

一、基础资质 在民用无人机企业的招标投标过程中&#xff0c;基础资质是首要考虑的因素。这些资质通常包括企业注册资质、税务登记证、组织机构代码证等。 1.1 企业注册资质 企业应具备合法的注册资质&#xff0c;即营业执照。该执照应包含企业名称、注册地址、法定代表人、…

在Ubuntu 14.04上安装和配置Magento的方法

前些天发现了一个巨牛的人工智能学习网站&#xff0c;通俗易懂&#xff0c;风趣幽默&#xff0c;忍不住分享一下给大家。点击跳转到网站。 简介 Magento 是最流行的电子商务网站内容管理系统。它被小型企业和大型企业公司广泛使用&#xff0c;并且可以通过成千上万的扩展和主…

谈谈华为国产系列

目前借着华为发布会&#xff0c;谈谈华为的软件系列 1.鸿蒙系统 鸿蒙是手机系统&#xff0c;兼容安卓软件&#xff0c;目前华为借助国内软件公司&#xff0c;适配鸿蒙&#xff0c;即将纯血。鸿蒙系统借助这一波互联网兴起&#xff0c;没有遇到之前各种系统的麻烦之中&#xf…

idea集成uglifycss压缩混淆css

Uglifycss介绍 https://www.npmjs.com/package/uglifycss 命令行 $ uglifycss [options] [filename] [...] > output 选项&#xff1a; --max-line-len n每个字符添加一个换行符&#xff08;大约&#xff09;; 表示无换行符&#xff0c;并且是默认值n0 --expand-vars扩…