3DGS+3D Tiles融合已成 ,更大的场景,更细腻的效果~

最近国外同行@Kieran Farr发布了一个他制作的3D GussianSplatting(高斯泼溅)+Google Map 3D Tiles的融合叠加的demo案例(如下所示)。

准确来说这是一个数据融合的实景场景,该实景场景使用了倾斜三维和3D GussianSplatting两种实景表达技术,该融合场景的倾斜三维使用的是Google Maps的3D Tiles瓦片服务,3D GussianSplatting的场景是通过Luma平台生成导出,场景的裁剪使用playcanvas的SuperSplat工具进行场景的裁剪,前端框架上他选择了A-Frame+Three.js的组合。

从二者的融合,我们可以看出3D GussianSplatting的整个技术特点:对于细节的表达更加真实细腻,比如下图的红色箭头指出的部分其实就是使用3D GussianSplatting生成的照片级的小品场景效果。

图片

除了这些小品场景3D GussianSplatting表现的效果比较出色之外,对于室外更大的场景,根据Luma给出的在线案例效果,同样非常细腻,案例地址放在文末,大家有兴趣可以自己体验一下。

其实在年初的时候,我和国内的一个团队交流过,其实他们内部也已经实现了二者的融合,由于现在开源的框架比较多以及格式开放,所以初步做起来难度并不是很大。

比如在场景生成方面可以采用gaussian-splatting-Windows这个开源工具,而且作者还公布了详细的使用教程,。

图片

图片

在场景编辑方面,对GussianSplatting PLY格式的场景可以采用PlayCanvas的开源工具SuperSplat,最直接的就是对场景进行裁剪,对周边的一些质量比较差的区域进行裁剪以及对场景文件进行压缩。

图片

在前端方面,基于Threejs,也都有了相应的开源工具GaussianSplats3D可以直接使用,由于3DGS是一种显示表达的格式,每个高斯都有相应的位置,所以模型转换到统一的地理空间坐标系下也是比较容易的。

图片

在游戏引擎方面,UE的市场上也有GussianSplatting相应的插件,支持PLY格式数据导入,支持空间点数据的八叉树优化和LOD渲染,不过是付费的。

图片

根据最近的一些进展来看,现在通过AI合成场景的研究工作都开始从NeRF转向了3D GussianSplatting领域,同时最近也产生了一系列的研究成果包括上海人工智能实验室发布的Octree-GS,为了解决3D GussianSplatting大场景的渲染问题,引入了八叉树这种LOD解决方案,这个在地理信息领域一直是一个万金油方法,数据大了就分级、分块。

不过基于「软点」的GussianSplatting相对于过去基于Mesh的方法处理起来的难度相对来说可能会更小一些,本质上就是在顾及外观表现的情况下做好数据点密度的分级过滤就可以,所以在GussianSplatting阶段过去一些厂商在数据简化方面积累的优势可能就会不存在了,因为在新的技术条件下这个问题可能根本就不再是个问题了。

图片

同时还有InstantSplat方法,其通过使用DUSt3R来替换传统3D GussianSplatting生成管道中需要依赖的COLMAP,DUSt3R基于Transformer,采用端到端的训练,可简化从任意图像集合中重建三维场景的过程,而无需事先了解相机校准或视点位置的信息,同时支持使用非常少的照片就可以实现3D的重建,比如下图展示的就是通过该方法可以实现基于两张图片就可以实现3D小熊的重建。

图片

根据论文的介绍,InstantSplat可以做到40秒内实现GussianSplatting场景重建,如果有更广泛的适配性,则该方法真的就可以做到又快又好了。

最近和一些开展实践的团队交流的过程中,也确实发现在工程应用的时候,单纯的依靠相机的数据会出现局部重建失败的情况,所以现在也有通过在硬件上融合激光点云的方案来提升该方法在工程上的稳定性,毕竟做几个demo和真正的复杂工程应用场景相比还是有区别的,在工程上通常需要采用一些冗余的方案来保证稳定性,后面有机会我也会找相应的一些工程化的解决方案具体实践一下,到时候再推出具体的内容。 

  • Luma案例在线体验地址:

https://lumalabs.ai/capture/2fe14849-ffc9-4a9f-a205-340ceb032a80

  • 3D GS+3D Tiles融合体验地址:

https://maps-and-splats.glitch.me/

声明:转载此文不为商业用途。文字和图片版权归原作者所有,若有来源标注错误或侵犯了您的合法权益,请与我们联系,我们将及时处理,谢谢。


如何查看全球历史影像

如何快速构建三维模型(倾斜摄影)

注册测绘师资格考试备考建议 | 附30GB学习资料

国产GIS软件在国产化解决方案中的应用与实践

AutoCAD如何加载在线/离线遥感影像地图

UE5+GIS技术应用场景介绍

地知通:探索世界的窗口

图片

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/837395.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

内存卡惊现0字节!数据丢失怎么办?

在日常使用电子设备的过程中,有时我们会遇到一个令人困惑的问题——内存卡突然变成了0字节。这意味着原本存储在内存卡中的数据似乎在一夜之间消失得无影无踪,给用户带来极大的困扰。本文将详细解析内存卡0字节现象,探究其原因,并…

【高阶数据结构】并查集 {并查集原理;并查集优化;并查集实现;并查集应用}

一、并查集原理 在一些应用问题中,需要将n个不同的元素划分成一些不相交的集合。开始时,每个元素自成一个单元素集合,然后按一定的规律将归于同一组元素的集合合并。在此过程中要反复用到查询某一个元素归属于那个集合的运算。适合于描述这类…

构建NFS远程共享存储

目录 一. NFS介绍 二. 网络附加存储(NAS)设备 三. 远程过程调用 四. 实验测试 4.1 nfs-server操作 4.1.1 新建一个目录作为共享 4.1.2 新增一个磁盘作为共享 4.2 web1 客户端操作 一. NFS介绍 NFS(Network File System&#xff09…

UTONMOS探索元宇宙:开启未来数字世界的无限可能

在科技的浪潮中,元宇宙如同一颗璀璨的星辰,冉冉升起,吸引着无数人的目光。 元宇宙,一个超越现实的数字世界,它融合了虚拟现实、增强现实和互联网等多种技术,为人们打造了一个全新的沉浸式体验空间。在这里…

定时任务@Scheduled用法及其参数讲解

Scheduled是Spring框架中的一个注解,用于标记一个方法为定时任务。当使用Scheduled注解时,Spring会自动创建一个定时任务的执行器(Scheduler),并在指定的时间间隔内执行被标记的方法。 使用Scheduled注解时&#xff0c…

美易官方:野村公布最新增长计划 寻求到2030年实现利润翻番

野村公布了到本世纪末税前利润几乎翻一番的目标,首席执行官Okuda Kentaro希望在去年盈利复苏的基础上再接再厉。 Okuda周二在向投资者介绍情况时表示,作为“实现可持续增长”愿景的一部分,这家日本最大的券商计划到2030年实现超过5000亿日元…

数据结构--顺序表和链表的区别

顺序表和链表之间各有优劣,我们不能以偏概全,所以我们在使用时要关注任务的注重点,以此来确定我们要使用两者中的哪一个。 不同点: 存储空间上: 顺序表在物理结构上是一定连续的,而链表(这里以带头双向循环…

面 试 题

过滤器和拦截器的区别 都是 Aop 思想的一种体现,用来解决项目中 某一类 问题的两种接口(工具),都可以对请求做一些增强 出身 过滤器来自 servlet 拦截器来自 spring 使用范围 过滤器 Filter 实现了 iavax.servlet.Filter 接口,也就是说…

CSS实现渐变色

渐变色分为线性渐变和径向渐变。 线性渐变linear-gradient(方向, 颜色1, 颜色2, … ,颜色n)径向渐变radial-gradient(颜色1 覆盖区域大小, 颜色2 覆盖区域大小, … ) 线性渐变的方向可以为: ​ 1、一个方向值时: to bottom 表示从上边到下边渐变 ​ 2、…

vue实现列表上方的查询条件和表头等悬停在上方

目录 1、代码如下&#xff1a; 2、代码说明 2.1、对头部和表头标签等悬停在上方在cs中维护&#xff1b; 2.2、点击隐藏和收起在mounted中增加点击的监控事件 2.3、针对查询时增加高度的处理&#xff1a; 1、代码如下&#xff1a; <template ><div class"fra…

Java并发编程:解锁并发编程中的加锁技巧

1. 并发编程基础 并发编程是现代软件开发的核心之一&#xff0c;尤其在处理大规模用户访问的场景下。为了正确处理多线程编程的复杂性&#xff0c;理解基础概念至关重要。本章节将深入讨论并发编程的基础&#xff0c;包括并发与并行的区别&#xff0c;线程安全的基本概念&…

富格林:着重杜绝欺诈阻挠被骗

富格林认为&#xff0c;在现货黄金市场中&#xff0c;存在着激烈的波动和风险。尽管相应的盈利潜力也很大&#xff0c;但需要注意的是&#xff0c;我们要着重掌握经验杜绝欺诈阻挠被骗的情况发生&#xff0c;并利用行情的变化为自己扩大收益。因此&#xff0c;了解一些现货黄金…

c与c++用法区别剖析 迟早得用到

从C语言过渡到c&#xff0c;肯定要掌握这些吧 1.面向对象编程&#xff1a; C语言是过程化编程语言&#xff0c;它主要关注函数和过程。C支持面向对象编程&#xff0c;提供类、继承、多态等特性。 // C中的类和对象 class Rectangle { private:int width, height; public:Rec…

超越视觉极限:深度学习图像超分辨率算法清单【第三部分】

超越视觉极限&#xff1a;深度学习图像超分辨率算法清单【第三部分】 简介2018年 - DBPN (Deep Back-Projection Networks)2018年 - RDN (Residual Dense Network)2018年 - SRRGAN (Super-Resolution Reconstruction Generative Adversarial Network)2019年 - FSRGAN (Fast Sup…

Spring AI多模态接口开发

文章目录 项目地址创建项目配置项目接口开发结果测试测试接口测试在线图片接口测试本地图片接口测试 项目地址 Spring AI项目开发 创建项目 打开IDEA创建一个新的spring boot项目&#xff0c;填写项目名称和位置&#xff0c;类型选择maven&#xff0c;组、工件、软件包名称可…

Ubuntu apt-get install 失败

一般方法&#xff0c;执行如下指令 sudo apt-get update# 某些系统程序才需要&#xff0c;比如make sudo apt-get install build-essentialsudo apt-get install make这一步如何能成功&#xff0c;则说明是使用方式错误&#xff0c;问题比较简单 如果继续失败&#xff0c;提示…

实现vant的年月日时分秒组件

方法&#xff1a;van-datetime-picker&#xff08;type&#xff1a;datetime&#xff09;和 van-picker结合实现。 <template><div class"datetimesec-picker"><van-datetime-pickerref"timePickerRef"type"datetime" //年月日时…

【系统架构师】-案例篇(十一)质量属性、瘦客户端与Web系统架构

1、架构评估中的质量属性 ① 性能&#xff0c;是指系统的响应能力&#xff0c;即要经过多长时间才能对某个事件做出响应&#xff0c;或者在某段时间内系统所能处理的事件的个数。 ② 可靠性&#xff0c;是软件系统在应用或系统错误面前&#xff0c;在意外或错误使用的情况下维…

Android 11 输入系统之InputDispatcher和应用窗口建立联系

InputDispatcher把输入事件传给应用之前&#xff0c;需要和应用窗口建立联系&#xff0c;了解了这个过程&#xff0c;就清楚了APP进程和InputDispatcher线程也就是SystemServer进程之间是如何传输数据了 我们向窗口addView的时候&#xff0c;都会调用到ViewRootImpl的setView方…

Canvas简历编辑器-我的剪贴板里究竟有什么数据

Canvas简历编辑器-我的剪贴板里究竟有什么数据 在这里我们先来聊聊我们究竟应该如何操作剪贴板&#xff0c;也就是我们在浏览器的复制粘贴事件&#xff0c;并且在此基础上聊聊我们在Canvas图形编辑器中应该如何控制焦点以及如何实现复制粘贴行为。 在线编辑: https://windrun…