3D Gaussian Splatting 学习笔记

目录

突破3DGS泛化和实用壁垒!GS-Net:首个具有跨场景泛化能力的即插即用3DGS模块

升级版 SGD

一问读懂3D Gaussian Splatting

3DGS高斯泼溅技术

系统首先对 SfM 点云进行初始化

代码概要


突破3DGS泛化和实用壁垒!GS-Net:首个具有跨场景泛化能力的即插即用3DGS模块

突破3DGS泛化和实用壁垒!GS-Net:首个具有跨场景泛化能力的即插即用3DGS模块

升级版 SGD

Street View Synthesis with GaussianSplatting and Diffusion Prior

GitHub - Leeiieeo/AG-Pose: CVPR2024: Instance-Adaptive and Geometric-Aware Keypoint Learning for Category-Level 6D Object Pose Estimation

一问读懂3D Gaussian Splatting

https://zhuanlan.zhihu.com/p/680669616

3DGS高斯泼溅技术

https://zhuanlan.zhihu.com/p/704286968

系统首先对 SfM 点云进行初始化

得到 3D 高斯球们,然后借助相机外参将点投影到图像平面上(即Splatting),接着用可微光栅化,渲染得到图像。得到渲染图像Image后,将其与Ground Truth图像比较求loss,并沿蓝色箭头反向传播。蓝色箭头向上,更新3D高斯中的参数,向下送入自适应密度控制中,更新点云。

我们从与以前类似nerf的方法相同的输入开始,即使用运动结构(SfM)校准的相机,并使用作为SfM过程的一部分免费生成的稀疏点云初始化3D高斯集。与大多数需要多视图立体(MVS)数据的基于点的解决方案相反,我们仅使用SfM点作为输入就获得了高质量的结果。请注意,对于nerf合成数据集,我们的方法即使在随机初始化的情况下也能达到高质量。我们证明了3D高斯图像是一个很好的选择,因为它们是一个可微的体积表示,但它们也可以通过将它们投影到2D并应用标准𝛼-blending来非常有效地栅格化,使用等效的图像形成模型作为NeRF。

我们方法的第二个组成部分是优化3D高斯函数的属性- 3D位置,不透明度,各向异性协方差和球面谐波(SH)系数-与自适应密度控制步骤交错,我们在优化过程中添加和偶尔删除3D高斯函数。优化过程产生了一个相当紧凑、非结构化和精确的场景表示(所有测试场景的1-5百万高斯)。

我们方法的第三个也是最后一个元素是我们的实时渲染解决方案,它使用快速GPU排序算法,并受到基于瓷砖的光栅化 tile-based rasterization的启发,遵循最近的工作。然而,由于我们的3D高斯表示,我们可以执行尊重可见性排序的各向异性飞溅(多亏了排序和𝛼blending),并通过跟踪尽可能多的排序飞溅的遍历来实现快速准确的向后传递。

综上所述,我们提供了以下贡献:
•引入各向异性3D高斯作为高质量,非结构化的辐射场表示。

•3D高斯属性的优化方法,与自适应密度控制交错,为捕获的场景创建高质量的表示。

•GPU的快速、可微分渲染方法,具有可视性感知,允许各向异性飞溅和快速反向传播,以实现高质量的新视图合成。

                        
原文链接:https://blog.csdn.net/weixin_47228643/article/details/140638010

代码概要

https://zhuanlan.zhihu.com/p/704286968

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/54889.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

通过 OBD Demo 体验 OceanBase 4.3 社区版

本文作者:马顺华 引言 OceanBase 4.3 是一个专为实时分析 AP 业务设计的重大更新版本。它基于LSM-Tree架构,引入了列存引擎,实现了行存与列存数据存储的无缝整合。这一版本不仅显著提升了AP场景的查询性能,同时也确保了TP业务场景…

uniapp云打包

ios打包 没有mac电脑,使用香蕉云编 先登录香蕉云编这个工具,新建csr文件——把csr文件下载到你电脑本地: 然后,登录苹果开发者中心 生成p12证书 1、点击+号创建证书 创建证书的时候一定要选择ios distribution app store and ad hoc类型的证书 2、上传刚才从本站生成的…

C++(学习)2024.9.26

目录 多态 1.概念 2.函数覆盖 3.虚函数的定义 4.多态实现 5.多态原理 6.虚析构函数 7.类型转换 (1)static_cast(静态转换) (2)dynamic_cast(动态转换) (3)const_cast(常量转换) (4)reinterpret_cast()(重解释转换) 抽象类 纯虚析构函数 私有析构函数 多态 1.概…

常用的MySQL日期、时间函数

1、日期/时间获取函数 函数名 描述 实例 CURDATE() 返回当前日期 SELECT CURDATE(); -> 2018-09-19 CURRENT_DATE() 返回当前日期 SELECT CURRENT_DATE(); -> 2018-09-19 CURRENT_TIME 返回当前时间 SELECT CURRENT_TIME(); -> 19:59:02 CURTIME() 返回当…

【设计模式-策略】

定义 策略模式(Strategy Pattern)是一种行为型设计模式,定义了一系列算法,将每个算法封装起来,并使它们可以互相替换。策略模式让算法独立于使用它的客户端而变化,使得算法的变化不会影响到使用它的客户端…

Java读取YAML文件

💝💝💝欢迎莅临我的博客,很高兴能够在这里和您见面!希望您在这里可以感受到一份轻松愉快的氛围,不仅可以获得有趣的内容和知识,也可以畅所欲言、分享您的想法和见解。 推荐:「storm…

Metasploit渗透测试之服务端漏洞利用

简介 在之前的文章中,我们学习了目标的IP地址,端口,服务,操作系统等信息的收集。信息收集过程中最大的收获是服务器或系统的操作系统信息。这些信息对后续的渗透目标机器非常有用,因为我们可以快速查找系统上运行的服…

计算机网络回顾

计算机网络回顾 说明一般的小型无线局域网如何搭建(以寝室为例) 1.硬件准备 选择一个适合的支持802.11ac或802.11ax标准的无线路由器网线 2.连接路由器并配置 1.无线路由器的接线 power口连接电源WAN口用网线连接外网LAN口连接设备网口 2.配置无线路由器 电脑连接路由器后…

Scrapy框架介绍

一、什么是Scrapy 是一款快速而强大的web爬虫框架,基于Twusted的异步处理框架 Twisted是事件驱动的 Scrapy是由Python实现的爬虫框架 ① 架构清晰 ②可扩展性强 ③可以灵活完成需求 二、核心组件 Scrapy Engine(引擎):Scrapy框架…

乐鑫ESP32-S2高性能选择,家电中控屏联网通信应用,启明云端乐鑫代理商

在21世纪的今天,家电已经不再是简单的功能性产品,它们正在变得智能化,能够与我们的生活方式更加紧密地融合。 家电智能化正在改变我们与家庭环境的互动方式,它们不仅能够提高我们的生活效率,还能为我们带来更加舒适和…

计算机视觉综述

大家好,今天,我们将一起探讨计算机视觉的基本概念、发展历程、关键技术以及未来趋势。计算机视觉是人工智能的一个重要分支,旨在使计算机能够“看”懂图像和视频,从而完成各种复杂的任务。无论你是对这个领域感兴趣的新手&#xf…

【Kubernetes】常见面试题汇总(三十六)

目录 88. Pod 启动失败如何解决以及常见的原因有哪些? 89.简述 K8s 中 label 的几种应用场景。 特别说明: 题目 1-68 属于【Kubernetes】的常规概念题,即 “ 汇总(一)~(二十二)” 。 题…

在 Ubuntu 上构建 Electron 项目时的问题记录和解决方法

文章目录 0. 引言1. 问题一:依赖安装缓慢原因分析解决方案使用国内镜像源使用 nrm 管理 npm 镜像源 2. 问题二:Electron 二进制文件下载缓慢原因分析解决方案设置 Electron 下载的国内镜像源通过 npm 配置 Electron 镜像 3. 问题三:Cannot fi…

【 EXCEL 数据处理 】000003 案列 标记涨跌,保姆级教程。使用的软件是微软的Excel操作的。处理数据的目的是让数据更直观的显示出来,方便查看。

【 EXCEL 数据处理 】000003 案列 使用条件格式之大于和小于,标记涨跌,保姆级教程。使用的软件是微软的Excel操作的。处理数据的目的是让数据更直观的显示出来,方便查看。 📚一、直接上案例 📖1.使用条件格式之大于和小…

ElasticSearch安装分词器与整合SpringBoot

ElasticSearch安装分词器与整合SpringBoot 如果还没安装的点击安装ElasticSearch查看怎么安装 分词器 1.分词器 在Elasticsearch中,分词器(Tokenizer)是分析器(Analyzer)的一部分,它的主要职责是将文本输入…

宝塔面板部署雷池社区版教程

宝塔面板部署雷池社区版教程 简单介绍一下宝塔面板,安全高效的服务器运维面板,使用宝塔面板的人非常多 在网站管理上,许多用户都是通过宝塔面板进行管理,宝塔面板的Nginx默认监听端口为80和443,这就导致共存部署时雷池…

K8s Calico替换为Cilium,以及安装Cilium过程(鲁莽版)

迁移CNI插件的3种办法: 1、创建一个新的集群,通过Gitops的方式迁移负载,然而,这可能涉及大量的准备工作和潜在的中断。 2、另一种方法是重新配置/etc/cni/net.d/指向Cilium。但是,现有的pod仍将由旧的…

【锁住精华】MySQL锁机制全攻略:从行锁到表锁,共享锁到排他锁,悲观锁到乐观锁

MySQL有哪些锁 1、按照锁的粒度划分 行锁 是最低粒度的的锁,锁住指定行的数据,加锁的开销较大,加锁较慢,可能会出现死锁的情况,锁的竞争度会较低,并发度相对较高。但是如果where条件里的字段没有加索引&…

Debain docker容器离线安装ping命令

已经成功下载了 iputils-ping_20180629-2deb10u2_amd64.deb 文件。接下来需要将这个 .deb 文件复制到 Docker 容器中并安装。以下是详细步骤:下载链接:https://debian.pkgs.org/10/debian-main-amd64/iputils-ping_20180629-2deb10u2_amd64.deb.html 中的…

WPF入门教学十九 属性动画与时间线

在WPF中,属性动画是通过改变对象的依赖属性值来创建动画效果的一种方式。时间线(Timeline)是控制动画播放进度的核心组件。WPF提供了多种类型的动画和时间线,包括DoubleAnimation、ColorAnimation、PointAnimation等,以…