3d gaussian splatting介绍整理

3D 高斯分布是用于实时辐射场渲染的 3D 高斯分布中描述的一种光栅化技术,它允许实时渲染从小图像样本中学习到的逼真场景。

paper
github

本文翻译整理自:
blog: Introduction to 3D Gaussian Splatting
DDPMs - Part 2

给出一些2D图片,用colmap得到稀疏 (SfM) 点,可重建出逼真的3D场景。
3DGS的核心是光栅化技术。
这类似于计算机图形学中的三角形光栅化,用于在屏幕上绘制许多三角形。

图片来自blog

在这里插入图片描述
但是,它不是三角形,是高斯。

在这里插入图片描述
这里补充一些高斯相关:

正态分布

在这里插入图片描述

多元正态分布

在这里插入图片描述

协方差

在这里插入图片描述

协方差矩阵

在这里插入图片描述
每个元素(i, j) 定义了向量的两个随机变量的协方差。
而且对角线上的元素
在这里插入图片描述
下面看下两个随机变量负协方差,0协方差,正协方差时的分布

在这里插入图片描述

这是负协方差 3维看上去的效果,从顶上看就是上面的左图,从侧面看是高斯分布。45度更加平坦。
在这里插入图片描述 在这里插入图片描述

各向同性高斯

在这里插入图片描述

一个例子:

在这里插入图片描述

回到3D高斯,既然是3D,那就是3个变量(x, y, z)
它由以下参数描述:

位置:所在的位置 (XYZ)
协方差:如何拉伸/缩放(3x3 矩阵)
颜色:它是什么颜色(RGB)
Alpha : 透明度 (α)

3个的高斯叠加在一起的效果:
在这里插入图片描述
那么700万高斯叠加的效果呢。

在这里插入图片描述

运行步骤:
1.运动结构
第一步是使用运动结构 (SfM) 方法从一组图像中估计点云。这是一种从一组 2D 图像估计 3D 点云的方法。这可以通过COLMAP库来完成。

在这里插入图片描述

2.转换为高斯分布
接下来,每个点都转换为高斯分布。这对于光栅化来说已经足够了。然而,只能从 SfM 数据推断位置和颜色。为了学习产生高质量结果的表示,需要对其进行训练。

3.训练
训练过程使用随机梯度下降,类似于神经网络,但没有layers。训练步骤为:

使用可微分高斯光栅化将高斯光栅化为图像(稍后详细介绍)
根据光栅化图像和groud truth图像之间的差异计算损失
根据损失调整高斯参数
应用自动致密化和修剪
步骤 1-3 从概念上讲非常简单。第 4 步涉及以下内容:

如果对于给定的高斯梯度很大(即它太错误),则分割/克隆它
如果高斯很小,则克隆它
如果高斯很大,则将其分割
如果高斯的 alpha 太低,将其删除
此过程有助于高斯更好地拟合细粒度细节,同时修剪不必要的高斯。

在这里插入图片描述

4.可微分高斯光栅化
如前所述,3D 高斯分布是一种光栅化方法,它将数据绘制到屏幕上。

一些重要的元素还包括:
快速
可微分

光栅化涉及:
从相机角度将每个高斯投影为 2D。
按深度对高斯进行排序。
对于每个像素,从前到后迭代每个高斯,将它们混合在一起。
paper中描述了其他优化。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/648515.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2401llvm,clang的libtooling

LibTooling(库工具) LibTooling是个支持基于Clang编写独立工具的库. 在此,为LLVM安装Clang工具 介绍 用LibTooling构建的工具(如Clang插件)通过代码运行FrontendActions. 这里演示运行Clang的快速检查一堆代码语法的SyntaxOnlyAction的不同方法. 解析内存中的代码片 如果想…

PyTorch 添加 C++ 拓展

参考内容:pytorch添加C拓展简单实战编写及基本功能测试 文章目录 第一步:编写 C 模块test.htest.cpp 第二步:编写 setup.py第三步:安装 C 模块第四步:验证安装第五步:C 模块使用test_cpp1.pytest_cpp2.py 运…

信息安全认证首选CISP-PTE

🔥在信息安全领域,CISP-PTE认证正逐渐成为行业的新星。作为中国信息安全测评中心推出的专业认证,CISP-PTE为信息安全从业者提供了国内Z高标准的资质培训。 🎯为什么选择CISP-PTE? 1️⃣业界认可:CISP-PTE是…

fMRI数据处理(随时更新)

要开始学习处理fMRI的数据了。 一、使用matlab工具包SPM读取fMRI数据 (1)首先得安装工具包SPM,我参考的是下面这篇博客: 在matlab下安装spm工具_spmas包matlab-CSDN博客 (2)使用SPM读取数据&#xff0c…

oracle10g rac节点启动没进程没日志

一节点正常运行,二节点通过crsctl start crs启动,发现alert日志及所有日志都没生成,oracle用户下连一个相关进程都没有清理缓存:rm -rf /tmp/.oracle/服务挨个启动也无效:/etc/init.evmd run >/dev/null 2>&…

抖音详情API:视频内容获取与解析技巧

一、引言 抖音是一款广受欢迎的短视频分享平台,每天都有大量的用户在抖音上分享自己的生活点滴和创意作品。对于开发者而言,如何获取并解析抖音上的视频内容,是一项极具挑战性的任务。本文将详细介绍抖音详情API,以及如何使用它来…

CVPR 2023: Make-a-Story Visual Memory Conditioned Consistent Story Generation

我们采用以下 6 个分类标准来详细解释本文的研究主题: 1. 生成模型类型: 基于扩散的:这种方法通过前向扩散过程迭代地将噪声细化为图像。这允许生成高质量的图像,并控制特定方面,如场景元素和照明。基于注意力的:注意力机制有助于模型在生成每个帧时集中在文本描述和视觉…

如何训练和导出模型

介绍如何通过DI-engine使用DQN算法训练强化学习模型 一、什么是DQN算法 DQN算法,全称为Deep Q-Network算法,是一种结合了Q学习(一种价值基础的强化学习算法)和深度学习的算法。该算法是由DeepMind团队在2013年提出的,…

2024亚马逊开店教程:开店准备与注册流程指南

随着新一年的到来,亚马逊开启了新一轮的卖家入驻,并且针对新卖家优化了入驻流程,下面为大家简单整理一下最新亚马逊入驻教程,有想要入驻开店的小伙伴速速看过来! 一、开店前准备 1、账号环境准备 为了防止账号由于网…

将 Amazon Bedrock 与 Elasticsearch 和 Langchain 结合使用

Amazon Bedrock 是一项完全托管的服务,通过单一 API 提供来自 AI21 Labs、Anthropic、Cohere、Meta、Stability AI 和 Amazon 等领先 AI 公司的高性能基础模型 (FMs) 选择,以及广泛的 构建生成式 AI 应用程序所需的功能,简化开发,…

MS2510:8 比特高速模数(ADC)转换器

描述: MS2510 是 8 比特, 20MSPS 模数转换器( ADCs ) , 同时使用一个半闪速结构。 MS2510 在 5V 的电源电压下工作,其典型功耗只有 130mW ,包括一个内部的采样保持电路,具有 高阻抗方…

斐波那契数列

作者简介:大家好,我是smart哥,前中兴通讯、美团架构师,现某互联网公司CTO 联系qq:184480602,加我进群,大家一起学习,一起进步,一起对抗互联网寒冬 学习必须往深处挖&…

网闸网络ip端口映射原理分析

今天我们进行网闸网络ip端口映射原理分析:即两个不同网段的网址进行网络通信,需要路由器、网关等配置。举例更形象一些。 一、相同端口映射 1、正向访问 比如两个不同网段的网络ip:A:10.18.3.119 需要和B:10.199.177.10 进行通信,A要访问…

ffmpeg和opencv一些容易影响图片清晰度的操作

ffmpeg 转视频或者图片,不指定码率清晰度会下降 ffmpeg -i xxx.png xxx.mp4 码率也叫比特率(Bit rate)(也叫数据率)是一个确定整体视频/音频质量的参数,秒为单位处理的字节数,码率和视频质量成正比,在视频…

PyTorch中self.layers的作用

self.layers 是一个用于存储网络层的属性。它是一个 nn.ModuleList 对象,这是PyTorch中用于存储 nn.Module 子模块的特殊列表。 为什么使用 nn.ModuleList? 在PyTorch中,当需要处理多个神经网络层时,通常使用 nn.ModuleList 或 …

TCP三次握手-普通话版

前言:UDP和TCP 总拿UDP和TCP进行比较,为什么呢?因为UDP是不可靠传输,数据过来后把数据分成小份后就发送出去了,我不管你们收没收到哈,反正我是发过去了,你能收到多少就看这网速行不行&#xff0…

IP被封怎么办?访问网站时IP被阻止?解决IP禁令全方法

相信很多人遇到过IP禁令:比如你在访问社交媒体、搜索引擎或电子商务网站时会被限制访问,又或者你的的账号莫名被封,这些由于网络上的种种限制我们经常会遭遇IP被封的情况,导致无法使用继续进行网络行动。在本文中,我们…

linux动态库,静态库

参考 链接 https://blog.csdn.net/Goforyouqp/article/details/132106168 /* ---------- h.h 文件 -------------- */ #ifndef H_H #define H_H void print(void); #endif /* ---------- h.c 文件 -------------- */ #include "h.h" #include &l…

牛客周赛 Round 29(A B C D E)

目录 A.小红大战小紫 题目大意: 解题思路: AC代码: B.小红的白日梦 题目大意: 解题思路: AC代码: C.小红的小小红 题目大意: AC代码: D.小红的中位数 题目大意&#xff…

04 约数

定义: 若整数n除以整数d的余数为0,即d能够整除n,n是d的倍数,记作d|n. 通过质因子求一个数的约数 如果n可以表示成 其中均为n的质因子 因为对于任意一个质因子都有选0个 选1个 选2个....选个共种可能, n的约数个数…