3D Gaussian Splatting 应用场景及最新进展【附10篇前沿论文和代码】

CV玩家们，知道3D高斯吗？对，就是计算机视觉最近的新宠，在几个月内席卷三维视觉和SLAM领域的3D高斯。不太了解也没关系，我今天就来和同学们一起聊聊这个话题。

3D Gaussian Splatting（3DGS）是用于实时辐射场渲染的 3D 高斯分布描述的一种光栅化技术，具有高质量和实时渲染的能力。如果说NeRF等辐射场方法彻底改变了多张照片或视频主导的场景新视角合成的算法生态，那么3D高斯则是在NeRF的基础上，做到了在保持有竞争力的训练时间的同时实现最先进的视觉质量。

不仅如此，我们都知道传统的NeRF渲染过于粗暴，且随机性较大，但基于3D Gaussian Splatting的渲染技术则全面展现出了更好的实时性，更好的渲染质量，以及更精确的定位精度。

因此，3D Gaussian Spaltting方向最近涌现了大量开创性的新工作，我在这里帮同学们简单的总结了一波，包括3D高斯的开山作，以及一些应用成果。

论文原文及开源代码看文末

1.3D Gaussian Splatting for Real-Time Radiance Field Rendering

用于实时辐射场渲染的3D高斯溅射

「SIGGRAPH 2023 best paper，3D高斯开山作」

「简述：」Radiance Field方法是一种用于多张照片或视频场景的新视图合成技术。然而，目前的方法要么需要昂贵的神经网络进行训练和渲染，要么牺牲速度以换取质量。作者提出了三个关键元素来实现高质量的实时渲染：使用3D高斯表示场景，优化各向异性协方差以准确表示场景，并开发快速的可见性感知渲染算法。作者在多个数据集上展示了先进的视觉质量和实时渲染效果。

2.Segment Any 3D Gaussians

分割一切「3D高斯」版

「简述：」论文介绍了一种新的3D交互式分割方法——Segment Any 3D GAussians（SAGA），它无缝融合了基于2D分割的基础模型和最近在辐射场中取得突破的3D高斯散射（3DGS）。SAGA通过精心设计的对比训练将基础模型生成的多粒度2D分割结果高效地嵌入到3D高斯点特征中。在现有基准测试上进行的评估表明，SAGA可以与最先进的方法竞争。此外，SAGA可以实现多粒度分割并适应各种提示，包括点、涂鸦和2D掩码。值得注意的是，SAGA可以在几毫秒内完成3D分割，相对于先前的SOTA实现了近1000倍的加速。

3.Mip-Splatting: Alias-free 3D Gaussian Splatting

无别名的3D高斯溅射

「简述：」最近，3D高斯散射在新的视图合成方面取得了令人印象深刻的结果，达到了高保真度和高效率。然而，当改变采样率时（例如通过改变焦距或相机距离），会出现明显的伪影。作者发现这种现象的主要原因是缺乏3D频率约束和使用2D膨胀滤波器。为了解决这个问题，作者引入了一个3D平滑滤波器，根据输入视图引起的最大采样频率来限制3D高斯原语的大小，从而消除缩放时的高频伪影。此外，用模拟2D盒式滤波器的2D Mip滤波器替换2D膨胀滤波器有效地缓解了混叠和膨胀问题。评估包括在单个尺度的图像上进行训练并在多个尺度上进行测试等场景，验证了该方法的有效性。

4.Splatter Image: Ultra-Fast Single-View 3D Reconstruction

超快速单视图3D重建

「简述：」论文介绍了Splatter Image，一种超快速的单视图3D重建方法，运行速度为38 FPS。该方法基于高斯溅射，将输入图像映射为每个像素的一个3D高斯，生成的图像称为Splatter Image。该方法使用2D图像到图像网络进行学习，并在测试时只需要前向评估神经网络即可进行重建。我们还扩展了该方法以处理多个图像作为输入，并使用跨视图注意力来提高性能。在标准基准测试中，作者展示了快速重建和更好的结果，优于最近的更昂贵的基线。

5.PhysGaussian: Physics-Integrated 3D Gaussians for Generative Dynamics

用于生成动力学的物理集成3D高斯分布

「简述：」论文介绍了PhysGaussian，一种将基于物理的牛顿动力学无缝集成到3D高斯分布中的方法，以实现高质量的新运动合成。该方法使用自定义的物质点方法（MPM），通过连续力学原理对3D高斯核进行丰富的物理有意义的运动变形和机械应力属性。该方法的一个显著特征是物理模拟和视觉渲染之间的无缝集成：这两个组件都使用相同的3D高斯核作为它们的离散表示形式。这消除了三角形/四面体网格、Marching Cubes、“笼子网格”或其他任何几何嵌入的必要性，强调了“所见即所模拟（WS2）”的原则。该方法还展示了在各种材料上的出色通用性，包括弹性实体、金属、非牛顿流体和颗粒状材料，展示了其在创建具有新颖视角和运动的多样化视觉内容方面的强能力。

6.SuGaR: Surface-Aligned Gaussian Splatting for Efficient 3D Mesh Reconstruction

用于高效3D网格重建的表面对齐高斯溅射

「简述：」论文提出了一种从3D高斯溅射中快速提取网格的方法。该方法使用正则化项鼓励高斯与场景表面对齐，并使用泊松重建从高斯中提取网格。最后，引入了一种可选的细化策略，将高斯绑定到网格的表面，并通过高斯溅射渲染共同优化这些高斯和网格。该方法可以在几分钟内检索到可用于逼真渲染的可编辑网格，并提供更好的渲染质量。

7.Gaussian Splatting SLAM

高斯溅射SLAM

「简述：」论文介绍了一种将3D高斯散射应用于单目或RGB-D相机的增量式3D重建的方法。该方法使用高斯作为唯一的3D表示形式，实现了准确、高效跟踪、映射和高质量渲染所需的表示形式。通过直接优化针对3D高斯进行相机跟踪，并引入几何验证和正则化来处理歧义性，实现了快速和鲁棒的跟踪和重建。同时，该方法还实现了全面的SLAM系统，可以重建微小甚至透明的物体。

8.GaussianEditor: Swift and Controllable 3D Editing with Gaussian Splatting

使用高斯溅射实现快速和可控的3D编辑

「简述：」论文介绍了一种基于高斯散射的高效3D编辑算法——GaussianEditor。该算法通过高斯语义跟踪来增强编辑精度和控制性，并使用分层高斯散射来实现稳定和精细的结果。此外，作者还开发了用于对象删除和集成的编辑策略。实验表明，GaussianEditor具有优越的控制、效率和快速性能，是3D编辑领域的重要进展。

9.GSGEN: Text-to-3D using GaussianSplatting

使用高斯溅射进行文本到3D转换

「简述：」论文介绍了一种基于高斯溅射的文本到3D生成方法——GSGEN，用于生成高质量的3D对象。该方法利用了3D高斯散射表示来引入3D先验，并采用渐进式优化策略，包括几何优化和外观细化阶段。通过这些设计，作者的方法可以生成具有精致细节和更准确几何形状的3D内容。实验表明，该方法非常有效，尤其是在捕捉高频成分方面。

10.Dynamic 3D Gaussians: Tracking by Persistent Dynamic View Synthesis

动态3D高斯：通过持续动态视图合成进行跟踪

「简述：」论文介绍了一种同时解决动态场景新视图合成和所有密集场景元素的六自由度跟踪任务的方法。该方法使用3D高斯集合来模拟场景，并通过可微渲染优化来重建输入图像。为了模拟动态场景，允许高斯随时间移动和旋转，并强制它们具有持久的颜色、不透明度和大小。通过使用局部刚体约束对高斯的运动和旋转进行正则化，实现了密集的6-DOF跟踪和动态重建。该方法能够实现许多下游应用，如第一人称视角合成、动态组成场景合成和4D视频编辑。