3D 生成重建011-LucidDreamer 优化SDS过平滑结果的一种探索

文章目录

- 0论文工作
- 1论文方法
- 2 效果

0论文工作

文本到3D生成的最新进展标志着生成模型的一个重要里程碑，为在各种现实场景中创建富有想象力的3D资产打开了新的可能性。虽然最近在文本到3D生成方面的进展显示出了希望，但它们在渲染详细和高质量的3D模型方面往往不足。这个问题特别普遍，因为有许多方法都可以使用蒸馏取样（SDS）。本文指出了SDS的一个明显缺陷，即它给三维模型带来了不一致和低质量的更新方向，导致了过度更新平滑作用为了解决这个问题，我们提出了一种新的方法，称为间隔分数匹配（ISM）。ISM采用确定性扩散轨迹，并利用基于区间的分数匹配部分过度平滑。此外，我们将**三维高斯溅（3D GS）**合并到我们的文本到三维生成管道中。大量的实验表明，我们的模型在很大程度上优于最先进的技术质量和培训效率。
LucidDreamer 旨在解决从文本提示生成高保真三维形状的挑战。该论文指出了现有文本到三维方法的关键局限性，特别是它们难以在样本质量和多样性之间取得平衡。LucidDreamer 以区间得分匹配 (ISM) 为中心的新方法，用于三维生成的扩散模型，从而缓解了这些问题。实际上这种sds相减在magic123和sparsefusion等3d生成都用了相似的技巧，只不过不同作者选择了不同的解释角度。甚至在纹理生成也使用了类似技巧。

1论文方法

现有方法存在的问题：
多样性有限：许多文本到三维模型优先考虑生成与文本一致的合理形状，这通常会导致多样性低和输出重复。
质量和多样性之间的权衡：在高保真度细节和生成形状的广泛性之间取得平衡是一项重大挑战。
下图是论文的结构图，可以发现论文的结构上与SDS优化流派的方法保持一样的结构，一个3d表示，渲染新视图，SDS优化。不同的是论文是早期使用3d gaussian splatting表示的方法。另外论文使用了DDIM和ISM等不同处理。
此外论文用一个图对SDS过平滑进行一个可视化。简单来说，多次的降噪就是在对不同降噪结果直接求了平均，会导致过平滑。

在这里插入图片描述

LucidDreamer 的解决方案：
a) 区间得分匹配 (ISM)：这是 LucidDreamer 创新的核心。 ISM 为训练用于三维形状生成的扩散模型提供了一种新方法。

核心理念： ISM 不是直接预测噪声数据分布，而是侧重于学习数据两个扰动版本之间的差异（得分）。这允许更有效的训练并更好地捕获底层数据流形，从而生成更高质量的样本。
工作原理：
1. 使用不同的噪声级别对目标三维形状的两个噪声版本进行采样。
2. 训练扩散模型以预测这两个噪声版本之间的得分（矢量差）。
3. 在生成过程中，模型通过迭代应用学习到的得分信息来逐渐对随机三维形状进行去噪。
  b) 用于文本引导生成的得分蒸馏：为了使用文本提示引导生成过程，LucidDreamer 使用了得分蒸馏。
训练文本到得分网络： 训练一个单独的网络将文本描述映射到相应的三维形状得分。该网络充当文本域和三维形状域之间的“翻译器”。
引导生成： 在生成过程中，来自文本到得分网络的得分会影响扩散过程，确保生成的三维形状与给定的文本提示一致。为了克服多面问题，论文还插入一个3d先验模块。

LucidDreamer 的优势：
高保真生成：通过利用 ISM，LucidDreamer 可以生成具有令人印象深刻的细节和真实感的三维形状。
增强的多样性：与现有方法相比，使用 ISM 有助于生成更广泛的多样化形状，解决了输出重复的问题。
有效的文本引导：得分蒸馏方法使模型能够有效地整合文本信息，确保生成的三维形状与输入提示之间语义一致。
此外论文用一个图对SDS过平滑进行一个可视化。简单来说，多次的降噪就是在对不同降噪结果直接求了平均，会导致过平滑。