Abstract

GNeRF，一个结合生成对抗网络(GAN)和神经辐射场(NeRF)重建的框架，用于未知甚至随机初始化相机姿态的复杂场景。最近基于 NERF 的进展已经获得了显着的现实新视图合成的普及。然而，大多数方法都严重依赖于摄像机姿态的精确估计，而目前很少有方法只能在摄像机轨迹相对较短的大致前向场景中对未知摄像机姿态进行优化，且需要对摄像机姿态进行粗略的初始化。与此不同的是，GNRF 仅在复杂的由外向内场景中使用随机初始化的姿势。我们提出了一个新的两阶段端到端的框架。第一阶段将 GAN 的应用带入一个新的领域，用于共同优化粗相机的姿态和辐射场，而第二阶段用额外的光度损耗来改善它们。我们使用一个混合迭代优化方案来克服局部极小值。在各种合成和自然场景上的大量实验证明了 GNeRF 的有效性。更令人印象深刻的是，我们的方法在那些重复模式甚至低纹理被认为是极具挑战性的场景中优于基线。

Method

4.1. Pose-free NeRF Estimation（无姿势 NRF 估计）
作为该方法的初始阶段，在 A 阶段，我们没有对每幅图像或预先训练的辐射场进行合理的摄像机位姿估计。我们这个阶段的目标是为每个图像预测一个粗略的姿势，同时也学习场景的粗略辐射场。

4.2. Regularized Learning Strategy（正规化学习策略）
提出了一种正则化学习策略(AB. . AB) ，通过交错无姿态的 NeRF 估计步骤(A 阶段)和 NeRF 细化步骤(B 阶段)来进一步提高 NeRF 模型和姿态估计的质量。
该策略通过学习反演网络的姿态预测来规范基于梯度下降的模型优化。直观地说，通过对 NERF 模型的对抗训练，合成的假像和真像之间的区域差距正在缩小
4.3. Training
为了训练产生的辐射场，遵循类似 GRAF的贴片采样策略，以提高计算和存储效率。具体来说，对于 GAN 的训练过程，采用动态补丁采样策略，如图左下部所示。每个补丁在图像域内采样，固定大小为16 × 16，但动态尺度和随机偏移。对于姿态优化过程。采用静态补丁采样策略，如图左上部所示。在整个图像域内对每个补丁进行均匀采样，每个补丁的固定尺寸为64 × 64。这种采样策略使用一个稀疏的补丁来唯一地表示整幅图像，并用这个补丁来估计相应的摄像机姿态。我们还在开始时调整相机的固有特性，以最大限度地扩大接收范围，并逐步增加到原始值，以集中精细的细节。在实践中，这些策略为 GAN 训练过程的稳定性带来了极大的好处。
4.4. Implementation Details
采用了原始的 NeRF 的网络结构及其分层抽样策略。将粗抽样和重要抽样的抽样点数设置为64。不同的是，由于 GAN 训练只能缩小真补丁和假补丁(“粗”和“精”)的分布，在分层抽样策略中使用相同的 MLP，以确保“粗”和“精”网络的姿态空间是一致的。为了进行公平的比较，将 MLP 的维数从原来的256增加到360，以保持总体参数不变。鉴别器网络遵循 GRAF ，其中应用了特征归一化和权重谱归一化。我们借用视觉变压器网络来构建反转网络，其最后一层被修改为输出一个摄像机姿态。我们使用 RMSprop 算法来优化生成器和鉴别器，其学习率分别为0.0005和0.0001。对于反演网络和摄像机姿态，我们使用 Adam算法，学习率分别为0.0001和0.005。

Discussion and Conclusion

讨论：方法不依赖于摄像机姿态的初始化，但是它需要一个合理的摄像机姿态采样分布。对于不同的数据集，依赖于离真实分布不远的摄像机采样分布，以减轻辐射场估计的困难。这可以通过自动学习底层姿态采样空间来减轻。将全局外观分布优化(我们的方法)和局部特征匹配(姿态分布估计)相结合，以端到端的方式进行外观和几何重建是一个很有前景的方向。这种组合有可能保留我们的能力，具有挑战性的情况下，并放松到更一般的场景没有准确的分布事先。其次，联合优化摄像机姿态和场景表示是一个具有挑战性的任务，选择陷入局部最小。虽然在实际数据集中，如果相机姿态准确，我们可以获得与 NERF 相当的新视图合成质量，但是当有足够数量的可靠关键点时，我们优化的相机姿态仍然不如 COLMAP 那样准确。这可能是由于我们的反演网络将图像映射到摄像机的位置，只能采取有限大小的图像斑块的计算效率。这可以通过重要性抽样来解决。
结论：提出了一种基于遗传算法的神经辐射场重建框架 GNeRF，该框架能够在摄像机姿态完全未知且场景条件复杂的情况下，对摄像机的姿态进行估计。我们的框架是完全可微的和端到端可训练的。具体来说，我们的第一阶段使基于 GAN 的联合优化的三维表示和相机姿态，我们的混合和迭代方案交错的第一阶段和第二阶段将进一步完善的结果稳健。大量的实验证明了我们方法的有效性。令人印象深刻的是，我们的方法已经在那些具有重复模式甚至低纹理的场景上展示了有希望的结果，这在以前被认为是极具挑战性的。我们相信，我们的方法是一个关键的步骤，以更一般的神经场景建模目标使用较少的人为制作的先验。