每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

Google 最近开发的一种名为MELON的新算法，代表了计算机视觉领域的一项重大进展，使得在只有少量图像的情况下重建物体的3D形状成为可能。这一基础的计算机视觉任务在从电子商务3D模型的创建到自动驾驶汽车导航等多个领域都有广泛应用。

关键的问题之一是如何确定拍摄图像的确切位置，这一过程称为姿态推断。如果相机姿态已知，一系列成功的技术——如神经辐射场（NeRF）或3D高斯投影——可以重建3D物体。但如果这些姿态不可用，就会遇到困难的“先有鸡还是先有蛋”的问题，即如果我们知道3D物体，我们可以确定姿态，但在知道相机姿态之前我们无法重建3D物体。伪对称性——即许多物体从不同角度观看时看起来相似——使这个问题更加复杂。例如，正方形物体如椅子每旋转90°看起来都很相似。通过在转盘上从各种角度渲染物体并绘制其光度自相似性图，可以揭示物体的伪对称性。

在介绍了一种名为“MELON: 在SO(3)中未定位图像的NeRF”（MELON: Modulo Equivalent Latent Optimization of NeRF）的技术后，该技术在3DV 2024大会上受到关注，它可以完全从头开始确定以物体为中心的相机姿态，同时重建物体的3D形状。MELON是首批能够在没有初始相机姿态估计、复杂训练方案或有标签数据的预训练的情况下实现这一目标的技术之一。MELON是一种相对简单的技术，可以轻松地整合到现有的NeRF方法中。研究团队演示了MELON如何从未定位图像中重建NeRF，并在只需要4-6张物体图像的情况下实现了最先进的精度。

为了帮助解决这个难题，研究团队利用了两项关键技术来促进收敛。第一项是一个非常轻量级、动态训练的卷积神经网络（CNN）编码器，该编码器可以从训练图像中回归相机姿态。通过将缩小的训练图像传递给一个四层CNN来推断相机姿态。这个CNN从噪声中初始化，不需要预训练。其容量如此之小，以至于它迫使看起来相似的图像具有相似的姿态，从而为收敛提供了一个隐式的正则化。

第二项技术是模除损失（modulo loss），它同时考虑了物体的伪对称性。对于每个训练图像，研究团队从一组固定的视点渲染物体，只通过与训练图像最匹配的视图进行损失的反向传播。这有效地考虑了每张图像的多个视图的可能性。实际上，研究团队发现，在大多数情况下，N=2视图（从物体的另一侧观察）就足够了，但有时对于方形物体使用N=4可以获得更好的结果。

这两种技术被整合到标准的NeRF训练中，除了相机姿态不是固定的，而是由CNN推断并通过模除损失复制。光度梯度通过最佳匹配的相机反向传播到CNN中。研究团队观察到，相机通常会迅速收敛到全局最优姿态。在神经场训练完成后，MELON可以使用标准的NeRF渲染方法合成新的视图。

研究团队简化了问题，使用了NeRF合成数据集，这是NeRF研究的一个流行基准，并且在姿势推断文献中很常见。这个合成数据集的相机位于精确固定的距离，并且具有一致的“向上”方向，研究团队需要推断的只是相机的极坐标。这就像一个物体位于球体中心，相机始终指向它，在表面上移动一样。然后研究团队只需要纬度和经度（2个自由度）来指定相机姿势。

MELON使用了一个动态训练的轻量级CNN编码器，该编码器可以为每张图像预测一个姿态。通过模除损失复制预测的姿态，该损失只惩罚与地面真实颜色的最小L2距离。在评估时，神经场可以用于生成新的视图。

为了评估MELON在NeRF合成数据集上的性能，研究团队计算了两个关键指标。地面真实姿势与推断姿势之间的方向

误差可以量化为单一的角度误差，该误差在所有训练图像中平均计算，得到姿势误差。接着，研究团队通过测量从新视角渲染的MELON物体与保留测试视图的峰值信号噪声比（PSNR）来测试MELON渲染物体的准确性。结果显示，MELON在训练的前1000步内快速收敛到大多数相机的大致姿势，并在50k步后达到了27.5 dB的竞争性PSNR。

MELON在优化过程中对玩具卡车模型的收敛表现。左侧：NeRF的渲染图。右侧：极坐标图显示预测的（蓝色X标记）与地面真实（红点）相机的位置。MELON对NeRF合成数据集中的其他场景也取得了类似的结果。

此外，MELON还在从极度嘈杂的未定位图像进行新视角合成时表现良好。研究团队向训练图像中添加了不同量的白高斯噪声。例如，尽管在σ=1.0的情况下物体几乎无法辨认，但MELON仍能确定姿势并生成物体的新视图。

MELON从极嘈杂的未定位128×128图像中合成新视图的能力。顶部：训练视图中存在的噪声水平示例。底部：从嘈杂训练视图重建的模型及其平均角度姿势误差。考虑到如RawNeRF这样的技术已展示了NeRF在已知相机姿势下的出色去噪能力，MELON在未知相机姿势的嘈杂图像上如此稳健地工作的事实是意料之外的。

总结，MELON是一种无需近似姿势初始化、复杂的GAN训练计划或预训练有标签数据即可确定以物体为中心的相机姿势并重建3D物体的技术。MELON是一种相对简单的技术，可以轻松地集成到现有的NeRF方法中。尽管研究团队只在合成图像上演示了MELON的应用，但他们正在调整其技术以适应现实世界的条件。了解更多信息，请参阅相关论文和MELON网站。

MELON: NeRF with Unposed Images Using Equivalence Class Estimation