性能拉满！NeRF与SLAM结合，最新SOTA参数减少30倍！

给大家推荐一个非常新兴的，有大量创新点可以挖掘的好方向：NeRF结合SLAM。

通过结合NeRF的高质量三维场景重建能力和SLAM的动态定位与环境理解能力，我们可以利用逐帧收集的数据，逐渐构建出高质量的3D场景模型，实现更加精确和细致的空间感知。

这种策略可以显著提高3D重建和定位系统的性能和质量，且无需预训练数据，更容易适应新的环境和场景。同时，为满足不同应用的需求，这种结合兼具灵活性和可扩展性，方便我们添加新的功能模块。

以神经隐式SLAM最新方法S3-SLAM为例： S3-SLAM，一种基于神经隐式表示的SLAM算法，通过稀疏化平面参数并整合三平面的正交特征，实现了快速且高质量的跟踪与映射。实验结果表明，S3-SLAM在参数数量减少30倍的情况下，达到了跟踪+重建全SOTA。

为方便想发论文的同学，本文整理了9种NeRF结合SLAM最新创新方案，可借鉴的创新点做了简单梳理，paper以及开源代码已附，具体工作细节可阅读原文。

论文原文以及开源代码需要的同学看文末

S3-SLAM: Sparse Tri-plane Encoding for Neural Implicit SLAM

方法：本文提出了稀疏三平面编码，它仅使用2~4%的常规三平面参数(从100MB减少到2~4MB)，就可以高效地实现高达512分辨率的场景重建。在此基础上，本文设计了S3-SLAM，通过稀疏化平面参数并整合三平面的正交特征，实现了快速且高质量的跟踪与映射。此外，本文开发了分层捆绑调整，以实现全局一致的几何结构和高分辨率的外观重建。

创新点：

提出了一种高效紧凑的稀疏三平面编码方法，用于解决神经隐式表示中参数数量和重建质量之间的权衡挑战。稀疏三平面编码通过使用哈希网格将正交平面特征稀疏化，显著减少模型内存消耗。
开发了S3-SLAM，一种神经隐式SLAM方法，应用了稀疏三平面编码，实现了准确的相机位姿估计和场景重建，迭代次数较少。通过引入多分辨率稀疏三平面，仅需要原始三平面编码参数的2-4%就能表示复杂场景的高分辨率表示。
设计了分层束调整（HBA）方法来优化局部外观和确保全局几何一致性，实现了高质量的外观重建和准确的位姿估计。

Photo-SLAM: Real-time Simultaneous Localization and Photorealistic Mapping for Monocular, Stereo, and RGB-D Cameras

方法：本文提出了一种称为Photo-SLAM的新型SLAM框架，用于同时定位和逼真地图。该系统利用显式的几何特征进行定位，并隐式捕捉场景的纹理信息。通过几何密集化和高斯金字塔学习的渐进式训练方法，进一步提高了地图的性能。

创新点：

SLAM中的闭环检测：闭环检测在SLAM中至关重要，它有助于解决在定位和几何映射过程中可能出现的累积误差和漂移问题。通过检测闭环，可以通过相似变换来纠正局部关键帧和超级基元。通过纠正相机姿态，可以进一步消除由里程漂移引起的幽灵现象，并提高映射质量。
基于高斯金字塔的学习：引入了基于高斯金字塔的训练方法，通过逐步学习多级特征，增强了光线逼真的映射性能。

SNI-SLAM: Semantic Neural Implicit SLAM

方法：本文介绍了一种基于NeRF的稠密RGB-D语义SLAM系统SNI-SLAM。该系统通过实时建图实现准确的3D语义分割，并利用层次化语义编码来构建语义地图。同时，引入了特征损失来指导网络优化，在高层次上获得更好的场景优化结果。

创新点：

SNI-SLAM：基于神经隐式表示的语义SLAM系统，能够同时进行准确的语义建图、高质量的表面重建和稳健的相机跟踪。通过引入分层语义表示，实现自上而下的结构化语义建图，以实现多层次的语义理解。
层次化语义建图：采用粗到细的语义建模方法，首先获得整体布局和主要对象的粗略理解，然后再对细节进行更精细的处理。
特征融合：通过交叉注意力机制，将几何、外观和语义特征相互融合，实现特征的协同增强。这种融合策略利用了几何、外观和语义特征之间的互补性，从而生成更强大的特征表示。

SLAIM: Robust Dense Neural SLAM for Online Tracking and Mapping

方法：论文介绍了一种使用隐式地图来改进同时定位与地图构建（SLAM）的方法，以解决3D计算机视觉中的密集视觉SLAM问题。该方法通过在输出图像信号上应用高斯滤波器，扩大图像对齐优化和光度束调整的吸引区，从而使跟踪更加稳健和高效。该方法通过粗到精的策略来优化相机位姿和隐式场景表示。

创新点：

引入了一种新的NeRF-SLAM流水线，通过使用高斯滤波器来改进图像对齐问题，从而实现了最先进的跟踪结果。这种方法通过扩大吸引域来优化图像对齐和光度束调整，使得跟踪更加健壮和高效。
提出了SLAIM，一种使用隐式地图和粗到精的改进跟踪的稳健的NeRF-SLAM系统。该方法通过在射线终止分布上引入KL正则化器，在光线终止分布上实现了最佳和快速的收敛。