本文对比四篇论文：

[1] Gaussian Splatting SLAM
[2] SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM
[3] Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting
[4] GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting

一、文章概括

[1] Gaussian Splatting SLAM

这篇论文主要解决的是一个RGB-D单目相机的三维重建问题。

1. 相机追踪（Tracking）

在估计相机外参时，该方法最小化以下目标函数：
其中${\lambda }_{pho}$是权重超参数，，。
$I(\mathcal{G},{\mathbf{T}}_{CW})$表示从外参为${\mathbf{T}}_{CW}$的相机渲染高斯集合$\mathcal{G}$所得的图片，$\bar{I}$是真实图片；$E_{pho}$为图片误差。
$E_{geo}$为深度误差，仅在深度信息可用时引入，$D(\mathcal{G},{\mathbf{T}}_{CW})$是渲染出来的深度（渲染方式和RGB值类似），$\bar{D}$是深度数据。

2. 关键帧选取（Keyframing）

该方法选取关键帧窗口${\mathcal{W}}_k$，选取依据是两帧之间共同可见Gaussians的比例（判断Gaussian是否可见的方法就是判断到该Gaussian的透光率是否达到0.5）。定义共同可见度（covisibility）为当前帧$i$与上一个关键帧$j$之间可见Gaussians集合的IoU。若共同可见度低于某个阈值，或相对平移$t_{ij}$相对于深度中位数较大，则帧$i$被视为关键帧。

同时，当当前帧$i$被加入关键帧窗口时，也要移除${\mathcal{W}}_k$中已经陈旧的关键帧。当帧$j\in {\mathcal{W}}_k$与帧$i$可见Gaussians的重叠系数（OC, Overlapping Coefficient）小于某个阈值时，就将其移除。OC的定义如下：

3. Gaussian的新增和删除

每个关键帧都会添加新Gaussians。该方法用关键帧中每个像素点的深度$D$（在单目相机的情形该方法会渲染深度）作为新增Gaussians的参考位置。由于$D$不一定准确，新Gaussians的深度服从一个均值为$D$、方差较小的正态分布；对于没有深度估计的像素，新Gaussians的深度服从均值为渲染图像深度中位数、方差较大的正态分布。在一开始还没有Gaussian时，新增Gaussian的位置是随机的。

当关键帧窗口${\mathcal{W}}_k$已满，该方法执行删除操作。如果最近三个关键帧内新增的Gaussians没有在其他至少三帧内观察到，那就将它们移除。不透明度小于$0.7$的Gaussians也会被移除。

4. 三维重建

这部分的目的是维持一个协调的3D结构并优化新插入的Gaussians。参与优化的帧为$\mathcal{W}={\mathcal{W}}_k\cup {\mathcal{W}}_r$，其中${\mathcal{W}}_r$是随机选取的两个以往的帧。3D Gaussians的渲染过程没有对沿光线方向的Gaussian进行约束，这可能会导致SLAM过程中出现。因此，该方法惩罚了“拉得太长”的Gaussians，方法是引入各向同性约束（isotropic regularization）：
其中${\mathbf{s}}_i$是第$i$个Gaussian的缩放参数，${\tilde{\mathbf{s}}}_i$是其在各个方向的均值。

对于三维重建部分，该方法求解以下最优化问题：$$\underset{\underset{\forall x\in \mathcal{W}}{{\mathbf{T}}_{CW}^k\in \mathbf{SE}(3)},\mathcal{G}}{\min }\sum _{\forall k\in \mathcal{W}}{E}_{pho}^k+{\lambda }_{iso}{E}_{iso}$$其中上标中的$k$代表第$k$帧，${\lambda }_{iso}$为$E_{iso}$的系数（是一个超参数）。

[2] SplaTAM

这篇论文处理的对象也是“single unposed RGB-D camera”，即深度单目相机。

该方法引入了“silhouette image”（一种灰度图？）的概念，其计算公式如下：

其中$f_i(\mathbf{p})$代表Gaussian$i$对应于像素$\mathbf{p}$的不透明度。令${\alpha }_i=f_i(\mathbf{p})$。注意到$$\begin{array}{rl}1-S(\mathbf{p})& =1-\sum _{i=1}^n{\alpha }_i\prod _{j=1}^{i-1}[1-{\alpha }_j]\\ & =1-{\alpha }_1-(1-{\alpha }_1){\alpha }_2-(1-{\alpha }_1)(1-{\alpha }_2){\alpha }_3-(1-{\alpha }_1)(1-{\alpha }_2)\cdots (1-{\alpha }_{n-1}){\alpha }_n\\ & =(1-{\alpha }_1)[1-{\alpha }_2-(1-{\alpha }_2){\alpha }_3-\cdots -(1-{\alpha }_2)\cdots (1-{\alpha }_{n-1}){\alpha }_n]\\ & =(1-{\alpha }_1)(1-{\alpha }_2)[1-{\alpha }_3-\cdots -(1-{\alpha }_3)\cdots (1-{\alpha }_{n-1}){\alpha }_n]\\ & =\cdots \\ & =(1-{\alpha }_1)(1-{\alpha }_2)\cdots (1-{\alpha }_n)\end{array}$$这就是光线穿过所有Gaussians后的透光率，所以$S(\mathbf{p})$也就是所有Gaussians（叠加）的不透光率。显然$S(\mathbf{p})<1$。当$S(\mathbf{p})\ne 1$时，背景颜色将会对像素颜色有贡献。但是一个完全重建的场景不应该体现出背景颜色，故$S(\mathbf{p})$是否接近$1$可以判断该像素点所对光线上的Gaussian重建程度，进而反映置信度。

1. 初始化（Initialization）

第一帧不进行相机追踪，把RT矩阵设置为单位阵。第一帧的所有像素都用来初始化Gaussians。对于每个像素，新增一个颜色为该像素颜色、不透明度为$0.5$、中心深度为该像素的深度值、半径满足投影到图像上半径为一像素的Gaussian。换言之，半径等于$r=\frac{D}{f}$，其中$D$、$f$分别为深度和焦距。

2. 相机追踪（Tracking）

第$t+1$帧，相机的位姿被初始化为第$t$帧的位姿+一个恒定的速度，例如$$E_{t+1}=E_t+(E_t-E_{t-1})$$其中$E_t$是第$t$帧相机的位置坐标和旋转四元数。然后相机的位姿会经过梯度下降优化，目标函数为$$L_t=\sum _{\forall \text{pixel }\mathbf{p}}[S(\mathbf{p})>0.99][L_1(D(\mathbf{p}))+0.5L_1(C(\mathbf{p}))]$$其中$L_1$代表$L_1\text{ loss}$，$D(\mathbf{p})$和$C(\mathbf{p})$分别代表像素$\mathbf{p}$的深度和颜色。$0.5$是颜色误差的权重（类似于论文[1]中的${\lambda }_{pho}$）。一个很重要的点是loss只计算$S(\mathbf{p})$较高的像素，因为这部分的重建已经是较完善的了。如果某一点的深度信息不存在，则$L_1\text{ loss}$返回$0$。

3. 高斯致密化（Gaussian Densification）

每一帧都会在重建不完全的地方插入新的Gaussians。该方法定义了以下“致密化掩码”来确定应该在哪里插入新Gaussians：
也就是说会在两种情况下新增Gaussian：像素$\mathbf{p}$处的$S$值太小（后面的背景都露出来了），或者此处由Gaussians给出的预测深度$D$小于真实深度$D_{\mathrm{GT}}$且$L_1$误差大于$\lambda$（设为$50$）乘以深度中位数误差（Median Depth Error, MDE）。对每个像素，如果该掩码为真，则以与初始化相同的方式插入新Gaussian。

4. 高斯场景更新（Gaussian Map Updating）

该方法从最新重建结果开始优化。每$n$帧选取一帧作为关键帧。该方法选取$k$帧指导优化，包括当前帧，上一帧和$k-2$个与当前帧有高度重叠的以前的帧。重叠的判别方式是取当前帧深度图的点云并检查多少个点在每一个关键帧的视锥中。

这部分优化的loss与相机追踪阶段类似，只不过该方法不用$S(\mathbf{p})$（silouette mask）了，因为他想对所有像素进行优化。此外，该方法还为RGB渲染添加了一个SSIM loss，并移除不透明度接近$0$或者体积太大的Gaussians，就像Gaussian Splatting原论文所做的那样。

_{GS原论文中的loss公式：}

[3] Gaussian-SLAM

该论文处理的对象依然是真实世界单个相机拍摄的RGBD视频。该方法对好的深度数据有较高要求（见14页Limitations and Future Work）。

1. 子场景（Sub-map）

为了避免灾难性遗忘、过拟合和计算复杂度过高，该方法将输入分块处理，对应不同的子场景。当前的子场景被称为活动子场景（active sub-map）。当当前帧相对于活动子场景首帧的平移超过阈值$d_{\mathrm{thre}}$或欧拉角超过阈值${\theta }_{\mathrm{thre}}$时，就新建一个子场景作为活动子场景。任何时候，算法都只会处理活动子场景。

每5帧取一帧作为关键帧（见Experiments的Implementation Details）。每个关键帧都可能会添加新Gaussians。对于每个子场景的第一帧，算法在帧中颜色梯度较高的区域均匀地选取$M_c$个点。在随后的关键帧中，算法在渲染的$\alpha$值低于一个阈值${\alpha }_n$的区域随机选取$M_k$个点。新Gaussian的中心位置是随机选取的点，但还要满足以下要求：在当前子场景、半径为$\rho$的邻域内没有其他Gaussian。新Gaussian是各向异性的（即不是球体），它们的缩放参数取当前子场景内离它最近的Gaussian的距离。

算法不会复制或删除Gaussian。算法会渲染一个子场景内的所有关键帧来进行优化，并将40%的迭代次数用在新的关键帧上。

2. 形状和颜色编码（Geometry and Color Encoding）

该论文与[2]一样使用$L_1$范数定义深度误差$L_{\mathrm{depth}}$和颜色误差$L_{\mathrm{color}}$，并且也加入了SSIM loss（颜色的$L_1$误差与SSIM之间的权重比例为$5:1$）。同时，该论文也与[1]类似使用了各向同性正则化来惩罚拉得太长的Gaussians：$$L_{\mathrm{reg}}=\frac{\sum _{k\in K}|s_k-{\bar{s}}_k{|}_1}{|K|}$$其中$s_k$是Gaussian的缩放参数，${\bar{s}}_k$是子场景中所有Gaussian缩放参数的均值（这一点与论文[1]不同，[1]中${\bar{s}}_k$是单个Gaussian缩放的均值），$k$是该子场景中Gaussian的ID，$|K|$是子场景中Gaussian的个数。

该方法以下面的式子作为目标函数优化当前子场景的Gaussians：

3. 相机追踪（Tracking）

这部分优化的是第$i$帧相机相对于第$i-1$帧的相对位姿（relative camera pose）。相机外参的初始值也遵循[2]中的“恒定速度假设”，即当前帧、上一帧和上上一帧的外参呈等差数列（就平移向量和旋转四元数而言）。在优化这部分时，Gaussians的参数是冻结的。这部分的目标函数是
其中$M_{\mathrm{inlier}}$是两一个布尔掩码，用于排除一些重建不完全的像素，这些像素的深度误差大于当前重渲染深度图中深度误差中位数的$50$倍；$M_{\mathrm{alpha}}={\alpha }^3$（称为soft alpha mask，其中$\alpha$是渲染出来的$\alpha$值，相当于[2]中的$S(\mathbf{p})$），用于排除对于光线透明度较高的像素。

[4] GS-SLAM

这篇论文是最早的（2023年11月），其核心是“RGB-D re-rendering”（虽然没说是不是单目相机）。论文提出的方法也依赖高质量的深度数据。

1. 自适应3D高斯扩张重建（Adaptive 3D Gaussian Expanding Mapping）

对于每个关键帧，算法更新并优化3D高斯场景。优化的目标是最小化深度和颜色的$L_1$误差。

自适应3D高斯扩张策略：对于RGB-D序列的第一帧，算法从分辨率为$H\times W$的图片中随机选取一半像素并利用深度数据将像素点反投影（back-projecting）到三维空间去，并以这些3D位置初始化Gaussians的中心坐标，此时Gaussians的球谐度数设置为0，颜色（直流分量）设置为像素点的颜色。在第一帧，场景通过重投影误差进行优化。另一半的像素用于将大Gaussians分解成小Gaussians并且从不同方向复制它们，从而弥补缺失的细节。

增加Gaussians：在每个关键帧，新的Gaussians会在不可靠的像素的反投影上创建。判断像素点是否可靠的方法是：检查其累积不透明度$T$（等于[2]中的$S_{\mathbf{p}}$）是否小于阈值${\tau }_T$或重渲染深度$\hat{D}$的误差$|D-\hat{D}|$是否大于${\tau }_D$。这些不可靠的像素点主要就是新观察到的区域。

删除Gaussians：由于自适应方法是不稳定的，有的时候会出现浮游的Gaussians。为了解决这个问题，算法在新增Gaussians后会检查当前相机视锥内的所有可见Gaussians并大幅度地减小位置不在场景表面的Gaussians的不透明度。准确的说，算法检查每个Gaussian中心投影到像平面后对应像素点的真实深度，并比较Gaussian深度与真实深度：二者之差大于阈值$\gamma$，则该Gaussian的不透明度乘以$\eta$（$\eta <<1$）。

2. 相机追踪（Tracking）

该论文依然遵循[2]中的“恒定速度假设”对相机位姿进行初始化。相机位姿优化的目标函数是颜色误差（注意这里没有用到深度误差）。

由粗到细的相机追踪：为了解决重投影时伪影影响相机位姿估计的问题，论文提出了Coarse-to-Fine Camera Tracking。首先渲染一个长宽各为原来一半的粗粒度图像（像素点是随机选取的），并迭代优化相机位姿$T_c$次。再用目前得到的相机位姿进行全分辨率的细粒度重投影，并像删除Gaussians的方法一样排除深度不对劲的Gaussians的影响。最后用细粒度图像迭代优化位姿$T_f$次。注意算法只投影以前观察到的区域。

3. 关键帧选取

选取的标准有两个：

• 图像可靠部分与总大小的比例；
• 当前帧与最近关键帧的差异是否达到阈值${\mu }_k$。

4. Bundle Adjustment

这一阶段算法共同优化相机位姿和3D Gaussians的参数。在关键帧数据库中随机选取$K$个关键帧用于优化，目标函数和三维重建阶段类似。前一半迭代只优化3D Gaussians，后一半同时优化Gaussians和相机位姿。目标函数如下：

二、方法的异同

共同点

1. 均简化了球谐（spherical harmonics）的表示（目的是提升速度）。[1][2][3]直接省略了球谐，用RGB值表示Gaussian的颜色。[4]用最大度数为$1$的球谐，使得表示颜色的系数共有$12$个。
2. 深度和颜色误差均采用$L_1$范数。

不同点

未完待续~