MASt3R：从3D的角度来实现图像匹配（更新中）

Abstract

图像匹配是 3D 视觉中所有性能最佳算法和pipeline的核心组件。然而，尽管匹配从根本上来说是一个 3D 问题，与相机姿态和场景几何结构有内在联系，但它通常被视为一个 2D 问题。因为匹配的目标是建立 2D 像素字段之间的对应关系，但这是一个具有潜在危险的选择。 在这项工作中，我们换一种视角，使用 DUSt3R（一种基于 Transformers 的最新且强大的 3D 重建框架）将匹配作为 3D 任务。

该方法基于点图回归，在匹配具有极端视点变化的视图方面显示出令人印象深刻的鲁棒性，但精度有限。我们的目标是提高这种方法的匹配能力，同时保持其稳健性。首先， 我们建议用一个新的神经网络头来增强 DUSt3R 网络，该头输出密集的局部特征，并用额外的匹配损失进行训练。进一步，我们解决了密集匹配的二次复杂度问题，如果不仔细处理，下游应用程序的速度会变得非常慢。我们引入了一种快速相互匹配方案，该方案不仅可以将匹配速度提高几个数量级，而且还具有理论保证。大量实验表明，我们的方法在多个匹配任务上显着优于现有技术。特别是，在极具挑战性的无地图定位数据集上，它的 VCRE AUC 比最好的已发布方法高出 30%（绝对改进）。

1.Introduction-我们要解决什么问题？如何解决？

能够在同一场景的不同图像之间建立像素之间的对应关系（称为图像匹配），构成了所有 3D 视觉应用的核心组件，spanning mapping [14,61]、local-ization [41,72], navigation [15], photogrammetry摄影测量 [34,64] and autonomous robotics in general一般自主机器人技术 [63,87]，例如，最先进的视觉定位方法绝大多数依赖于离线映射阶段的图像匹配，例如使用 COLMAP [75]，以及在线本地化步骤，通常使用 PnP [30]。在本文中，我们专注于这一核心任务，目标是在给定两个图像的情况下生成一个成对对应列表，表示为匹配。特别是，我们寻求输出高度准确和密集的匹配，这些匹配对视点和照明变化具有鲁棒性，因为这些最终是现实世界应用的限制因素[36]。

传统方法是基于局部的方法，实际上，全局信息也很关键

在过去，传统的匹配方法是分三步进行的，首先提取稀疏和可重复的关键点，然后用局部不变的特征来描述它们，最后通过比较关键点在特征空间中的距离来配对离散的关键点集。这条管道有几个优点：关键点检测器在低到中等光照和视点变化下都是精确的，关键点的稀疏性使问题在计算上很容易处理，无论何时在类似条件下查看图像，都能在毫秒内实现非常精确的匹配。这解释了SIFT[52]在COLMAP[75]这样的3D重建管道中的成功和持久性。

但是，基于关键点的方法通过减少对关键点包问题的匹配，丢弃了对应任务的全局几何上下文。 这使得它们在重复模式或低纹理区域的情况下特别容易出错，这实际上对于局部描述符来说是不适定的。 解决这个问题的一种方法是在配对步骤中引入全局优化策略，通常利用一些学习到的匹配先验知识，SuperGlue 和类似的方法成功实现了 [51,72]。然而，如果关键点及其描述符尚未编码足够的信息，那么在匹配期间利用全局上下文可能为时已晚。因此，另一个方向是考虑密集整体匹配，即完全避免关键点，并一次匹配整个图像。最近随着cross-attention的出现，这成为可能[96]。这样的方法，如 LoFTR [82]，将图像视为一个整体，并且生成的对应集是密集的，并且对于重复模式和低纹理区域更稳健 [43,68,69,82]。

匹配任务的制定本质上是一个 3D 问题,但是现有很多方法仍然没有考虑这一点，所以我们从3D角度来重新考虑这个问题

尽管如此，即使像 LoFTR [82] 这样表现最好的方法，在无地图定位基准上的 VCRE 精度也相对令人失望，为 34%。我们认为这是因为到目前为止，几乎所有匹配方法都将匹配视为图像空间中的二维问题。实际上，匹配任务的制定本质上是一个 3D 问题：对应的像素是观察相同 3D 点的像素。事实上，2D 像素对应和 3D 空间中的相对相机姿态是同一枚硬币的两个面，因为它们通过对极矩阵直接相关[36]。目前在 Map-free 基准测试中表现最好的是 DUSt3R [102]，这种方法最初是为 3D 重建而不是匹配而设计的，并且匹配只是 3D 重建的副产品，但是这个方法在匹配问题中具有很大潜力。

在本文中，我们指出，虽然 DUSt3R [102] 确实可以用于匹配，但它相对不精确，尽管对视点变化非常鲁棒。为了弥补这个缺陷，我们建议附加第二个头来回归密集的局部特征图，并使用 InfoNCE 损失对其进行训练。由此产生的架构称为 MASt3R（“匹配和立体 3D 重建”），在多个基准测试中均优于 DUSt3R。 为了获得像素精确的匹配，我们提出了一种从粗到细的匹配方案，在此方案中在多个尺度上执行匹配。每个匹配步骤都涉及从密集特征图中提取相互匹配，这可能与直觉相反，这比计算密集特征图本身要耗时得多。我们提出的解决方案是一种更快的算法，用于查找相互匹配，速度几乎快两个数量级，同时提高了姿态估计质量。总而言之，我们提出了三个主要贡献。首先，我们提出 MASt3R，这是一种基于最近发布的 DUSt3R 框架构建的 3D 感知匹配方法。它输出局部特征图，可实现高度准确且极其稳健的匹配。其次，我们提出了一种与快速匹配算法相关的从粗到细的匹配方案，能够处理高分辨率图像。第三，MASt3R 在几个绝对和相对姿势定位基准上显着优于最先进的技术。

2.Relation work-当前的几类匹配方法

关键点匹配:分三个不同的阶段进行：关键点检测、局部不变描述和描述符空间中的最近邻搜索。相比于传统方法如 SIFT [52,71] ，现代方法已经转向基于学习的数据驱动方案来检测关键点 [8,60,97,117]，描述它们 [7,33, 37,88] 或两者同时进行[10,21,53,54,70,98]。总体而言，基于关键点的方法在许多基准测试中占主导地位[7,35,44,77]，强调了它们在需要高精度和速度的任务中的持久价值[19,77]。然而，一个值得注意的问题是它们减少了与局部问题的匹配，即放弃了其整体性。因此，SuperGlue 和类似的方法 [51, 72] 建议在最后的配对步骤中执行全局推理，利用更强的先验来指导匹配，同时将检测和描述留在本地。虽然成功，但它仍然受到关键点的局部性质及其无法对强烈的观点变化保持不变的限制。

稠密匹配： 与基于关键点的方法相比，半密集[11,16,43,46,82,85]和密集方法[27,28,29,58,92,93,94,122]为建立图像对应提供了不同的范例，考虑所有可能的像素关联。很容易让人想起光流方法[22,40,42,79,80,86]，它们通常采用从粗到细的方案来降低计算复杂性。总的来说，这些方法旨在从全局角度考虑匹配，但代价是增加计算资源。 密集匹配已被证明在详细的空间关系和纹理对于理解场景几何至关重要的场景中是有效的，但是这些方法仍然将匹配视为二维问题。

相机姿态估计：该技术差异很大，但最成功的策略，在速度、准确性和鲁棒性权衡方面，基本上都是基于像素匹配[73,75,105]。匹配方法的不断改进促进了更具挑战性的相机姿态估计基准的引入，例如 Aachen Day-Night、InLoc、CO3D 或 Map-free [5, 67,84,118]，所有这些都具有强烈的视点和/或照明变化。

3D Grounding matching:利用场景物理属性的先验来提高准确性或鲁棒性在过去已被广泛探索，但大多数先前的工作只是利用极线约束进行对应的半监督学习，而没有任何根本性的改变[9,38,47,101,108,111,114,120 ]。托夫特等人。 [89]则提出通过使用从现成的单目深度预测器获得的透视变换来校正图像来改进关键点描述符。最近，姿势 [100] 或射线 [116] 的扩散，尽管严格来说并不匹配方法，但通过将 3D 几何约束纳入其姿势估计公式中，显示出了有希望的性能。最后，最近的 DUSt3R [102] 探索了从未校准图像的 3D 重建先验困难任务中恢复对应关系的可能性。尽管没有经过明确的匹配训练，但这种方法产生了有希望的结果，在无地图排行榜上名列前茅[5]。我们的贡献是通过回归局部特征并显式训练它们进行成对匹配来实现这一想法。

3.Method

给定两个图像 𝐼1 和 𝐼2，分别由参数未知的两个相机 𝐶1 和 𝐶2 拍摄，我们希望恢复一组像素对应关系 {(𝑖, 𝑗)}，其中 𝑖, 𝑗 是像素 𝑖 = (𝑢𝑖, 𝑣𝑖), 𝑗 = (𝑢 𝑗, 𝑣𝑗) ∈ {1, . 。。 , 𝑊}×{1, . 。。 , 𝐻}, 𝑊, 𝐻 分别是图像的宽度和高度。我们的方法如图所示。 2，旨在联合执行 3D 场景重建并匹配给定的两个输入图像。它基于 Wang 等人最近提出的 DUSt3R 框架 [102]。我们首先在第 3.1 节中回顾，然后在第 3.2 节中提出我们提出的匹配头及其相应的损失。然后，我们在 3.3 节中介绍了一种专门设计用于处理密集特征图的优化匹配方案，我们在 3.4 节中将其用于从粗到细的匹配。

3.1 DUSt3R

DUSt3R是输入两个视角的图片，通过auto-encoder框架，利用交叉注意力联通了两个视角的全局信息，最后网络输出对应视角的pointmap以及confidence，pointmap在深度真实值的基础上计算。大家可以查看这篇文章（DUSt3R：Geometric 3D Vision Made Easy）或者我的另一篇文章：

InstantSplat论文阅读-CSDN博客https://blog.csdn.net/m0_74310646/article/details/141145147?spm=1001.2014.3001.5501

其中，有两个关键个loss，一个是pointmap的，另一个是confidence的

3.2 Matching prediction head and loss

DUSt3R在匹配结果上不够精确，我们分析主要有两个原因：一是回归本质上受到噪声的影响，二是因为 DUSt3R 从未经过明确的匹配训练。因此我们考虑增加两个输出头：最后输出稠密的featuremap，它是一个d通道的H*W图。

我们将头部实现为与非线性 GELU 激活函数交错的简单 2 层 MLP [39]。最后，我们将每个局部特征标准化为单位范数。

匹配目标：我们希望一个图像中的每个局部描述符（应该是类似单个像素或者多个，这样就是一个矩阵）最多与另一个图像中表示场景中相同 3D 点的单个描述符匹配。为此，我们利用了 infoNCE [95] 损失： $\widehat{M}$ 的意思是两个view的pointmap的GT中，映射到同一个3D点的局部描述符，这里我的猜测i要么是单个像素要么是一个局部像素块，i和j是对应的

请注意，此匹配目标本质上是交叉熵分类损失：与等式中的回归相反。 (6)，网络只有在正确的像素而不是附近的像素时才会获得奖励。这有力地鼓励了网络实现高精度匹配。意思就是说，featuremap是坐标与特征之间的对应关系，而在前面pointmap中同一个3D点对应的像素坐标下，对应的两组特征也要一致，这才能保证 $s_{\tau }$ 最大而 $log(\cdot)$ 逼近0，从而loss最小，最后，结合回归和匹配损失得到最终的训练目标：

3.3. Fast reciprocal matching-快速相互匹配

对于给定的两个预测特征映射𝐷1，𝐷2∈ℝ𝐻×𝑊×𝑑，我们的目标是提取一组可靠的像素对应，即彼此的相互最近邻：

请看公式14，意思就是输入视角B的特征图上的像素 $D_{j}^{B}$ ，他会计算在视角A特征图中所有像素与 $D_{j}^{B}$ 的1范数，找到最小值对应的像素位置，那么公式13的M就很明确了，就是这样的一组像素对。

遗憾的是，倒数匹配的朴素实现具有𝑂(𝑊2𝐻2)的高计算复杂性，因为必须将一幅图像中的每个像素与另一幅图像中的每个像素进行比较。虽然优化最近邻(NN)搜索是可能的，例如使用K-d树[1]，但这种优化在高维特征空间中通常变得非常低效，并且在所有情况下都比MAST3R的推理时间慢几个数量级以输出𝐷1和𝐷2。

因此，我们提出了一种基于子采样的更快方法。这是一个广义上的贪心算法， 首先，从视角1（ $I_{1}$ ）中采样一组稀疏像素，记作，然后对于这个像素集，利用公式13，14得到在视角2（ $I_{2}$ ）中对应的像素点集 $V^{0}$ ，继续操作，把 $V^{0}$ 放进去，找到 $I_{1}$ 中对应的像素点集 $U^{1}$ ，这个迭代过程可以描述为：

然后，我们以上面的公式15为例来讲解后续过程，通过迭代，我们得到了属于 $I_{1}$ 的两个像素点集合： $U^{t}$ 以及 $U^{t+1}$ ，我们取这两个集合的交（理论上说不一定会有交集，但是大概率是有的，因为这是图片），然后由公式15可知，这个交集必定对应着 $I_{2}$ 中的一个像素点集，那么这两个像素点集对就是我们需要找的对象，用公式写作。

对于迭代轮数t，我们在上面已经得到了像素点对的集合 $M_{k}^{t}$ ，接下来，再考虑t+1轮数的情况，既然已经有了 $U_{n}^{t}=U_{n}^{t+1}$ ，那么对于 $U_{n}^{t+1}$ 来说，交集的区域已经不再需要，故我们更新它：，对于像素点集V也是一样的更新方式（第t+1轮去掉和第t轮的交集），这样，给定一个最大的迭代轮数，我们用这个方法几乎可以遍历整个图像像素，得到匹配率最高的像素对：，进而来判断两个图片是否匹配。

理论上的保证：快速匹配的总体复杂性是𝑂(𝑘𝑊𝐻)，其比表示为𝑊𝐻/𝑘≫的朴素方法快1倍，如图1所示。3(右)。值得指出的是，我们的快速匹配算法提取了整个集合M的一个子集，其大小由|M𝑘|≤𝑘限定。我们在补充材料中研究了该算法的收敛保证以及它如何表现出离群值过滤性质，这解释了为什么最终精度实际上高于使用完全对应集M时，见图3。3(右)。

3.4. Coarse-to-fine matching

由于注意力的二次复杂性，W.r.t.输入图像区域(𝑊×𝐻)，MASt3R仅处理最大尺寸的512个像素的图像。更大的图像将需要显著更多的计算能力来训练，而VITS还不能推广到更大的测试时间分辨率[62，65]。因此，需要对高分辨率图像(例如1M像素)进行缩小以进行匹配，然后将得到的对应关系向上缩放回原始图像分辨率。这可能会导致一些性能损失，有时足以导致定位精度或重建质量方面的显著降级。

从粗到精匹配是一种标准技术，可以保留高分辨率图像与低分辨率算法匹配的优势 [66, 86]。因此，我们探索 MASt3R 的这个想法。我们的过程首先对两个图像的缩小版本进行匹配。我们将通过子采样 𝑘 获得的粗略对应集表示为 M0 𝑘 。下一个，