GS-SLAM论文阅读笔记--GEVO

前言

这篇文章看着就让人好奇。众所周知,高斯是一个很不错的建图方法,但是本文的题目居然是只用高斯进行单目VO,咱也不知道这是怎么个流程,看了一下作者来自于MIT,说不定是个不错的工作,那就具体看看吧!
在这里插入图片描述


文章目录

  • 前言
  • 1.背景介绍
  • 2.关键内容
    • 2.1 灾难性遗忘的两种情况
    • 2.2 Occupancy-Preserving初始化
    • 2.3 Consistency-Aware优化
  • 3.文章贡献
  • 4.个人思考


1.背景介绍

  1. 虽然高斯飞溅(GS)允许高保真重建3D场景,但目前基于高斯飞溅的SLAM记忆效率不高,因为大量过去的图像被存储以重新训练高斯函数以减少灾难性遗忘。这些图像通常需要比建图本身高两个数量级的内存,因此占据了总内存使用量。
  2. 为了减轻遗忘,基于神经辐射场和高斯飞溅(GS)的方法都在当前滑动窗口之外存储了大量的过去图像,以重复重新训练地图。不幸的是,用于存储这些图像的开销内存占总内存的大部分,并且比当前滑动窗口和地图本身都要高几个数量级。
  3. 基于gs slam的框架中的灾难性遗忘在以下情况下发生:
    i)已存在的高斯被当前滑动窗口中构造的新高斯遮挡(见图1b中的红色矩形),
    ii)已存在的高斯改变为与当前滑动窗口中的图像过拟合(见图1b中的绿色矩形)。

在这里插入图片描述

2.关键内容

2.1 灾难性遗忘的两种情况

上面作者分析了灾难性遗忘出现的两种可能,接下来,作者对这两种可能出现的情况做出了具体的分析,并且提出了解决方案。

对于第一种情况,由于目前的在线slam是在图像滑动窗口上操作的,用于定位和建图。当从当前窗口产生的高斯函数阻塞了从过去窗口产生的高斯函数时,灾难性遗忘就会发生。如图2a所示,不一致是由来自当前视图(橙色)的高斯位于先前视图的无障碍区域(蓝色)内的回顾性闭塞(RO)引起的。

对于第二种情况,当先前从过去的滑动窗口观察到的区域与当前滑动窗口的图像过拟合时,也会发生灾难性的遗忘。如图2b所示,过拟合是由不完全射线遮挡(IRO)引起的,其中与当前视图(红色)相关联的高斯并不能完全覆盖传感器射线(蓝色)。因此,从先前视图(橙色)创建的高斯函数仍然部分可见,以便它们的参数更新以匹配当前视图中的外观。

在之前的工作中,RO和IRO都通过存储所有滑动窗口的图像来重新训练高斯分布。这些图像通常主导着总内存的使用量,并随着时间的推移而增长。

  1. 为了降低RO,我们的框架由精确的高斯初始化过程组成,该过程紧凑地编码无障碍区域。这些区域用于识别新高斯函数遮挡现有高斯函数的实例,这些高斯函数在优化结束时被修剪。
  2. 为了减少IRO,我们提出了一个两阶段的优化过程来更新一小部分既不一致又对当前滑动窗口足够可见的高斯函数,以便剩余的高斯函数不会过度拟合到当前窗口。
    在这里插入图片描述

2.2 Occupancy-Preserving初始化

在本节中,我们提出了一个有效的过程来初始化表示当前滑动窗口中障碍物和无障碍区域的高斯。为了在各种环境中实现计算效率和良好的泛化,我们的程序改编自多视图立体的有效实现,并且不依赖耗时的COLMAP或不太精确的随机抽样。

图3总结了初始化的过程。给定滑动窗口中的RGB关键帧序列,我们构建了一个成本量,用于捕获不同深度假设下最新图像中每个像素的光度一致性。从成本体积中,进行信念传播,提取与最新图像相关联的深度图像。然后,使用深度和RGB图像初始化一组高斯(Gt),用于表示障碍物(红色)和自由区域(蓝色),使用SPGF*算法。表示自由区域的高斯分布在多个关键帧之间融合,以识别一致性感知优化过程中的回顾性遮挡(RO)实例。

我们的方法可以与许多定位和关键帧选择策略集成,例如在MonoGS中以地图为中心的直接方法和在ORBSLAM中基于特征的方法(Photo-slam)。
在这里插入图片描述

Cost Volume Generation: 给定N = 8或10个关键帧的序列( I 0 I_0 I0,…, I N − 1 I_{N−1} IN1),当深度假设为d时, I N − 1 I_{N−1} IN1中像素u的光度成本 V ( u , d ) V (u, d) V(u,d)的值定义为:在这里插入图片描述

其中 I ( ⋅ ) I(·) I()是图像 I I I中特定像素的强度, T N − 1 i T^i_{N−1} TN1i∈SE(3)是图像 i n − 1 i_{n−1} in1 I i I_i Ii的变换矩阵,π(·)包裹了图像 i n − 1 i_{n−1} in1 I i I_i Ii的坐标u,给定深度假设d。

在我们的实验中,我们选择64深度假设(即,{ d 0 d_0 d0,…, d 63 d_{63} d63}),间距为0.25−25 m。为了减少内存开销,我们在创建成本卷之前将图像的每个维度的采样降低4倍,以利用图像中的空间冗余。假设每个图像的高度为H = 480,宽度为W = 640,则得到的成本体积V只需要4.7 MBs。空间细节的潜在损失将在之后通过上采样恢复。

Gaussian Generation: 回想一下,公式(1)中生成的成本体积包含64个深度假设,每个像素的光度成本不同。为了在假设每个障碍物都具有光滑表面的情况下确定每个像素的最可能深度,我们使用信念传播(BP)来提取滑动窗口缓冲区中最近关键帧的深度图像。在假设关键帧中具有相同颜色的相邻像素可能描述相同表面的情况下,我们使用一种高效算法将深度图像从BP上采样到关键帧的全分辨率。

考虑到最新的关键帧及其深度图像,我们增强了一种称为SPGF的内存高效算法,以生成一组表示障碍物(红色)和自由(蓝色)区域的高斯分布(见图3)。不同于之前在多个通道中处理深度图像,SPGF利用深度图像中编码的连通性,以不错的精度在单通道中有效地生成高斯分布。由于SPGF*主要是为了精确的深度重建而设计的,因此每个代表一个障碍物的高斯分布都可以包围一个包含多种颜色的表面。为了提高颜色表示的保真度,我们修改了SPGF星,以确保每个高斯只能表示一个具有相似颜色的表面。

2.3 Consistency-Aware优化

在上一节中初始化高斯后,它们被融合到如下图所示的全局图中。回想一下,我们的初始化过程构建了一组高斯
(Gt),表示从当前关键帧可见的障碍物和自由区域。当使用当前滑动窗口将新的高斯集成到现有地图中时,会出现两个挑战:

1. 由于这些高斯函数可能是有噪声的,它们插入到地图中可能会导致RO
2. 在优化过程中,由于缺乏过去观点的约束,IRO和RO都容易发生。

在之前的工作中,两者都是通过对过去滑动窗口采样的关键帧进行高斯训练来解决的。在我们的工作中,我们依赖于从现有地图中渲染的过去的关键帧来减少内存开销。然而,随着时间的推移,这些渲染图像的保真度会下降,从而导致地图本身的严重退化。为了保持这些图像的保真度,我们采用了两阶段优化,首先在局部阶段增强初始化高斯的保真度,然后在全局阶段使用其他现有高斯函数对它们进行优化。由于现有的高斯函数在局部阶段不受干扰,我们可以通过渲染高保真地恢复过去关键帧的颜色。

为了减少IRO,我们优化了一小部分既不一致又从当前滑动窗口可见的高斯。此外,可以通过查询表示自由区域的高斯函数来检索过去关键帧编码的自由空间信息,从而允许我们通过基于占用的剪枝进一步降低RO。

在这里插入图片描述

1)局部阶段:在局部阶段,初始化的高斯函数 G t Gt Gt与当前滑动窗口中可见的其他高斯 M ~ t − 1 \tilde{M}_{t-1} M~t1相加,形成更新的局部建图 M ~ t \tilde{M}_{t} M~t。由于局部建图包含最近初始化的高斯,因此可能存在噪声。为了提高保真性,它通过以下成本函数仅使用当前滑动窗口中的图像进行优化:
在这里插入图片描述

其中 E p h o E_{pho} Epho为绘制图像与地面真实图像之间的光度损失, E i s o E_{iso} Eiso为各向同性损失,防止形成细长或细高斯分布, T k Tk Tk∈SE(3)为其估计位姿。

2)全局阶段:局部地图 M ~ t \tilde{M}_{t} M~t中的高斯经过优化后,可以更准确地代表环境。为了解决与先前测量的剩余一致性并增强地图的紧凑性,我们将高斯 M ~ t \tilde{M}_{t} M~t合并到全局地图 M t − 1 M_{t−1} Mt1中。在合并过程中,我们通过使用从这些视点渲染的关键帧来识别和更新在过去视点上暂时不一致的一小部分高斯来减少灾难性遗忘。由于全局地图 M t − 1 M_{t - 1} Mt1在局部阶段没有受到干扰,这些从 M t − 1 M_{t - 1} Mt1渲染的关键帧保持高质量,足以解决剩余的不一致性。全局阶段包括以下三个连续步骤:插入、选择性优化和修剪。详细描述如下。

插入和激活:我们插入局部建图 M ~ t \tilde{M}_{t} M~t和之前的全局建图 M t − 1 {M}_{t-1} Mt1,以创建预优化的全局地图: M t ′ ← M ~ t ∪ M t − 1 M'_t←\tilde M_t∪M_{t−1} MtM~tMt1。为了防止局部地图 M ~ t \tilde{M}_{t} M~t引起的回顾性闭塞(RO),我们在插入前将其不透明度降低到0.2。

选择性优化:我们采用类似于式(2)的优化程序,但进行了两处修改:
1)为防止预优化地图 M ′ t M't Mt中的高斯与当前滑动窗口缓冲区 W t Wt Wt中的图像过拟合,我们选择并仅优化一个活动子集 A t ⊆ M t ′ A_t ⊆ M'_t AtMt
2)我们额外引入光度一致性损失 E p c E_{pc} Epc,以进一步确保与先验全局地图 M t − 1 M_{t−1} Mt1的一致性。
在这里插入图片描述
具体来说,我们选择 A t = M ~ t ∪ E t A_t = \tilde M_t∪E_t At=M~tEt,其中包含新插入的高斯和一个子集 E t E_t Et,该子集在当前窗口中会导致高渲染错误:
在这里插入图片描述
其中,每高斯渲染误差 E k ( g ) E_k(g) Ek(g):
在这里插入图片描述
其中,u为像素坐标,w(g, u)为像素u处g的alpha-blending系数。由于相机更容易看到的高斯值对 E k ( g ) E_k(g) Ek(g)的贡献更大,因此活动集倾向于排除当前窗口未很好观察到的现有高斯值,从而降低IRO。

为了进一步确保全球地图的保真度不会随着时间的推移而降低,公式(3)中在滑动窗口外四个过去的摄像机视图的关键帧上上评估的光度一致性损失 E p c E_{pc} Epc:
在这里插入图片描述
其中,R(·)为渲染函数,帧索 k l k_l kl从过去的时间步长1…t−W中均匀采样。∇(·)为停止梯度算子,避免了梯度通过R( M t − 1 , T k l M_{t−1},T_kl Mt1,Tkl)的反向传播。(这个部分似乎主要参考了Revising densification in gaussian splatting这篇文章)

剪枝:经过选择性优化后,我们对更新后的高斯进行剪枝,仍然会产生RO问题。通过a)不透明度小于0.7或b)占用概率小于0.9来识别这些高斯。使用高斯混合回归对第一节中表示自由区域的初始化高斯函数计算占用概率。

3.文章贡献

  1. 使用占用初始化: 为了减少不正确的遮挡,位于无障碍区域内的高斯被修剪。因此,除了表示障碍物之外,表示自由区域的高斯函数也被初始化以识别不正确的遮挡。
  2. 一致性感知优化: 为了减少地图对当前窗口的过拟合,我们只优化了一小部分既不一致又对相机足够可见的高斯分布。为了确保渲染图像保持高保真度,我们在将当前滑动窗口创建的噪声高斯合并到地图进行全局优化之前,对其进行局部优化。

4.个人思考

  1. 本篇文章目的很明确,就是要解决灾难性遗忘的问题,在目前的大部分GS-SLAM方法中,解决灾难性的方法是存储所有关键帧,在每次迭代的时候随机挑选进行优化。但是本文指明这种方法太消耗内存。然后具体分析了两种灾难性遗忘的情况,逐个进行解决和分析。
  2. 回到本文的题目上面,我个人感觉他更侧重于后端建图的优化,解决灾难性遗忘的同时大大减少内存。作者的实验部分也提到本文是一种即插即用的方法,可以兼容各种跟踪方法。并且给出了GEVO的两种变体的结果: 分别是(Direct)的光度跟踪,和ORB-SLAM进行跟踪。这说明本文是一种后端建图方法,可以兼容一些跟踪的前端方法。但是标题可能会让人误解。
  3. 总的来说,我觉得这篇文章是我最近阅读的创新程度最高的论文了,深度分析了现在共性的痛点问题,提出了新颖的解决方案,绝对是一篇好论文,值得参考和借鉴。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/54092.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

springboot实战学习(10)(ThreadLoacl优化获取用户详细信息接口)(重写拦截器afterCompletion()方法)

接着学习。之前的博客的进度:完成用户模块的注册接口的开发以及注册时的参数合法性校验、也基本完成用户模块的登录接口的主逻辑的基础上、JWT令牌"的组成与使用、完成了"登录认证"(生成与验证JWT令牌)以及完成获取用户详细信…

APISIX 联动雷池 WAF 实现 Web 安全防护

Apache APISIX 是一个动态、实时、高性能的云原生 API 网关,提供了负载均衡、动态上游、灰度发布、服务熔断、身份认证、可观测性等丰富的流量管理功能。 雷池是由长亭科技开发的 WAF 系统,提供对 HTTP 请求的安全请求,提供完整的 API 管理和…

解决 Sqoop 导入 Hive 时时间字段精度丢失问题

目录 一、背景介绍 二、问题描述 三、问题原因 四、解决方案 五、结论 一、背景介绍 介绍 Sqoop 数据导入过程,尤其是从 MySQL 导入 Hive 的场景。说明 MySQL 和 Hive 的数据类型差异,特别是 DATETIME 和 TIMESTAMP 类型的精度问题。 二、问题描述…

MySQL深度分页

在现代Web应用中,数据的逐步展示除了增强用户体验外,还有效提高了系统性能。然而,随着数据集的不断增大,尤其是在数据库表中记录数量达到百万甚至千万级别时,处理深度分页(即访问较后页的数据)就…

JetLinks物联网平台微服务化系列文章介绍

橙蜂智能公司致力于提供先进的人工智能和物联网解决方案,帮助企业优化运营并实现技术潜能。公司主要服务包括AI数字人、AI翻译、AI知识库、大模型服务等。其核心价值观为创新、客户至上、质量、合作和可持续发展。 橙蜂智农的智慧农业产品涵盖了多方面的功能&#x…

【CKA】二、节点管理-设置节点不可用

2、节点管理-设置节点不可用 1. 考题内容: 2. 答题思路: 先设置节点不可用,然后驱逐节点上的pod 这道题就两条命令,直接背熟就行。 也可以查看帮助 kubectl cordon -h kubectl drain -h 参数详情: –delete-empty…

YOLO11震撼发布!

非常高兴地向大家介绍 Ultralytics YOLO系列的新模型: YOLO11! YOLO11 在以往 YOLO 模型基础上带来了一系列强大的功能和优化,使其速度更快、更准确、用途更广泛。主要改进包括 增强了特征提取功能,从而可以更精确地捕捉细节以更…

在树莓派上基于 LNMP 搭建 Nextcloud

原文链接:https://blog.iyatt.com/?p17296 环境 树莓派CM4raspios 20240704 Debian 12 arm64 搭建 LNMP 环境 安装 Nginx sudo apt update sudo apt install -y nginx安装 php 及功能组件支持 参考:https://docs.nextcloud.com/server/latest/adm…

网关的作用及其高可用性设计详解

引言 在现代分布式系统架构中,网关(Gateway)是一个关键组件。它作为客户端与后端服务之间的桥梁,不仅提供了请求路由、负载均衡、安全认证、流量控制等功能,还能够保护后端服务的安全和稳定性。网关的设计和高可用性对…

EXCEL图片链接快速批量转成图片

EXCEL图片链接快速批量转成图片 直接上图 "<table><img src"&C1&" height50 width50></table>"复制F列到txt文件&#xff0c;暂时放置 全选复制&#xff0c;然后插入一列&#xff0c;粘贴到新的一列中去如图一所示。 ps&…

光通信——PON技术

PON网络结构 PON&#xff08;Passive Optical Network&#xff0c;无源光网络&#xff09;系统的基本组成包括OLT&#xff08;Optical Line Terminal&#xff0c;光线路终端&#xff09;、ODN&#xff08;Optical Distribution Network&#xff0c;光分配单元&#xff09;和ON…

初学51单片机之I2C总线与E2PROM二

总结下上篇博文的结论&#xff1a; 1&#xff1a;ACK信号在SCL为高电平期间会一直保持。 2&#xff1a;在字节数据传输过程中如果发送电平跳变&#xff0c;那么电平信号就会变成重复起始或者结束的信号。&#xff08;上篇博文的测试方法还是不能够明确证明这个结论&#xff0…

MacOS Sequoia安装geant4.10.07

1&#xff0c;安装Geant4需求环境 (1,)安装xcode&#xff0c;在~/.bash_profile中添加其环境变量 export PATH"/Applications/CMake.app/Contents/bin":"$PATH" (2,)brew install clhep (3,)brew install cmake (4,)brew install qt5 (5,)brew insta…

深入解析 Java 虚拟机:内存区域、类加载与垃圾回收机制

我的主页&#xff1a;2的n次方_ 1. JVM 内存区域划分 程序计数器&#xff08;空间比较小&#xff09;。保存了下一条要执行的指令的地址&#xff08;指向元数据区指令的地址&#xff09;堆。JVM 最大的空间&#xff0c;new 出来的对象都在堆上栈。函数中的局部变量&#x…

linux服务器部署filebeat

# 下载filebeat curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.23-linux-x86_64.tar.gz # 解压 tar xzvf filebeat-7.17.23-linux-x86_64.tar.gz# 所在位置&#xff08;自定义&#xff09; /opt/filebeat-7.17.23-linux-x86_64/filebeat.ym…

一篇文章快速学会docker容器技术

目录 一、Docker简介及部署方法 1.1Docker简介 1.1.1什么是docker 1.1.2 docker在企业中的应用场景 1.1.3 docker与虚拟化的对比 1.1.4 docker的优势 二 、部署docker 2.1 容器工作方法 2.2 部署第一个容器 2.2.1 配置软件仓库 2.2.2 安装docker-ce并启动服务 2.2.…

C嘎嘎入门篇:类和对象(2)

前言&#xff1a; 上一篇小编讲了类和对象&#xff08;1&#xff09;&#xff0c;当然&#xff0c;在看这篇文章之前&#xff0c;读者朋友们一定要掌握好前面的基础内容&#xff0c;因为这篇和前面息息相关&#xff0c;废话不多说&#xff0c;下面小编就加快步伐&#xff0c;开…

css的背景background属性

CSS的background属性是一个简写属性&#xff0c;它允许你同时设置元素的多个背景相关的子属性。使用这个属性可以简化代码&#xff0c;使其更加清晰和易于维护。background属性可以设置不同的子属性。 background子属性 定义背景颜色 使用background-color属性 格式&#x…

ARM Process state -- CPSR

Holds PE status and control information. 保存PE状态和控制信息。 N, bit [31] Negative condition flag. Set to bit[31] of the result of the last flag-setting instruction. If the result is regarded as a twos complement signed integer, then N is set to 1 if…

Flask+微信小程序实现Login+Profile

Python代码 首先flask的session用不了&#xff0c;只能用全局变量来实现。 import pymysql from flask import Flask, request, jsonify, session from flask_cors import CORS from flask import make_responseapp Flask(__name__) CORS(app, supports_credentialsTrue) #…