bundlefusion论文阅读笔记

 

4. 全局位姿对齐(glob pose alignment)

输入系统的是使用消费级的传感器获取的RGBD数据流,并且保证这些数据中的彩色图像和深度图像是时间和空间上都对齐的。图像分辨率是640x480,频率是30hz。我们的目的就是要找到frames之间的3D对应,然后根据这些对应信息找到刚体相机变换Ti。Ti(p) = Rip + ti(Ri为旋转,ti为平移),Ti实现从相机系到世界系的映射。并且将系统的第一帧作为世界系的坐标系。

4.1 搜索特征匹配(Feature Correspondence Search)

在这个系统框架下,首先搜索图像画帧之间的saprse correspondences,包括特征提取,特征匹配和外点剔除步骤。这些稀疏的对应将会被用在接下来的dense photometric correspondences的搜索中。针对每一个input frame都要先提取sift特征点,将提取的这些点与之前所有看到的帧进行匹配。之所以使用sift特征,是因为他考虑了相机扫描过程中发生的的图像的位移旋转和尺度的变化。搜索correspondence的工作都是在GPU中完成的。在这样的分辨率下,提取一帧图像的特征和计算描述子需要4-5ms,匹配两幅图像需要大概0.05ms。基于以上的一些指标,该系统可以实时处理大致20k的图像。

4.1.1 correspondece Filter

使用几何和光度的连续性的方法来过滤掉检测的不对的correspondences.

Key Point Correspondence Filter

图像Fi和图像Fj上的特征的3D correspondences, key point correspondence filter可以找到一组可以表示一个稳定的分布和连续的刚体变换的feature correspondences.对于新加入的correspondence我们计算一个刚体变换,使用Kabsch算法可以用这个刚体变化最小化当前correspondences的Pcur和Qcur之间的距离。随后我们将执行一些条件分析,包括点Pcur和Qcur的协方差和Pcur和Qcur之间的cross-convariance、如果任何的condition numbers大于100,那么这个系统被认为是不稳定的。如果Tij下特征点的重投影误差大于或者在上述condition number中系统被认为是不稳定的情况下,这些correspondences将被删除。除非删除情况不出现或者此时没有足够的特征点用来计算刚体变换。如果根据找到的correspindences已经计算出了一个刚体变换,那么就讲Fi和Fj之间的这些correspondences删除。

Surface Area Filter

另外,我们还检查检测到的特征张成出的面是否足够大,因为我们认为,如果找到的correspondences张成的平面比较小,那么此时的correspondences趋于ambiguity.对于图像Fi和图像Fj,我们估计Fi图像的3D点P张成的面的区域面积,以及Fj图像的3D点Q张成的面的区域面积,然后我们将两个三维的surfaces,根据他们的principal axes向平面投影。如果P和Q张成的面积不足0.032平方米,那么这组matches被认为是ambiguous并且被删除。

Dense Verification

最后一步是执行稠密校验,包括稠密光度校验和稠密几何校验,对于图像Fi和图像Fj,我们使用上述通过key point correspondence filter计算得到的相对变换Tij,来对齐图像Fi和图像Fj之间的坐标系。为了找到有效的像素对应(pixel correspondence),我们测量重头影两个方向的,平均深度差别(depth discrepancy), 法向量偏差(normal deviation), 光度一致性(photoconsistancy), 并且计算这些pixel correspondences的重投影误差。

4.2 等级化的优化(Hirerachinal Optimization)

为了能够实时的处理成千上万的RGBD图像,我们使用了等级化的优化策略。输入的连续的图像序列被分割成小的chunk。在最低等级的优化中,我们在chunk内部实时优化。在第二等级优化中,使用所有的chunks中的代表关键帧以及该关键帧所在chunk内的相关的特征数据进行全局的优化。为了提高处理效率,这一步骤只在经过滤波的并且下采样之后的图像上执行。注意,为了提高效率,当有一个新的RGBD数据输入到系统时,经过滤波和下采样处理的彩色图C和深度图D被缓存下来。相机的空间位置Pi和每一个深度的法向量Ni也被计算兵器被缓存下来。

LocalIntra-Chunk Pose Optimization(chunk内部的位姿优化)

chunk内部的位姿对齐优化时基于该chunk内的11个连续的图像帧数据的。连接的两个chunk之间有一个重叠的图像帧。局部位姿优化的目标是求解该chunk内任意一帧图像相对于chunk中的第一帧图像的变换{Ti}.通过搜索correspondences,构建代价方程,然后最小化代价方程的方式求解,代价方程中包含了稀疏特征correspondecs和dense photometric and geometric correspondences约束。因为每一个chunk内只包含很少的连续图像帧,并且chunk内的位姿变换也很小,所以可以将每一个Ti初始化为单位阵。为了确保局部位姿优化的精度,我们使用优化的局部轨迹对chunk内的每一对图像实时dense verification测试,如果重投影误差太大,大于0.05m,这个chunk就会别删除,并且也不会被用到全局优化中来。

Per-Chunk Keyframes

一旦一个chunk已经被处理完成,我们将该chunk中的第一帧图像定义为这个chunk的关键帧,同时也会计算这些关键帧的特征,得到keyframe feature set.根据chunk的优化的位姿估计,计算chunk内部的特征点在世界空间中的3D位置。我们将在<0.03m空间中的3D点用一个最佳的3D点来表示。一旦这个全局的关键帧和关键帧特征序列被创建,该chunk data(包括chunk内的特征点,描述子,和correspondences) 将被删除,因为在第二层的位姿对齐中用不到他们了,但是他们的图像还有,图像的位姿态还有,当在全局优化中关键帧位姿被优化了,则这个关键帧所处的chunk中的其他帧的位姿将被被更新,要知道在intro-chunk优化中,我们已经知道了chunk中的任意一帧相对于第一帧的相对位姿.。

Global Inter-Chunk Pose Optimization

和chunk内的位姿优化类似,chunk间的全局位姿优化也是进行全局特征点之间的稀疏特征匹配搜索和外点剔除。如果一个关键帧在过去看到的关键帧中找到任意的匹配,那么这个关键帧被标记为“独立” individual, 但是仍然被作为候选,允许被再次校验,当将来得到关键帧与该关键帧之间有联系。全局位姿优化需要计算所有全局关键帧的global alignments{Ti},同样需要构建代价方程,最小化代价方程求解,同样在代价方程中包括,稀疏和稠密两种约束。使用对应的intra-chunk中优化的位姿的depta 变换来初始化全局关键帧的位姿。我们得到所有输入帧的全局一致性变换,通过将对应的delta transformations作用到,chunk中的每一帧图像,这样就可以得chunk内没一帧图像的位姿。

5. Dynamic 3D Reconstruction(动态的3D重建)

需要根据最新优化的相机位姿,不断更新重建的模型。我们采用integration和de -integration的方式来更新模型的表示。当累计误差过大,或者特征过少导致的模型重建错误,可以被很好的恢复,一旦一个好的位姿估计可以获取到。

5.1 Scene Representation

通过将RGBD数据融合到TSDF模型中来恢复场景的几何,使用voxel hashing的方式来存储TSDF中的数据。根据spatial harshing将TSDF存储在一个稀疏的volumetric grid中。

5.2 Integration and De-integration

系统中分两种pose一种是integration pose,一种是optimized pose是经过优化的位姿,首先我们按照integration pose将图像数据融合到TSDF模型中,当位姿态被优化更新之后,我们就需要同时更新重建的模型,那么就需要按照integration pose将TSDF中的相关数据从TSDF中剔除掉,然后再按照优化后的位姿,重新将刚才被剔除出来的数据,融合到TSDF中,实现地图更新的目的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/252400.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

IOC和DI的区别详解

IOC 是英文inversion of control的缩写&#xff0c;意思是控制反转DI 是英文Dependency Injection的缩写&#xff0c;意思是依赖注入 下面用一个简单的例子来描述一下IOC和DI的关系 先看下总结&#xff1a; 依赖注入(DI)和控制反转(IOC)是从不同的角度的描述的同一件事情&#…

TOMCAT启动到一半停止如何解决

当你的项目过大的时候&#xff0c;往往会导致你的TOMCAT启动时间过长&#xff0c;启动失败&#xff0c;遇到该情况可以试一下下面两招&#xff1a; TOmcat启动到一半的时候停止了&#xff0c;以下原因&#xff1a; 1、 tomcat启动时间超过了设置时间&#xff1a; 解决办法&…

python中将四元数转换为旋转矩阵

在制作bundlefusion时,想测试TUM数据集,并且将groundtruth写入到数据集中,TUM中给定的groundtruth中的旋转是使用四元数表示的,而bundlefusion中需要SE3的形式,所以我需要首先将四元数转换为旋转矩阵,然后再将其与平移向量合并在一起,因为我之前关于生成bundlefusion数据集写了…

19、Fragment

一、Fragment 1.1、fragment介绍 fragment的出现是为了同时适应手机和平板&#xff0c;可以将其看做Activity的组成部分&#xff0c;甚至Activity界面完全由不同的Fragment组成&#xff0c;它拥有自己的生命 周期和接收、处理用户的事件&#xff0c;更为重要的是&#xff0c;可…

将TUM数据集制作成BundleFusion数据集

在上一篇文章中,我写到了如何将TUM数据生成BundleFusion所需要的数据集,生成的数据集如下图中所示.并且是将每一组数据的groundtruth.txt中的位姿数据写如到这里的pose文件中,作为每一帧图像的先验位姿. 今天我便将生成的数据集转换为了.sens格式,然后运行bundlefusion算法,第…

mysql盲注学习-1

mysql: 1.left() //left()函数 left(a,b)从左侧截取a,的b位 2.mid() //mid()函数 参数 描述 column_name 必需。要提取字符的字段。 start 必需。规定开始位置&#xff08;起始值是 1&#xff09;。 length 可选。要返回的字符数。如果省略&#xff0c;则 MID() 函数…

二分学习笔记

写在前面 二分是一种常用且非常精妙的算法&#xff0c;常常是我们解决问题的突破口。二分的基本用途是在单调序列或单调函数中做查找。因此当问题的答案具有单调性时&#xff0c;就可以通过二分把求解转化为判定。进一步地&#xff0c;我们还可以通过三分法解决单调函数的极值以…

ConcurrentHashMap 解读

初始化&#xff1a; 问题&#xff1a;如何当且仅只有一个线程初始化table 1 private final Node<K,V>[] initTable() {2 Node<K,V>[] tab; int sc;3 while ((tab table) null || tab.length 0) {4 if ((sc sizeCtl) < 0)5 …

BundleFusion那些事儿

背景&#xff1a;前面几篇博客中写了很多关于BundleFusion的东西&#xff0c;主要包括bundlefusion的论文阅读笔记&#xff0c;.sens数据集的生成等&#xff0c;经过最近几天的工作&#xff0c;我对bundlefusion又有了新的技术积累&#xff0c;在这里整理一下&#xff0c;也算是…

Oracle Study之--Oracle 11gR2通过RMAN克隆数据库

Oracle Study之--Oracle 11gR2通过RMAN克隆数据库Purpose of Database Duplication A duplicate database is useful for a variety of purposes, most of which involve testing. You can perform the following tasks in a duplicate database: Test backup and recovery pro…

手机录音ogg格式怎么转换mp3

Ogg这种音频格式刚出来的时候大家是非常热爱的&#xff0c;但是随着时代的发展&#xff0c;这种音频格式已经已经被取代了&#xff0c;现在呢走在音频格式前端的是MP3格式&#xff0c;这是大家都比较熟悉的&#xff0c;但是我们还是会经常下载到ogg这种格式的音频&#xff0c;就…

[机器学习] 推荐系统之协同过滤算法(转)

[机器学习]推荐系统之协同过滤算法 在现今的推荐技术和算法中&#xff0c;最被大家广泛认可和采用的就是基于协同过滤的推荐方法。本文将带你深入了解协同过滤的秘密。下面直接进入正题. 1. 什么是推荐算法 推荐算法最早在1992年就提出来了&#xff0c;但是火起来实际上是最近这…

BundleFusion代码框架讲解

背景&#xff1a;前面用了几篇文章来记录和总结了&#xff0c;我在研究bundlefusion过程中遇到的一些问题以及解决方法&#xff0c;本来想实现给bundlefusion输入先验轨迹&#xff0c;然后让其根据给定的轨迹进行重建&#xff0c;这样即便在环境比较恶劣的情况下&#xff0c;也…

BundlePhobia

1、BundlePhobia用于分析npm package的依赖、bundle后的大小、下载速度预估等等&#xff0c;帮助你在引用一个package之前了解引入该package的代价。 2、也可以将项目的package.json文件上传&#xff0c;BundlePhobia会帮你评估项目中所有包的大小和加载速度。

VFL演示样例

VFL演示样例 上篇文章向大家介绍了VFL的基本的语法点&#xff0c;假设对下面演示样例不熟的童鞋&#xff0c;能够前去參考。废话不多说。我们直接来看演示样例。演示样例一 将五个大小同样、颜色不同的view排成一行&#xff0c;view间的间隔为15px,第一个view的间隔与屏幕的左边…

ubuntu16.04 + ros-kinetic 配置cartographer

其实一直以来都感觉纯视觉SLAM很难落地产品&#xff0c;所以一直在找机会学习激光slam,之前也在深蓝学院上买了一个激光salm的课程&#xff0c;惭愧&#xff0c;至今也没开始学呢&#xff0c;年底之前&#xff0c;我想工作之余研究一下激光slam和ros&#xff0c;我感觉这两个东…

virtualbox中安装ubuntu

为什么80%的码农都做不了架构师&#xff1f;>>> virtualboxubuntu 安装virtualbox&#xff0c;当前版本是6.0.4下载ubuntu安装盘&#xff0c;建议lubuntu&#xff0c;链接是http://mirrors.ustc.edu.cn/ubuntu-cdimage/lubuntu/releases/18.04.2/release/lubuntu-1…

面向对象重写(override)与重载(overload)区别

一、重写&#xff08;override&#xff09; override是重写&#xff08;覆盖&#xff09;了一个方法&#xff0c;以实现不同的功能。一般是用于子类在继承父类时&#xff0c;重写&#xff08;重新实现&#xff09;父类中的方法。 重写&#xff08;覆盖&#xff09;的规则&#…

cartographer学习笔记--如何保存cartagrapher_ros建好的地图

今天开始跟着网友大佬学习cartographer. 1. 如何保存cartographer的地图数据 在运行cartographer过程中可以随时保存建好的地图&#xff0c;步骤如下&#xff1a; 首先是重新打开一个terminal, 如果你没有将你的cartographer_ros下的setup.bash文件写入到.bashrc中&#xff…

Java微信公众号开发(五)—— SVN版本控制工具

1 作用 两个疑问&#xff1a; 什么是版本控制&#xff1f;为什么要用版本控制工具&#xff1f;作用&#xff1a; 受保护受约束合作开发中&#xff0c;版本控制工具更重要的作用就是让开发者更好地协作&#xff0c;每个人的代码既能互相调用&#xff0c;来共同完成一个较大的功…