ORB-SLAM2学习笔记7之System主类和多线程

文章目录

  • 0 引言
  • 1 整体框架
    • 1.1 整体流程
  • 2 System主类
    • 2.1 成员函数
    • 2.2 成员变量
  • 3 多线程
    • 3.1 ORB-SLAM2中的多线程
    • 3.2 加锁

0 引言

ORB-SLAM2是一种基于特征的视觉SLAMSimultaneous Localization and Mapping)系统,它能够从单个、双目或RBGD相机的输入中实时地同时定位相机的位置,并构建环境的三维地图。ORB-SLAM2是在ORB-SLAM的基础上进行改进和扩展的版本。

本文主要对ORB-SLAM2的整体框架,System主类和多线程进行学习和总结,如有理解错误,欢迎指正交流。

1 整体框架

1.1 整体流程

ORB-SLAM2整体框架如下图,主要流程可以概括为以下几个步骤:

请添加图片描述

  1. 特征提取和匹配ORB-SLAM2首先对输入的图像进行特征提取,通常使用Oriented FAST and Rotated BRIEF (ORB)算法来检测和描述图像中的特征点。然后,它使用特征描述子进行特征匹配,以在连续帧之间建立对应关系。

  2. 初始化:初始化阶段是在初始帧上建立初始地图并估计相机的初始位姿。ORB-SLAM2使用基于单目、双目或RGB-D输入的不同方法来进行初始化。在单目或双目情况下,可以使用基于运动的方法或基于平面的方法来估计相机的初始位姿。在RGB-D情况下,可以通过三角测量来估计初始位姿。

  3. 跟踪:跟踪阶段是ORB-SLAM2的核心部分,它通过连续图像帧之间的特征匹配和运动估计来实时定位相机。通过追踪特征点的运动,ORB-SLAM2可以估计相机的位姿变化,并通过优化方法来减小累积误差。

  4. 局部地图更新ORB-SLAM2通过局部地图来表示环境的三维结构。在跟踪过程中,它会不断地更新和扩展局部地图,包括添加新的地图点和关键帧。同时,ORB-SLAM2还会执行一些优化步骤,如相机位姿优化、地图点优化等,以提高地图的一致性和准确性。

  5. 回环检测:回环检测是为了解决定位漂移和累积误差问题的关键步骤。ORB-SLAM2会在跟踪过程中检测可能的回环,并使用回环检测算法来识别和纠正回环。一旦回环被检测到,ORB-SLAM2会进行全局优化来提高整体的一致性。

  6. 闭环优化:闭环优化是在回环检测之后执行的步骤,通过全局优化来进一步提高地图的一致性和准确性。ORB-SLAM2会使用所有的关键帧和地图点进行非线性优化,以减小累积误差并提高整体的位姿和地图质量。

  7. 地图管理ORB-SLAM2会维护一个稠密的局部地图和一个稀疏的全局地图,用于表示环境的三维结构。地图管理模块负责管理和更新地图,包括删除冗余地图点、关键帧的选择和插入、地图点的筛选等。

以上是ORB-SLAM2的主要流程和步骤。通过不断的特征提取、跟踪、地图更新、回环检测和优化,ORB-SLAM2能够实现实时的定位和地图构建,并在大范围和长时间的场景中表现出较好的性能。

也有大佬绘制了更详细的流程图(以mono_tum.cc的运行流程为例,建议下载学习):
👉 https://www.jianguoyun.com/p/Dc1MEhMQ-9KLBxjM3uED

请添加图片描述
此外,还有大佬已经中文注释了ORB_SLAM2可以参考理解代码:
👉 https://github.com/electech6/ORB_SLAM2_detailed_comments/tree/master

但是在学习以上的核心的主要流程之前,需要先熟悉ORB-SLAM2中的System主类和多线程…

2 System主类

System类是ORB-SLAM2系统的主类,主要代码是头文件ORB_SLAM2/include/System.h和源文件ORB_SLAM2/src/System.cc,分析其主要的成员函数和成员变量。

2.1 成员函数

vscode打开System.cc文件,如下,可以看到成员函数的大纲:

请添加图片描述
具体成员函数的类型和定义如下:

成员函数类型定义
System(const string &strVocFile, string &strSettingsFile, const eSensor sensor, const bool bUseViewer=true)public构造System函数
cv::Mat TrackStereo(const cv::Mat &imLeft, const cv::Mat &imRight, const double &timestamp)public跟踪双目相机,返回相机位姿
cv::Mat TrackRGBD(const cv::Mat &im, const cv::Mat &depthmap, const double &timestamp)public跟踪RGBD相机,返回相机位姿
cv::Mat TrackMonocular(const cv::Mat &im, const double &timestamp)public跟踪单目相机,返回相机位姿
void ActivateLocalizationMode()public开启纯定位模式
void DeactivateLocalizationMode()public关闭纯定位模式
bool System::MapChanged()public检测地图是否有较大变化
void System::Reset()public系统复位
void System::Shutdown()public系统关闭
void System::SaveTrajectoryTUM(const string &filename)publicTUM格式保存相机运动轨迹
void System::SaveKeyFrameTrajectoryTUM(const string &filename)publicTUM格式保存关键帧位姿
void System::SaveTrajectoryKITTI(const string &filename)publicKITTI格式保存相机运动轨迹
int System::GetTrackingState()public获取追踪器状态
vector<MapPoint*> System::GetTrackedMapPoints()public获取追踪到的地图点
vector<cv::KeyPoint> System::GetTrackedKeyPointsUn()public获取追踪到的关键帧的点

2.2 成员变量

主要的成员变量及其定义如下:

成员变量类型定义
eSensor mSensorprivate传感器类型单目相机MONOCULAR,双目相机STEREO,彩色深度相机RGBD
ORBVocabulary* mpVocabularyprivateORB字典,保存ORB描述子聚类结果
KeyFrameDatabase* mpKeyFrameDatabaseprivate关键帧数据库,保存ORB描述子倒排索引
Map* mpMapprivate地图
Tracking* mpTrackerprivate追踪器
LocalMapping* mpLocalMapperprivate局部建图器
std::thread* mptLocalMappingprivate局部建图线程
LoopClosing* mpLoopCloserprivate回环检测器
std::thread* mptLoopClosingprivate回环检测线程
Viewer* mpViewerprivate查看器
FrameDrawer* mpFrameDrawerprivate帧绘制器
MapDrawer* mpMapDrawerprivate地图绘制器
std::thread* mptViewerprivate查看器线程
int mTrackingStateprivate追踪状态
std::mutex mMutexStateprivate追踪状态加锁
bool mbActivateLocalizationModeprivate开启纯定位模式
bool mbDeactivateLocalizationModeprivate关闭纯定位模式
std::mutex mMutexModeprivate纯定位模式加锁
bool mbResetprivate系统复位
std::mutex mMutexResetprivate系统复位加锁

都说ORB-SLAM2有三大线程TrackingLocalMappingLoopClosing线程,可从成员变量中只定义了LocalMappingLoopClosing线程,其实Tracking线程就是Syetem类的主线程,构成三大线程,虽然Tracking线程在代码实现上是主线程,但三者的关系其实是并发的。

3 多线程

刚刚学习到ORB-SLAM2中主要有三大线程,其实SLAM项目中一般都会使用多线程,由于某个节点可能同时订阅多个消息,或多个线程函数共享数据,为了防止在多个消息被订阅时发生处理时间过长或阻塞,而导致其他回调函数无法正常使用,也为了防止共享数据时在存储或调用时发生错乱,一般都会使用std::mutex(互斥锁)std::thread(多线程管理)

3.1 ORB-SLAM2中的多线程

ORB-SLAM2中三大线程中的Tracking线程产生关键帧的频率和时机不是固定的,三个线程同时运行,方便LocalMappingLoopClosing线程查询Tracking线程是否产生关键帧。

// Tracking线程主函数
void Tracking::Track() {// 进行跟踪// ...// 若跟踪成功,根据条件判定是否产生关键帧if (NeedNewKeyFrame())// 产生关键帧并将关键帧传给LocalMapping线程KeyFrame *pKF = new KeyFrame(mCurrentFrame, mpMap, mpKeyFrameDB);mpLocalMapper->InsertKeyFrame(pKF);	
}// LocalMapping线程主函数
void LocalMapping::Run() {// 死循环while (1) {// 判断是否接收到关键帧if (CheckNewKeyFrames()) {// 处理关键帧// ...// 将关键帧传给LoopClosing线程mpLoopCloser->InsertKeyFrame(mpCurrentKeyFrame);}// 线程暂停3毫秒,3毫秒结束后再从while(1)循环首部运行std::this_thread::sleep_for(std::chrono::milliseconds(3));}
}// LoopClosing线程主函数
void LoopClosing::Run() {// 死循环while (1) {// 判断是否接收到关键帧if (CheckNewKeyFrames()) {// 处理关键帧// ...}// 查看是否有外部线程请求复位当前线程ResetIfRequested();// 线程暂停5毫秒,5毫秒结束后再从while(1)循环首部运行std::this_thread::sleep_for(std::chrono::milliseconds(5));}
}

3.2 加锁

多线程一般都是和锁一起使用,ORB-SLAM2中多线程和互斥锁一起使用,而互斥锁是有范围的,锁的有效性仅限于大括号{}之内,程序运行出大括号之后就释放锁。另外,一把锁一般在某个时刻只有一个线程能够拿到,比如程序执行到某个需要锁的范围,但是锁正在另一个线程,那当前线程就会先停下来,直到其他线程释放这个锁,当前线程才能继续向下运行。

void KeyFrame::EraseConnection(KeyFrame *pKF) {// 以下大括号中的代码部分加锁{unique_lock<mutex> lock(mMutexConnections);if (mConnectedKeyFrameWeights.count(pKF)) {mConnectedKeyFrameWeights.erase(pKF);bUpdate = true;}}// 程序运行到这里就释放锁,比如下行代码未在加锁范围UpdateBestCovisibles();
}

至此,学习了ORB-SLAM2中的System主类的实现细节和ORB-SLAM2中的多线程。后续在此基础上继续学习ORB-SLAM2中的输入预处理部分的核心—特征点的提取、描述子的生成及特征点匹配等等。


Reference:

  • https://github.com/raulmur/ORB_SLAM2



须知少时凌云志,曾许人间第一流。



⭐️👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍👍🌔

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/45907.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

线性代数的学习和整理7:各种特殊矩阵(草稿-----未完成)

目录 1 单位矩阵 为什么单位矩阵I是 [1,0;0,1]T 而不是[1,1;1,1]T 2 旋转矩阵 3 伸缩矩阵 放大缩小倍数矩阵 4 镜像矩阵 5 剪切矩阵 1 矩阵 1.1 1维的矩阵 行向量列向量 1.2 2维的矩阵 一般2维表都可以看作矩阵。矩阵的每个维度可以是1个数字&#xff0c;也可以是多个…

Appium-移动端自动测试框架,如何入门?

Appium是一个开源跨平台移动应用自动化测试框架。 既然只是想学习下Appium如何入门&#xff0c;那么我们就直奔主题。文章结构如下&#xff1a; 1、为什么要使用Appium&#xff1f; 2、如何搭建Appium工具环境?(超详细&#xff09; 3、通过demo演示Appium的使用 4、Appium如何…

通讯录的实现

> 作者简介&#xff1a;დ旧言~&#xff0c;目前大一&#xff0c;现在学习Java&#xff0c;c&#xff0c;c&#xff0c;Python等 > 座右铭&#xff1a;松树千年终是朽&#xff0c;槿花一日自为荣。 > 望小伙伴们点赞&#x1f44d;收藏✨加关注哟&#x1f495;&#x1…

深入理解分布式架构,构建高效可靠系统的关键

深入探讨分布式架构的核心概念、优势、挑战以及构建过程中的关键考虑因素。 引言什么是分布式架构&#xff1f;分布式架构的重要性 分布式系统的核心概念节点和通信数据分区与复制一致性与一致性模型负载均衡与容错性 常见的分布式架构模式客户端-服务器架构微服务架构事件驱动…

[国产MCU]-W801开发实例-GPIO输入与中断

GPIO输入与中断 文章目录 GPIO输入与中断1、硬件准备2、软件准备3、驱动实现4、驱动测试W801的GPIO支持软件配置中断,中断触发方式包含:上升沿触发、下降沿触发、高电平触发、低电平触发。本文在前面[ 国产MCU]-W801开发实例-按键与GPIO输入的基础上实现GPIO中断配置。 1、硬…

分布式 | 如何搭建 DBLE 的 JVM 指标监控系统

本篇文章采用 Docker 方式搭建 Grafana Prometheus 实现对 DBLE 的 JVM 相关指标的监控系统。 作者&#xff1a;文韵涵 爱可生 DBLE 团队开发成员&#xff0c;主要负责 DBLE 需求开发&#xff0c;故障排查和社区问题解答。 本文来源&#xff1a;原创投稿 爱可生开源社区出品&a…

亚马逊点击广告对于卖家有什么好处

亚马逊点击广告对卖家来说有许多好处&#xff0c;它们可以帮助卖家增加产品曝光、提高销售量&#xff0c;并改善他们在亚马逊平台上的竞争地位。以下是一些卖家可能从亚马逊点击广告中获益的好处&#xff1a; 1、增加产品曝光度&#xff1a;通过在关键搜索结果页面上投放广告&…

MySQL8.0.26-Linux版安装

MySQL8.0.26-Linux版安装 1. 准备一台Linux服务器 云服务器或者虚拟机都可以; Linux的版本为 CentOS7; 2. 下载Linux版MySQL安装包 MySQL :: Download MySQL Community Server (Archived Versions) 3. 上传MySQL安装包 4. 创建目录,并解压 mkdir mysql ​ tar -xvf mysql-8…

Flink 数据集成服务在小红书的降本增效实践

摘要&#xff1a;本文整理自实时引擎研发工程师袁奎&#xff0c;在 Flink Forward Asia 2022 数据集成专场的分享。本篇内容主要分为四个部分&#xff1a; 小红书实时服务降本增效背景Flink 与在离线混部实践实践过程中遇到的问题及解决方案未来展望 点击查看原文视频 & 演…

Spring Clould 负载均衡 - Ribbon

视频地址&#xff1a;微服务&#xff08;SpringCloudRabbitMQDockerRedis搜索分布式&#xff09; Ribbon-负载均衡原理&#xff08;P14&#xff09; 具体实现时通过LoaBalanced注解实现&#xff0c;表示RestTemplate要被Ribbon拦截处理 orderservice调用user时候&#xff0c…

FPGA原理与结构——RAM IP核的使用与测试

目录 一、前言 二、RAM IP核定制 1、RAM IP核 step1 打开vivado工程&#xff0c;点击左侧栏中的IP Catalog step2 在搜索栏搜索RAM&#xff0c;找到Block Memory Generator IP核&#xff1a; 2、IP核定制 step3 Baisc界面定制 step4 端口定制 step5 Other Options st…

八种架构演进

日升时奋斗&#xff0c;日落时自省 目录 1、单机架构 2、应用数据分离架构 3、应用服务集群架构 4、读写分离/主从分离架构 5、冷热分离架构 6、垂直分库架构 7、微服务架构 8、容器编排架构 9、小结 1、单机架构 特征&#xff1a;应用服务和数据库服务器公用一台服务…

【vim 学习系列文章 5 - cscope 过滤掉某些目录】

文章目录 cscope 过滤目录介绍 cscope 过滤目录介绍 第一步创建自己的cscope脚本~/.local/bin/cscope.sh&#xff0c;如下&#xff1a; function my_cscope() {CODE_PATHpwdecho "$CODE_PATH"echo "start cscope...."if [ ! -f "$CODE_PATH/cscope.…

图片速览 FlashAttention+Softmax的安全计算形式(暂记)

FlashAttention最基础的方案来自使用高速的share memory来加速Softmax操作&#xff0c;实现Softmax的tiling方案。&#xff08;Q,K,V之间的乘法可由gemm实现。&#xff09; 左侧为GPU各部分的访问速度比较 FlashAttention使用平铺来防止大型实体化&#x1d441; &#x1d44…

docker搭建es+kibana

docker搭建eskibana 0 安装docker 如果是mac或者windows&#xff0c;可以直接安装Docker Desktop更加便捷。 前提条件&#xff1a; Docker可以运行在Windows、Mac、CentOS、Ubuntu等操作系统上 Docker支持以下的CentOS版本&#xff1a; CentOS 7 (64-bit)CentOS 6.5 (64-bit…

k8s集群监控方案--node-exporter+prometheus+grafana

目录 前置条件 一、下载yaml文件 二、部署yaml各个组件 2.1 node-exporter.yaml 2.2 Prometheus 2.3 grafana 2.4访问测试 三、grafana初始化 3.1加载数据源 3.2导入模板 四、helm方式部署 前置条件 安装好k8s集群&#xff08;几个节点都可以&#xff0c;本人为了方便实验k8s集…

【自动化测试】接口自动化01

文章目录 一、熟悉若requests库以及底层方法的调用逻辑二、接口自动化以及正则和Jsonpath提取器的应用6. 高频面试题&#xff1a;9. 示例&#xff1a;接口关联13. 文件上传示例14. cookie关联的接口 努力经营当下 直至未来明朗 一、熟悉若requests库以及底层方法的调用逻辑 接…

系统架构师---软件重用、基于架构的软件设计、软件模型

目录 软件重用 构件技术 基于架构的软件设计 ABSD方法与生命周期 抽象功能需求 用例 抽象的质量和业务需求 架构选项 质量场景 约束 基于架构的软件开发模型 架构需求 需求获取 标识构件 需求评审 架构设计 架构文档 架构复审 架构实现 架构演化 前言&…

Linux:iptables SNAT与DNAT

目录 一、SNAT 1.1 SNAT原理与应用 1.2 SNAT转换前提条件 1.3 SNAT工作原理 1.4 SNAT实例 二、DNAT 2.1DNAT原理与应用 2.2 DNAT转换前提条件 2.2实例 一、SNAT 1.1 SNAT原理与应用 SNAT 应用环境:局域网主机共享单个公网IP地址接入Internet (私有IP不能在Internet中正…

性能比较 - Spring Boot 应用程序中的线程池与虚拟线程 (Project Loom)

本文比较了 Spring Boot 应用程序中的不同请求处理方法&#xff1a;ThreadPool、WebFlux、协程和虚拟线程 (Project Loom)。 在本文中&#xff0c;我们将简要描述并粗略比较可在 Spring Boot 应用程序中使用的各种请求处理方法的性能。 高效的请求处理在开发高性能后端…