RIDERS: Radar-Infrared Depth Estimation for Robust Sensing

RIDERS: 恶劣天气及环境下鲁棒的密集深度估计

论文链接:https://arxiv.org/pdf/2402.02067.pdf
作者单位:浙江大学, 慕尼黑工业大学
代码链接:https://github.com/MMOCKING/RIDERS

1. 摘要(Abstract)

     恶劣的天气条件, 包括雾霾、灰尘、雨雪和黑暗, 给准确的密集深度估计带来了巨大挑战。对于依赖于短电磁波传感器(如可见光谱相机和近红外激光雷达)的传统深度估计方法而言,在这种环境中容易受到衍射噪声和遮挡的影响。
     为了从根本上解决这个问题, 作者提出了一种新颖的方法, 通过融合毫米波雷达单目红外热成像相机实现鲁棒的度量深度估计,这两种传感器能够穿透大气颗粒, 并且不受照明条件的影响
在这里插入图片描述

  • 图左:所提出方法可以提供超出可见光谱的高质量深度估计
  • 图右:毫米波雷达和红外热感相机的工作波长比激光雷达和RGB相机更长,可以穿透大气粒 子。

文章主要贡献:

  • 1.提出第一个集成毫米波雷达和热感相机的密集深度估计方法,在烟雾和低光照等不利条件下具有无与伦比的深度感知鲁棒性。
  • 2.提出一种新的度量密集深度估计框架,有效融合异质雷达和热数据。所提出的三阶段框架包括单目估计和全局对齐、准密集雷达增强和密集尺度学习,最终从稀疏和噪声长波数据中恢复密集深度。
  • 3.所提方法在公开的NTU数据集和自采集的ZJU- Multispectrum数据集上SOTA
  • 4.ZJU-Multispectrum数据集:包含具有挑 战性的场景,包括4D雷达,热相机,RGB相机数据 和3D激光雷达的参考深度

2. 相关工作(Related Work)

2.1. 单目红外+图像的深度

红外光谱波段对恶劣天气和光照条件表现出高水平的鲁棒性。然而,红外图像缺乏纹理信息,显得更加模糊
现有方法:

  • 1.试图将可见光谱的知识转移到热深度估计任务中:[缺点:RGB图像和热图像需要密切的匹配]
    • 多光谱传输网络(MTN):用来自RGB图像的色度线索进行训练的,能够从单 目热图像中进行稳定的深度预测
    • Lu:使用基于cyclegan的生成器将RGB图像转换为假热图像,创建 一个用于监督视差预测的热相机立体对(An alternative of lidar in nighttime: Unsupervised depth estimation based on single thermal image)
  • 2.不需要配对多光谱数据的方法:
    • Shin:提出了一种不需要配对多光谱数据 的方法。他们的网络由特定模态的特征提取器和模态无关解码器。他们训练网络以实现特征级对抗适应,最小化RGB和热特征之间的差距 (Joint self-supervised learning and adversarial adaptation for monocular depth estimation from thermal image)
    • ThermalMonoDepth:是一种自监督深度估计方法,无需额外的RGB参与训练。 引入时间一致的图像映射方法重组热辐射值并保证时间 一致性,最大化热图像深度估计的自监督
    • 条件随机场方法:提出了一种统一的深度网络,从条件随机场方法的 角度有效地连接了单目热深度和立体热深度任务(Deep Depth Estimation From Thermal Image)

2.2. 雷达-相机融合深度

  • 主要针对车辆目标,没有将所有雷达点与较大的图像区域完全关联,导致深度精度较低
    • Radar-2- pixel, R2P:利用径向多普勒速度和来 自图像的诱导光流将雷达点与相应的像素区域相关联, 从而能够合成全速度信息
    • R4dyn:创造性地将雷达作为弱监督信号纳入自监 督框架,并将雷达作为额外的输入以增强鲁棒性

这些方法直接对多模态输入进行编码并学习目标深度。 然而,直接编码和级联固有的模糊雷达深度和图像会混淆学习,导致估计深度出现混叠和其他不良的伪影


3. 文章主体

在这里插入图片描述

单目深度预测与尺度对齐

  • 1.单目深度预测:在RGB图像上训练的单目深度预测模型,直接在热图像上训练
  • 2.全局尺度对齐: 为了提高在前进阶段SML细化像素尺度的效率,我们使用全局缩放因子 s ^ g \hat{s}_g s^g无尺度单目深 度预测 d ^ m \hat{\mathbf{d}}_m d^m与雷达点的深度P对齐,从而生成全局对齐深度 d ^ g a \hat{\mathbf{d}}_{ga} d^ga
    在这里插入图片描述

准密集雷达增强

  • 1.网络体系结构:本文使用了一个基于transformer的 雷达-相机数据关联网络(简称RC-Net),它可以预测雷达- 像素关联的置信度
    在这里插入图片描述

  • 2.跨模态关联的置信度:对于雷达点 p i p_i pi和其投影附近裁剪的图像块 Z i ∈ R C × H × W Z_i ∈ R^{C×H×W} ZiRC×H×W ,我们利用RC-Net h θ h_θ hθ生成置信图 y i = h θ ( Z i , p i ) ∈ [ 0 , 1 ] H × W y^i = h_θ(Z_i,p_i) ∈ [0,1]^{H×W} yi=hθ(Zipi)[0,1]H×W,表示 Z i Z_i Zi中的像素是否对应于 p i p_i pi的概率。使用雷达点云P中的所有k点,正向传递为单个雷达点生成k置信图。因此, I ( u ∈ [ 0 , W 0 − 1 ] , v ∈ [ 0 , H 0 − 1 ] ) I(u∈[0,W_0−1],v∈[0,H_0−1]) I(u[0,W01],v[0,H01])内的每个像素 x u v x_{uv} xuv都有 n ∈ [ 0 , k ] n ∈ [0,k] n[0,k]相关的雷达候选点。通过选择高于阈值的置信度分数,我们可以识别像素 x u v x_{uv} xuv的潜在关联雷达点 P μ P_μ Pμ。 然后,我们通过使用其归一化置信度分数作为权重对所有 P μ P_μ Pμ深度进行加权平均来计算像素的深度 x u v x_{uv} xuv,从而产生一个准稠密深度图 d q d^q dq
    在这里插入图片描述

尺度学习器细化密集深度局部尺度

我们构建了一个基于MiDaS-small架构的比例尺地图学习器(SML)网 络。SML旨在为ˆzga学习一个像素级的密集比例尺地图,从而完成准密集比例尺地图并细化 z g a z_{ga} zga的度量精 度 。SML需 要连接I、 z g a z_{ga} zga 1 / ˆ s q 1/ˆs_{q} 1/ˆsq作 为 输 入 。 s q s_q sq中的空部件被1填满。SML对密集尺度残差图r进行回归,其中值可以为负。最终的比例尺地图导出为 1 / s = R e L U ( 1 + r ) 1/s = ReLU(1 + r) 1/s=ReLU(1+r),最终的度量深度估计计算为 d = s / z g a d = s/z_{ga} d=s/zga

4. 实验效果

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/682237.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ubuntu+Anaconda 常用指令记录

Anaconda 使用指令记录 1 创建环境 conda create -n name pythonx.x(python版本自己指定)例如 conda create --name myenv: 创建名为"myenv"的新环境。 conda activate myenv: 激活名为"myenv"的环境。 conda deactivate: 退出当前环境。 2 删除环境 c…

python 自我检测题--part 1

1. Which way among them is used to create an event loop ? Window.mainloop() 2. Suppose we have a set a {10,9,8,7}, and we execute a.remove(14) what will happen ? Key error is raised. The remove() method removes the specified element from the set. Th…

imazing怎么连接苹果手机

imazing怎么连接苹果手机 要连接苹果手机,您可以选择使用数据线或无线网络(Wi-Fi)两种方式。以下是具体的步骤: 使用数据线连接: 准备工具:确保您的Mac或Windows电脑已经安装了iMazing软件,并且…

流畅的Python(九)-符合Python风格的对象

一、核心要义 接续第一章,说明如何实现很多Python类型中常见的特殊方法 1. 支持使用生成对象其他表示形式的内置函数(如repr(),bytes()等) 2. 使用类方法,实现备选构造方法 3.扩展内置的format()函数和str.format()方法使用的格式微语言 4.实现只读…

寒假作业2024.2.14

一.选择题 1.变量的指针,其含义是指该变量的 B 。 A)值 B)地址 C)名 D)一个标志 2.已有定义int k2;int *ptr1,*ptr2;且ptr1和ptr2均已指向变量k&#xff…

Linux命令行全景指南:从入门到实践,掌握命令行的力量

目录 知识梳理思维导图: linux命令入门 为什么要学Linux命令 什么是终端 什么是命令 关于Linux命令的语法 tab键补全 关于命令提示符 特殊目录 常见重要目录 /opt /home /root /etc /var/log/ man命令 shutdown命令 history命令 which命令 bash…

顾问聘请协议(模板)

甲方:________________   乙方:________________ 诚信合作是一切事业发展的基础,外部智力是企业进步的源泉。甲、乙双方经友好协商达成本协议,甲方愿意聘请乙方为特邀管理顾问,乙方愿按本协议内容与甲方合作。 一、合…

PostgreSQL的学习心得和知识总结(一百二十九)|深入理解PostgreSQL数据库GUC参数 update_process_title 的使用和原理

目录结构 注:提前言明 本文借鉴了以下博主、书籍或网站的内容,其列表如下: 1、参考书籍:《PostgreSQL数据库内核分析》 2、参考书籍:《数据库事务处理的艺术:事务管理与并发控制》 3、PostgreSQL数据库仓库链接,点击前往 4、日本著名PostgreSQL数据库专家 铃木启修 网站…

水果FL Studio21.2最新中文版功能特点介绍

FL Studio 21的特点和优势包括: 丰富的主题换肤:用户可以通过调整色调、饱和度、亮度、文本、仪表和步进序列器的颜色,来个性化定制FL Studio 21的外观,使其更符合个人审美或工作风格。更快的音频编辑:FL Studio 21集…

奇异递归模板模式应用1-对象计数

需求:有时遇到某些类特征相似而又没有共同的父类,希望能够知道这些类的创建数量之和。 思路:将这些类继承自同一个计数类,共享计数变量s_createCount信息,实现如下: class Counter { public:Counter() {s_…

Codeforces Round 925 (Div. 3)

D. Divisible Pairs 题意&#xff1a;给定一个长度为n(2<n<2*10^5)的数组&#xff0c;给出两个数x、y(1<x,y<10^9),找出完美对的个数 完美对满足 (aiaj)整除x (ai-aj)整除y 且&#xff08;1<i<j<n) 统计数组a中的完美对有多少个 思路&#xff1a;统计…

【2024年毕设系列】如何使用Anaconda和Pycharm

【2024年毕设系列】如何使用Anaconda和Pycharm 视频教程地址&#xff1a;【2024毕设系列】Anaconda和Pycharm如何使用_哔哩哔哩 Hi&#xff0c;各位好久不见&#xff0c;这里是肆十二&#xff0c;首先在这里给大伙拜年了。 诸位过完年之后估计又要开始为了大作业和毕业设计头疼…

Virt a Mate(VAM)游戏折腾记录

如有更新见原文&#xff1a;https://blog.iyatt.com/?p13283 1 前言 如果在网上看到有些视频名字带有 VAM 的&#xff0c;可能就是玩这个游戏录屏的。这个游戏可以建模、操作模型动作、构建场景等等。之前大致知道有这么个东西&#xff0c;只是电脑配置太差了&#xff0c;新…

Vue项目创建和nodejs使用

Vue项目创建和nodejs使用 一、环境准备1.1.安装 node.js【下载历史版本node-v14.21.3-x64】1.2.安装1.3.检查是否安装成功&#xff1a;1.4.在Node下新建两个文件夹 node_global和node_cache并设置权限1.5.配置npm在安装全局模块时的路径和缓存cache的路径1.6.配置系统变量&…

网安常用的三个攻击方式

1.渗透测试执行标准&#xff08;PTES&#xff09; 渗透测试执行标准由7个部分组成&#xff0c;包括前期交互、情报收集、威胁建模、漏洞分析、渗透利用、后渗透、撰写报告。在中国&#xff0c;渗透测试必须经过授权&#xff0c;否则就违背了网络安全法。前期交互主要指开展渗透…

2/13作业

1.磁盘操作的完整流程 &#xff08;1&#xff09;接入虚拟机&#xff1a;在左上角选中虚拟机选项--->选择可移动设备--->找到u盘--->然后连接 &#xff08;2&#xff09;是否被识别&#xff1a;使用指令 ls /dev/sd* 查看是否有除sda外的内容说明连结成功 &#xf…

鸿蒙(HarmonyOS)项目方舟框架(ArkUI)之Marquee组件

鸿蒙&#xff08;HarmonyOS&#xff09;项目方舟框架&#xff08;ArkUI&#xff09;之Marquee组件 一、操作环境 操作系统: Windows 10 专业版、IDE:DevEco Studio 3.1、SDK:HarmonyOS 3.1 二、Marquee组件 跑马灯组件&#xff0c;用于滚动展示一段单行文本&#xff0c;仅当…

SpringCloud-Eureka服务注册中心测试实践

5. Eureka服务注册中心 5.1 什么是Eureka Netflix在涉及Eureka时&#xff0c;遵循的就是API原则.Eureka是Netflix的有个子模块&#xff0c;也是核心模块之一。Eureka是基于REST的服务&#xff0c;用于定位服务&#xff0c;以实现云端中间件层服务发现和故障转移&#xff0c;服…

开发基础知识-认识Tomcat,Tomcat基础,快速入门Tomcat

初识Tomcat&#xff08;汤姆猫&#xff09; Tomcat 服务器是一个免费的开放源代码的Web应用服务器&#xff0c;属于轻量级应用服务器&#xff0c;在中小型系统和并发访问用户不是很多的场合下被普遍使用&#xff0c;是开发和调试JSP程序的首选。 往细的方面说&#xff1a;Tomc…

Linux:开源世界的王者

在科技世界中&#xff0c;Linux犹如一位低调的王者&#xff0c;统治着开源世界的半壁江山。对于许多技术爱好者、系统管理员和开发者来说&#xff0c;Linux不仅仅是一个操作系统&#xff0c;更是一种信仰、一种哲学。 一、开源的魅力 Linux的最大魅力在于其开源性质。与封闭的…