【CVPR2020】DEF:Seeing Through Fog Without Seeing Fog论文阅读分析与总结

Challenge:

之前网络架构的设计假设数据流是一致的,即出现在一个模态中的对象也出现在另一个模态中。然而,在恶劣的天气条件下,如雾、雨、雪或极端照明条件,多模态传感器配置中的信息可能不对称。不同传感器在特征提取阶段单独处理,在存在不对称测量失真的情况下,融合性能比单传感器差。

Contribution:

1.第一个恶劣天气下的大型多模态驾驶数据集,激光雷达、相机、雷达、门控近红外传感器和FIR传感器的100k标签
2.提出了由测量熵驱动的自适应特征融合而非proposals级别的融合(无需为这些场景提供大型带注释的训练数据集)

Method:

STF数据集,详见恶劣数据集总结
自适应深度融合:允许在非对称的传感器信息的情况下进行多模态融合。

在这里插入图片描述

  • 偏离了最近的BEV投影方案或原始点云输入,因为BeV投影或点云输入不允许深度早期融合,因为他们在早期层中的特征表示本质上与相机特征不同。

  • 使用修改后的VGG网络,conv4-10作为RPN网络输入

  • 为每个特征交换块提供传感器熵,根据可用信息单独缩放每个传感器的连接特征。熵低的区域可以衰减,而熵丰富的区域可以在特征提取中被放大。这样做可以自适应地融合特征提取堆栈本身中的特征

Entropy-steered Fusion
在这里插入图片描述
将投影分为16x16的patch,计算每个patch的local measurement entropy(理解为图像熵),pmni理解为第(m,n)个patch灰度为i的概率。pmn理解为第(m,n)个patch的信息熵,所有patch的信息熵和即为该投影的信息熵。
不同模态数据熵在不同情况下的变化:
在这里插入图片描述
RGB相机和LiDAR受到后向散射和衰减的影响,雾能见度降低数据熵显著降低。
门控和Radar则没有明显变化。光照情况下,随着亮度降低,RGB和门控数据信息熵明显减少,LiDAR和Radar则变化较少。

Experiments:

由于训练数据获取的天气偏差,只使用所提出数据集的晴朗天气部分进行训练(雾化数据增强),使用多模态天气数据集作为测试集来评估检测性能
在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/80578.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ts中的Pick,Omit,Extract和Exclude区别

前言 ts内置的一些常用工具类型&#xff0c;简化ts的操作。它们都是基于泛型实现的&#xff0c;并且内置的&#xff0c;可直接使用。 希望对大家有所帮助同时欢迎讨论并指出问题&#xff01; 1. Pick(选择) 通俗的说法就是&#xff1a;在已经定义的对象中选取一些 pick<T&am…

如何将两个或多个组件嵌入到一个组件中?

将两个或多个组件嵌入到一个组件中是React中的一个常见做法。这通常通过使用React.Children.map函数和React.cloneElement函数来完成。以下是一个示例&#xff0c;说明如何将两个子组件嵌入到父组件中&#xff1a; import React from react;class ParentComponent extends Rea…

MySQL常见的性能优化方法技巧以及示例

MySQL常见的性能优化方法技巧以及示例 MySQL是一种广泛用于管理和存储数据的关系型数据库管理系统。在处理大规模数据和高并发请求时&#xff0c;MySQL的性能优化变得尤为重要。本文将介绍一些常见的MySQL性能优化方法和技巧&#xff0c;以及相应的示例&#xff0c;帮助您提升…

Python 08学习之文件操作

&#x1f600;前言 欢迎来到Python 08学习之文件操作。在本文中&#xff0c;我们将介绍计算机中常见的文本文件和二进制文件&#xff0c;并探讨在Python中操作文件的步骤和相关函数/方法。通过学习本文&#xff0c;您将能够了解如何使用Python打开、读取、写入和关闭文件&#…

pyhton内置的数据类型(二)

pyhton内置的数据类型 一、内置数据类型的解释创建及赋值二、表示转义的符号实例操作 二、字符串的基本特性1.连接操作符 “ ” &#xff0c;提示&#xff1a;必须是同一数据类型才能相加2. 重复操作符 “ * ”3.成员操作符 “ in ”4. 正向索引和反向索引5. 切片&#xff08;…

MySQL与Oracle的分页

MySQL与Oracle的分页 当我们通过SQL去查询一个结果集的时候&#xff0c;并不需要查看所有行&#xff0c;可能只是查看前几行&#xff0c;或者中间的几行。则需要像MySQL的limit或Oracle的ROWNUM与FETCH NEXT来实现。 MySQL 语法 SELECT * FROM table_name LIMIT [offset,] ro…

Redis的介绍,安装Redis的方式

&#x1f40c;个人主页&#xff1a; &#x1f40c; 叶落闲庭 &#x1f4a8;我的专栏&#xff1a;&#x1f4a8; c语言 数据结构 javaEE 操作系统 石可破也&#xff0c;而不可夺坚&#xff1b;丹可磨也&#xff0c;而不可夺赤。 Redis 初识Redis1.1 认识Redis1.2 安装Redis的方式…

自定义Dynamics 365实施和发布业务解决方案 - 6. Azure集成

在本章中,我们将讨论可用于实现快速和可扩展解决方案的Azure集成。我们将重点关注在Dynamics365实现中有用的三种类型的Azure技术。它们是Azure WebJobs、函数和逻辑应用程序。Azure WebJobs非常适合在后台运行的批处理。由于我们在本章中讨论的是Azure技术,我们还将快速了解…

Hadoop生态圈中的Flume数据日志采集工具

Hadoop生态圈中的Flume数据日志采集工具 一、数据采集的问题二、数据采集一般使用的技术三、扩展&#xff1a;通过爬虫技术采集第三方网站数据四、Flume日志采集工具概述五、Flume采集数据的时候&#xff0c;核心是编写Flume的采集脚本xxx.conf六、Flume案例实操1、采集一个网络…

嵌入式系统设计与应用---嵌入式系统概述(学习笔记)

目录​​​​​​​ 嵌入式系统 概念 组成 嵌入式常用的操作系统 与PC机的区别 开发 软件开发 硬件开发 嵌入式处理器 分类 嵌入式系统 概念 以应用为中心&#xff0c;以计算机技术为基础&#xff0c;软硬件可载剪&#xff0c;适应对功能、可靠性、成本&#xff0c…

图像处理之频域滤波DFT

摘要&#xff1a;傅里叶变换可以将任何满足相应数学条件的信号转换为不同系数的简单正弦和余弦函数的和。图像信号也是一种信号&#xff0c;只不过是二维离散信号&#xff0c;通过傅里叶变换对图像进行变换可以图像存空域转换为频域进行更多的处理。本文主要简要描述傅里叶变换…

机器学习笔记之最优化理论与方法(十)无约束优化问题——共轭梯度法背景介绍

机器学习笔记之最优化理论与方法——共轭梯度法背景介绍 引言背景&#xff1a;共轭梯度法线性共轭梯度法共轭方向共轭VS正交共轭方向法共轭方向法的几何解释 引言 本节将介绍共轭梯度法&#xff0c;并重点介绍共轭方向法的逻辑与几何意义。 背景&#xff1a;共轭梯度法 关于…

手摸手系列之前端Vue实现PDF预览及打印的终极解决方案

前言 近期我正在开发一个前后端分离项目&#xff0c;使用了Spring Boot 和 Vue2&#xff0c;借助了国内优秀的框架 jeecg&#xff0c;前端UI库则选择了 ant-design-vue。在项目中&#xff0c;需要实现文件上传功能&#xff0c;同时还要能够在线预览和下载图片和PDF文件&#x…

投资 - 股市顺势加仓方式

作为一个趋势交易者来说&#xff0c;有了好机会时&#xff0c;怎么能浪费呢&#xff1f;趁势加仓是必然之举。 形势大好&#xff0c;就要出大招&#xff0c;这样才能获得最大的收益。趁势加仓就是这个道理。形势不佳&#xff0c;出大招即便能胜&#xff0c;效果也有限。 那么加…

虹科分享 | 软件供应链攻击如何工作?如何评估软件供应链安全?

说到应用程序和软件&#xff0c;关键词是“更多”。在数字经济需求的推动下&#xff0c;从简化业务运营到创造创新的新收入机会&#xff0c;企业越来越依赖应用程序。云本地应用程序开发更是火上浇油。然而&#xff0c;情况是双向的&#xff1a;这些应用程序通常更复杂&#xf…

路由缓存问题 | vue-router的导航守卫

路由缓存问题 带参路由&#xff0c;当参数发生变化时&#xff0c;相同的组件实例将被复用&#xff0c;组件的生命周期钩子不会被调用&#xff0c;导致数据无法更新。 两种解决方法&#xff1a; 1. 给 RouterView绑定key值&#xff0c;即 <RouterView :key"$route.ful…

Java手写基数排序和算法案例拓展

Java手写基数排序和算法案例拓展 1. 算法思维导图 #mermaid-svg-aZdOEsqN6XWIvaAA {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-aZdOEsqN6XWIvaAA .error-icon{fill:#552222;}#mermaid-svg-aZdOEsqN6XWIvaAA .er…

手机木马远程控制复现

目录 目录 前言 系列文章列表 渗透测试基础之永恒之蓝漏洞复现http://t.csdn.cn/EsMu2 思维导图 1&#xff0c;实验涉及复现环境 2,Android模拟器环境配置 2.1,首先从官网上下载雷电模拟器 2.2,安装雷电模拟器 2.3, 对模拟器网络进行配置 2.3.1,为什么要进行配置…

flask要点与坑

简介 Flask是一个用Python编写的Web应用程序框架&#xff0c;该框架简单易用、模块化、灵活性高。 该笔记主要记录Flask的关键要点和容易踩坑的地方 Flask 日志配置 Flask 中的自带logger模块&#xff08;也是python自带的模块&#xff09;&#xff0c;通过简单配置可以实现…

SpringMVC之JSON数据返回与异常处理机制

目录 一.SpringMVC的JSON数据返回 1.导入Maven依赖 2.配置spring-mvc.xml 3.ResponseBody注解的使用 3.1案例演示 1.List集合转JSON 2.Map集合转JSON 3.返回指定格式String 4. ResponseBody用法 5.Jackson 5.1介绍 5.2常用注解 二.异常处理机制 1.为什么要全局异常处…