光学遥感显著目标检测初探笔记总结

目录

  • 观看地址
  • 介绍
    • 什么是显著性目标检测
    • 根据不同的输入会有不同的变体(显著性目标检测家族)
    • 目前这个领域的挑战
  • 技术方案
    • 论文1(2019)
    • 论文2(2021)
    • 论文3(2022)
  • 未来展望

观看地址

b站链接

介绍

什么是显著性目标检测

一张图片里最吸引注意力的部分就是显著性物体,其实是模拟人的一个注意力机制。目标是希望通过计算机的方法让我们自动定位和模拟人的这种感知能力,从而去定位场景中的一个让人感兴趣的目标

根据不同的输入会有不同的变体(显著性目标检测家族)

  • 在RGB的基础上引入一个景深信息——RGBD显著性目标检测
  • 相关性的一个图像组的数据,引入图间关系——协同显著性目标检测
  • 引入运动、帧间关系等——视频显著目标检测
  • 引入多视角的关系,形成一个相机阵列来计算光场图像中的显著性物体——光场显著性目标检测
  • 摄像机架设到天上,俯视成像——光学遥感图像显著性目标检测
    在这里插入图片描述

目前这个领域的挑战

  1. 成像条件不同,从天空往下拍的过程中会存在很多干扰,比如云层、遮挡,光照(一个区域亮另一个区域暗)、重影(光照导致),并且场景范围比较宽大的,也就存在目标场景、背景复杂,比如树木,阴影这样的干扰。高空往下拍,目标整体的尺寸大小会参差不齐,比如拍的体育馆,体育馆比较大,容易检测,拍的舰船,舰船比较小,不容易检测,尺度变化是非常大的。
  2. 场景范围足够大,比如沙漠上去拍,就可能不存在显著性目标

技术方案

论文1(2019)

这篇论文是第一篇深度学习在遥感显著性检测的论文,并构建了第一个开源数据集ORSSD
在这里插入图片描述
主要贡献

  • 双流金字塔结构,L形状。学习互补特征。输入尺寸进行不同程度的下采样,让场景能够去捕获不同尺寸的特征图信息。
  • 嵌套连接的编码器和解码器结构,V形状。在编解过程中实现特征筛选,而不是一股脑直接concat

论文2(2021)

论文1的继承,想法是传统是特征由前一层往后传,但是真的有必要去传这样所有特征吗,特征融合完后可能存在一些冗余,为了更高效的传递论文提出了注意力密集传递,扩充了第一个数据集并命名为EORSSD
在这里插入图片描述
主要贡献

  • DAF(密集注意力流)结构可以进一步解耦成特征提取以及全局上下文注意力这么一个模块
  • 不光结合多尺度和多层次的线索,还产生了流动dense的结构来实现不同层次之间信息的高效的一个传递和交互。
  • GCA(全局上下文注意力)模块可以拆分为GFA(全局特征集成)和CPA(级联金字塔注意力)模块,GFA主要是编码全局上下的一个信息,去解决目标检测不完整的问题。CPA主要解决目标尺度多样化的问题。在遥感显著性目标检测中,一些细长的河流容易检测不全,被打散,原因可能是局部感受野非常难去捕获到一个区域与另外一个远端区域之间的关系。也就是这个卷积核的感受野太窄了,是在一个有限的范围去学习特征。GFA通过建模长程依赖关系来计算,概念是一个目标如果是显著的,那么其和目标整体内部的特性是相近的,也就是说一个像素点的位置和其他所有像素点位置进行一个相关性的求解后,得到全局上下文这样的一个依赖关系矩阵器,用这个信息来对原始特征进行加权,把全局上下文的关系编码到特征里去。
    通道注意力,来得到更紧致的通道信息
    空间注意力,来强调重要的区域位置对应在哪里

论文3(2022)

本片论文在全局上下文的计算方式使用的是关系感知,关系推理来做,引入graph(图推理)这种解决方案
在这里插入图片描述
主要贡献

  • 图推理是在高层后三层进行实现,并且不止局限于空间维度上的推理,其在通道维度上也实现了推理。把一个特征建模成多个节点,通过把不同节点之间进行关联之后,去学习边上的一个权重,模拟特征节点之间的相似性,进而去推断去实现推理这个功能。
  • 解码过程中在靠近结果输出最后两层中更加需要从编码器提取有效信息来对细节进行恢复,对结果进行修正,去抵抗目标尺寸变化的问题。通过attention图去挑选一些有用信息来指导我们的解码。一个分支是注意力用不同大小的卷积核,另一个分支是卷积用不同大小卷积核再过统一核大小的注意力块。相当于通过穷尽法来模拟得到多尺度注意图的这种方式。

未来展望

  • 根据新的数据集做更好的研究,更挑战的内容
  • 学习方法不一定要全监督,可以用弱监督,小样本的方式,来摆脱对GT的依赖
  • 做一些扩展,比如instance level,做一个即插即用的模块改善显著性检测,进一步提升性能

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/210718.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C++STL详解+代码分析+典例讲解

vector 的介绍: 1、vector是表示可变大小数组的序列容器。 2、vector就像数组一样,也采用的连续空间来存储元素,这也意味着可以采用下标对vector的元素进行访问。 3、vector与普通数组不同的是,vector的大小是可以动态改变的。 4、…

基于物联网的智能仓管理系统方案

基于物联网的智能仓管理系统方案 一、项目背景 随着企业业务的快速发展,传统的人工仓库管理方式已经无法满足现代企业的需求。仓库运营效率低下、货物出入库错误、库存不准确等问题不断涌现。因此,我们提出一个基于物联网技术的智能仓管理系统方案&…

Redis 五大经典业务问题

一 缓存穿透 缓存穿透是指当请求的数据既不在缓存中也不存在于数据库中时,请求会直接穿透缓存层,到达数据库层。这通常是由于恶意攻击或者程序错误造成的,比如攻击者故意请求不存在的大量数据,导致缓存不命中,所有的请…

智能优化算法应用:基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码

智能优化算法应用:基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码 文章目录 智能优化算法应用:基于被囊群算法3D无线传感器网络(WSN)覆盖优化 - 附代码1.无线传感网络节点模型2.覆盖数学模型及分析3.被囊群算法4.实验参数设定5.算法结果6.参考文…

Moco框架的搭建使用

一、前言   之前一直听mock,也大致了解mock的作用,但没有具体去了解过如何用工具或框架实现mock,以及也没有考虑过落实mock,因为在实际的工作中,很少会考虑用mock。最近在学java,刚好了解到moco框架是用于…

城市基础设施智慧路灯改造的特点

智慧城市建设稳步有序推进。作为智慧城市的基础设施,智能照明是智慧城市的重要组成部分,而叁仟智慧路灯是智慧城市理念下的新产品。随着物联网和智能控制技术的飞速发展,路灯被赋予了新的任务和角色。除了使道路照明智能化和节能化外&#xf…

用电商API接口获取拼多多的商品详情数据

pinduoduo.item_get_app_pro-根据ID取商品详情原数据 公共参数 API请求地址 名称类型必须描述keyString是调用key(必须以GET方式拼接在URL中)secretString是调用密钥api_nameString是API接口名称(包括在请求地址中)[item_searc…

VBA_MF系列技术资料1-237

MF系列VBA技术资料 为了让广大学员在VBA编程中有切实可行的思路及有效的提高自己的编程技巧,我参考大量的资料,并结合自己的经验总结了这份MF系列VBA技术综合资料,而且开放源码(MF04除外),其中MF01-04属于定…

[Linux] 用LNMP网站框架搭建论坛

一、nginx在其中工作原理 原理: php-fpm.conf是控制php-fpm守护进程 它是php.ini是一个php解析器 工作过程: 1.当客户端通过域名请求访问时,Nginx会找到对应的虚拟主机 2. Nginx将确定请求。 对于静态请求,Nginx会自行处理…

结构体和位段

结构体: C语言中,我们之前使用的都是C语言中内置的类型,比如整形(int)、字符型(char)、单精度浮点型(float)等。但是我们知道,我们现实世界中,还…

json精讲

本文介绍json的规范及javascript和java对数据的交换读取 1. json介绍1.1 json简介1.2为什么使用 JSON? 2. json规范2.1基础规范2.2 key值为-字符串、数字、布尔值2.3 key值为对象Object2.4 key值为数组2.5 json本身就是一个数组 3.javascript操作json3.1 javascript…

2、关于使用ajax验证绕过(实例2)

ajax原理我上一篇有写过,参考:1、关于前端js-ajax绕过-CSDN博客 一、实例环境: 为手机上的某一割韭菜app 二、目的: 实现绕过手机验证码,找回密码 三、工具: bp代理 四、验证步骤如下: …

hive自定义函数及案例

一.自定义函数 1.Hive自带了一些函数,比如:max/min等,但是数量有限,自己可以通过自定义UDF来方便的扩展。 2.当Hive提供的内置函数无法满足你的业务处理需要时,此时就可以考虑使用用户自定义函数。 3.根据用户自定义…

构建外卖系统:使用Django框架

在当今数字化的时代,外卖系统的搭建不再是什么复杂的任务。通过使用Django框架,我们可以迅速建立一个强大、灵活且易于扩展的外卖系统。本文将演示如何使用Django构建一个简单的外卖系统,并包含一些基本的技术代码。 步骤一:安装…

波奇学Linux:父子进程和进程状态

vim编辑器,编写一个程序模拟进程 在vim中查看sleep函数 底行模式输入 写个Makefile自动运行波奇学Linux:yum和vim-CSDN博客 运行程序 PID和PPID 查看进程目录信息 实际有过滤出来有两个,一个进程本身一个是grep程序,通过 -v grep过滤走含gre…

新版Android Studio 正则表达式匹配代码注释,删除注释,删除全部注释,IntelliJ IDEA 正则表达式匹配代码注释

正则表达式匹配代码注释 完整表达式拼接Android Studio 搜索匹配【IntelliJ IDEA 也是一样的】 完整表达式拼接 (/*{1,2}[\s\S]?*/)|(//[\x{4e00}-\x{9fa5}].)|(<!-[\s\S]?–>)|(^\s\n)|(System.out.println.*) 表达式拆解&#xff0c;可以根据自己需求自由组合&#x…

Mybatis、Mybatis整合Spring的流程图

Mybatis 注意MapperProxy里面有invoke方法&#xff0c;当进到invoker方法会拿到 二、mybatis整合Spring 1、当我们的拿到的【Dao】其实就是【MapperProxy】&#xff0c;执行Dao的方法时&#xff0c;会被MapperProxy的【Invoke方法拦截】 2、图上已经标注了MapperProxy包含哪些…

STM32-TIM定时器中断

目录 一、TIM&#xff08;Timer&#xff09;定时器简介 二、定时器类型 2.1基本定时器结构 2.2通用定时器结构 2.3高级定时器结构 三、定时中断基本结构 四、时序图分析 4.1 预分频器时序 4.2 计数器时序 4.3 计数器无预装时序&#xff08;无影子寄存器&#xff09; …

PyQt6 水平布局Horizontal Layout (QHBoxLayout)

锋哥原创的PyQt6视频教程&#xff1a; 2024版 PyQt6 Python桌面开发 视频教程(无废话版) 玩命更新中~_哔哩哔哩_bilibili2024版 PyQt6 Python桌面开发 视频教程(无废话版) 玩命更新中~共计41条视频&#xff0c;包括&#xff1a;2024版 PyQt6 Python桌面开发 视频教程(无废话版…

[足式机器人]Part2 Dr. CAN学习笔记-自动控制原理Ch1-1开环系统与闭环系统Open/Closed Loop System

本文仅供学习使用 本文参考&#xff1a; B站&#xff1a;DR_CAN Dr. CAN学习笔记-自动控制原理Ch1-1开环系统与闭环系统Open/Closed Loop System EG1: 烧水与控温水壶EG2: 蓄水与最终水位闭环控制系统 EG1: 烧水与控温水壶 EG2: 蓄水与最终水位 h ˙ q i n A − g h A R \dot{…