论文阅读(三十二):EGNet: Edge Guidance Network for Salient Object Detection

文章目录

  • 1.Introduction
  • 2.Related Works
  • 3.Salient Edge Guidance Network
    • 3.1Complementary information modeling
      • 3.1.1Progressive salient object features extraction
      • 3.1.2Non-local salient edge features extraction
    • 3.2One-to-one guidance module
  • 4.Experiments
    • 4.1Implementation Details
    • 4.2Datasets and Evaluation Metric
    • 4.3Ablation Experiments and Analyses


  论文:EGNet: Edge Guidance Network for Salient Object Detection
  论文链接:EGNet: Edge Guidance Network for Salient Object Detection
  代码链接:Github

1.Introduction

  常见用于显著性目标检测任务的深度学习方法大多存在边缘轮廓不清晰、显著性不能精确提取的问题,因此本文利用VGG网络的特性,即第二个池化层输出的特征图具有良好的边缘信息特征,而最后一层具有丰富的显著性特征,故将边缘信息特征与显著性特征进行像素级的融合,得到具有清晰轮廓的显著性目标。
  总的来说,本文研究了显著边缘特征和显著目标特征之间的关系,并利用显著边缘特征来帮助显著目标特征更准确地定位显著对象,尤其是边界信息。贡献如下:

  • 1.提出EGNet模型来建模显著目标信息和显著边缘信息,以保留显著目标的边界。
  • 2.EGNet模型允许这两个互补的任务相互帮助来互相优化,从而改善了预测的显著性图。

2.Related Works

  以往的工作往往专注于优化显著目标的细节信息,而没有充分利用显著边缘检测和显著目标检测之间的互补性。本研究计了两个模块来独立提取这两种特征,并将二者进行融合,使得显著的边缘信息不仅可以提高边缘的质量,而且可以使定位更加准确。

3.Salient Edge Guidance Network

在这里插入图片描述

3.1Complementary information modeling

  EGNet使用VGG作为主干网络(截断了最后三个全连接层),得到了六个编码器 C o n v 1 − 2 、 C o n v 2 − 2 、 C o n v 3 − 3 、 C o n v 4 − 3 、 C o n v 5 − 3 、 C o n v 6 − 3 Conv1-2、Conv2-2、Conv3-3、Conv4-3、Conv5-3、Conv6-3 Conv12Conv22Conv33Conv43Conv53Conv63的输出结果。其中 C o n v 1 − 2 Conv1-2 Conv12感受野较小被舍弃,将其余编码器输出记为:
在这里插入图片描述
其中, C o n v 2 − 2 Conv2-2 Conv22的输出 C ( 2 ) C^{(2)} C(2)(低级特征)保留较多细节信息,因此从中提取边缘特征,从其他输出中提取显著目标信息。

3.1.1Progressive salient object features extraction

在这里插入图片描述
  为获取丰富的上下文特征,在PSFEM(渐进式显著对象特征提取模块,Progressive Salient Object Features Extraction Module)模块中使用卷积层将编码器输入的特征图转换为单通道预测掩码,且每张特征图都通过深度监督帮助模型训练。
在这里插入图片描述
  将六个编码器模块对应的侧路径记为 S ( i ) , i ∈ { 1 , 2 , 3 , 4 , 5 , 6 } S^{(i)},i∈\{1,2,3,4,5,6\} S(i),i{1,2,3,4,5,6},每条侧路径上都有 C o n v Conv Conv模块(对应上图中黄色的 C o n v Conv Conv模块),该模块中包含三个卷积层( T 1 、 T 2 、 T 3 T1、T2、T3 T1T2T3),每个卷积层后都有 R e L U ReLU ReLU函数。这些 C o n v Conv Conv模块中的卷积层参数如上表所示,依次为卷积核大小、填充大小、卷积核个数。 D D D则是将多通道特征图转换为单通道显著性图的过渡卷积层。

3.1.2Non-local salient edge features extraction

在这里插入图片描述

  NLSEM(非局部显著边缘特征提取模块)模块用于对显著边缘信息进行建模并提取显著边缘特征。由于编码器 C o n v 2 − 2 Conv2-2 Conv22中保存较多的边缘细节信息,因此选择从该编码器的输出中提取局部边缘信息。为此,需要先从深层特征图中获取显著对象的语义信息、位置信息,便于在浅层特征图中定位显著目标区域。若直接将深层特征图不断下采样至低层,则其包含的语义信息会被逐渐稀释。为此,本文设计了一个位置传播方式,用于将深层特征图包含的位置信息传播到侧路径 S ( 2 ) S^{(2)} S(2)中,使得浅层特征图更关注于显著区域边缘信息的提取。
  融合后的特征图 C ‾ ( 2 ) \overline{C}^{(2)} C(2)表示为:
在这里插入图片描述

  • F ^ ( 6 ) \hat{F}^{(6)} F^(6):经过 C o n v Conv Conv操作后的深层特征图。
  • C ( 2 ) C^{(2)} C(2) C o n v 2 − 2 Conv2-2 Conv22编码器的输出。
  • T r a n s ( ∗ , θ ) Trans(*,θ) Trans(,θ):参数为 θ θ θ的卷积层,用于改变特征通道数。
  • ϕ ϕ ϕ:ReLU激活函数。
  • U p ( ) Up() Up():上采样操作,通过双线性插值实现。

之后与其他侧路径相同,将 C ‾ ( 2 ) \overline{C}^{(2)} C(2)输入到包含三个卷积运算的 C o n v Conv Conv模块中增强特征,这些卷积的参数可参考上表。模型中添加了额外的显著边缘监督来监督显著边缘特征,使用了交叉熵损失函数:
在这里插入图片描述

3.2One-to-one guidance module

在这里插入图片描述
  NLSEM模块获取了显著边缘特征(记为 F E F_E FE)、PSFEM模块获取了显著目标特征(对应路径 S ( i ) , i ∈ { 3 , 4 , 5 , 6 } S^{(i)},i∈\{3,4,5,6\} S(i),i{3,4,5,6},显著特征记为 F ^ ( i ) \hat{F}^{(i)} F^(i))。若直接通过采样操作从上到下逐渐融合显著边缘特征和多分辨率显著目标特征,则显著目标特征会在采样过程中被稀释。为此提出一对一指导模块,利用显著边缘特征来指导显著目标特征在分割和定位方面表现更好。
  具体做法为,在路径 S ( i ) , i ∈ { 3 , 4 , 5 , 6 } S^{(i)},i∈\{3,4,5,6\} S(i),i{3,4,5,6}中增加了子路径,将显著边缘特征融合到增强后的显著目标特征中,得到显著边缘引导特征,记为 G ( i ) G^{(i)} G(i)
在这里插入图片描述
之后与PSFEM模块一样,在每个子边路径中使用 C o n v Conv Conv增强显著边缘引导特征,并通过过渡卷积层将其转换为单通道的显著性图。
  每个显著性图加入模型训练的深度监督:
在这里插入图片描述
最后将各尺度的显著性图融合,得到最终的显著性图。最终显著性图的损失函数为:
在这里插入图片描述
  由此可得总的损失函数:
在这里插入图片描述

4.Experiments

4.1Implementation Details

  模型包含以VGG、ResNet为骨干的两个版本,新增卷积层的权重均以截断正态随机初始化( σ = 0.01 σ=0.01 σ=0.01),偏置初始化为0。学习率为 5 e − 5 5e^{-5} 5e5、权重衰减为0.0005、动量为0.9、每条支路生成的显著性图对应权重为1、轮次为124,且每15轮后将学习率除以10。在推理过程中,可以得到一张预测的显著边缘图和一组显著性目标图,使用融合后的显著性目标图作为最终的显著性图。

4.2Datasets and Evaluation Metric

  在六个数据集上评估了模型,使用了F-measure、MAE、S-measure作为评估指标。
在这里插入图片描述

4.3Ablation Experiments and Analyses

略。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/884588.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

三大细分领域入选,九州未来再登2024边缘计算产业图谱

10月31日,经过数月的深入调研和专家严格评估,边缘计算社区正式发布《2024边缘计算产业图谱》。该图谱全面收录中国边缘计算领域最具活力的100家企业、科研机构、高校及标准组织等单位,深入梳理产业链上下游发展情况,精准研判边缘计…

【HarmonyOS】鸿蒙系统

文章目录 前言一、鸿蒙OS概述1. 定义与特性2. 核心技术理念3. 技术架构设计1. 应用层2. 框架层3. 系统服务层4. 内核层 二、分布式架构分布式架构的核心理念分布式能力的实现关键技术 三、 总结 前言 鸿蒙OS是由华为推出的一款开源操作系统,旨在满足智能终端设备的…

强网杯 2024 pwn false AK

强网杯 2024 pwn 🏄🏽‍♀️前言🏄🏽‍♂️heap(UAF house of banana orw)🏄🏽分析🏄🏽解题🏄🏽exp 🏄🏽‍♂…

w016基于Springboot的房产销售系统

🙊作者简介:拥有多年开发工作经验,分享技术代码帮助学生学习,独立完成自己的项目或者毕业设计。 代码可以私聊博主获取。🌹赠送计算机毕业设计600个选题excel文件,帮助大学选题。赠送开题报告模板&#xff…

Python毕业设计选题:基于大数据的旅游景区推荐系统_django

开发语言:Python框架:djangoPython版本:python3.7.7数据库:mysql 5.7数据库工具:Navicat11开发软件:PyCharm 系统展示 系统首页界面 用户注册界面 用户登录界面 景点信息界面 景点资讯界面 个人中心界面 …

【c++篇】:掌握vector基础知识--基本操作与使用全知道

✨感谢您阅读本篇文章,文章内容是个人学习笔记的整理,如果哪里有误的话还请您指正噢✨ ✨个人主页:余辉zmh–CSDN博客 ✨文章所属专栏:c篇–CSDN博客 文章目录 前言一.vector的基本概念1.定义2.主要特性和优点 二.vector的基本操作…

基于SSM+微信小程序的订餐管理系统(点餐2)

👉文末查看项目功能视频演示获取源码sql脚本视频导入教程视频 1、项目介绍 基于SSM微信小程序的订餐管理系统实现了管理员和用户。管理端实现了 首页、个人中心、用户管理、菜品分类管理、菜品信息管理、订单信息管理、配送信息管理、菜品评价管理、订单投诉管理、…

机器学习周报(RNN的梯度消失和LSTM缓解梯度消失公式推导)

文章目录 摘要Abstract 1 RNN的梯度消失问题2 LSTM缓解梯度消失总结 摘要 在深度学习领域,循环神经网络(Recurrent Neural Network, RNN)被广泛应用于处理序列数据,特别是在自然语言处理、时间序列预测等任务中。然而&#xff0c…

Mastercam2025软件安装教程+MC2025中文安装包下载

一、软件下载 【软件名称】:MasterCAM 2025 【支持系统】:win10/win11 【百度网盘】:https://pan.baidu.com/s/12fY66cwRLGcKdeVoJ40ZRw?pwd70zi 二、Mastercam软件 Mastercam是美国 CNC Software 公司开发的一款 CAD/CAM 软件。它集二维…

[vulnhub] DC: 8

https://www.vulnhub.com/entry/dc-8,367/ 描述:在 Linux 上安装和配置双因素身份验证是否可以防止 Linux 服务器被利用 端口扫描主机发现 探测存活主机,179是靶机 nmap -sP 192.168.75.0/24 Starting Nmap 7.94SVN ( https://nmap.or…

自扶正救生艇,保障水上救援的安全卫士_鼎跃安全

在应急事件中,自扶正救生艇能够发挥关键的救援和保障作用,确保救援人员和被困人员的生命安全,尤其在极端天气或突发水上事故中展现出明显优势。 在救援过程中如果遭遇翻船,救生艇能够迅速恢复正常姿态,确保救援人员不会…

提升网站安全性 HTTPS的重要性与应用指南

内容概要 在如今数字化快速发展的时代,网站安全显得尤为重要。许多用户在访问网站时,尤其是涉及个人信息或金融交易时,对数据传输的安全性有着高度的关注。HTTPS(超文本传输安全协议)正是为了满足这种需求而诞生的。通…

QT——自定义控件绘图

一.QPaintEvent绘图事件 QPaintEvent是QT中一个重要的类,专门用于绘图事件。当QT视图组件需要重绘制自己的一部分时,就会产生该事件,通常发生在以下几种情况。 窗口第一次显示时:当窗口或控件第一次出现在屏幕中,系统…

【Python · Pytorch】人工神经网络 ANN(上)

【Python Pytorch】人工神经网络 ANN(上) 0. 生物神经网络1. 人工神经网络定义2. 人工神经网络结构2.1 感知机2.2 多层感知机2.3 全连接神经网络2.4 深度神经网络 2. 训练流程※ 数据预处理 (Data Preprocessing) 3. 常见激活函数3.1 Sigmoid / Logisti…

【Redis_Day2】在Linux中安装Redis5

本篇涉及Linux中的三条指令:su;apt;vim,可以了解后再来浏览本篇。或在评论留言。 【Redis_Day2】在Linux中安装Redis5 安装修改配置文件使用redis-cli连接服务器 安装 Linux版本选择Ubuntu22.04 Redis版本选择Redis5 登录Ubunt…

第1篇 引言

一、AIGC概念 1、AIGC定义 AIGC,即生成式人工智能(Artificial Intelligence Generated Content),是指利用人工智能技术自动生成或辅助创作内容的过程和结果。 简单来说:过去,写文章、画张图、唱首歌、弄个…

深度学习---------------------------------Transformer

目录 Transformer架构多头注意力有掩码的多头注意力基于位置的前馈网络层归一化信息传递预测总结代码多头注意力使用多个头并行计算选择缩放点积注意力作为每一个注意力头测试该部分总代码Transformer基于位置的前馈网络改变张量的最里层维度的尺寸对比不同维度的层归一化和批量…

世界时区划分

1. AoE (Anywhere on Earth)代表地球上最后一个时区的时间,是全球范围内最晚的时间,通常用于截止日期。 2. UTC/GMT (协调世界时/格林威治时间)是全球的标准时间,所有时区都是基于UTC计算的。…

qt QImage详解

1、概述 QImage是Qt框架中用于处理图像数据的一个核心类。与QPixmap不同,QImage是在内存中直接存储图像像素数据的,这使得它适用于需要直接访问和修改像素的应用场景,比如图像处理算法、图像绘制以及图像分析等。QImage支持多种图像格式&…

DAY75WEB 攻防-验证码安全篇接口滥用识别插件复用绕过宏命令填入滑块类

知识点: 1、验证码简单机制-验证码过于简单可爆破 2、验证码重复使用-验证码验证机制可绕过 3、验证码智能识别-验证码图形码被可识别 4、验证码接口调用-验证码触发接口可枚举 图片验证码-识别插件-登录爆破&接口枚举 验证码识别绕过等技术适用于&#x…