文献阅读:DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录

  • 摘要
  • Abstract
  • 文献阅读:DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾
    • 1、研究背景
    • 2、方法提出
    • 3、相关知识
      • 3.1、DEConv
      • 3.3、多重卷积的计算
      • 3.3、FAM
      • 3.4、CGA
    • 4、实验
      • 4.1、数据集
      • 4.2、评价指标
      • 4.3、实验结果
      • 5、贡献
  • 二、CGA模块代码学习
    • 1、空间注意力模块
    • 2、通道注意力模块
    • 3、像素注意力模块
  • 总结


摘要

本周主要阅读了文章,DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾。该论文提出了提出了一种细节增强注意力块(DEAB),该模块由一个细节增强卷积(DEConv)和一个内容引导的注意力(CGA)机制组成,使得模型能够更好地保留图像的细节信息,同时又能关注图像中的重要信息,从而达到更好的去雾效果。除此之外,还学习学习了CGA模块的注意力代码模块的学习。

Abstract

This week, I mainly read the article DEA-Net: Single Image De-Fogging Based on Detail Enhancement Convolution and Content Guided Attention. This paper proposes a detail enhancement attention block DEAB, which consists of a detail enhancement convolution DEConv and a content guided attention CGA mechanism. This module enables the model to better preserve the details of the image while also focusing on important information in the image, thus achieving better de-fogging effects. In addition, I also learned about the attention code module of the CGA module.


文献阅读:DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾

Title: DEA-Net: Single image dehazing based on detail-enhanced convolution and content-guided attention
Author:Zixuan Chen, Zewei He†, Zhe-Ming Lu
From:JOURNAL OF LATEX CLASS FILES, VOL. 14, NO. 8, AUGUST 2021 1

1、研究背景

单张图像去雾是一个低级视觉任务,旨在从单张受雾影响的图像中恢复其清晰的场景。图像去雾在许多计算机视觉应用中都有需求,例如自动驾驶、无人机、监控系统等。在这些应用中,准确的场景感知和物体识别对于系统的可靠性和安全性至关重要。当然单图像去雾是一个具有挑战性的问题,它从观测到的雾图像中估计潜在的无雾图像。一些现有的基于深度学习的方法致力于通过增加卷积的深度或宽度来提高模型性能。卷积神经网络(CNN)的学习能力仍然没有得到充分探索。

2、方法提出

本文提出了一种细节增强注意力块(DEAB),DEA-Net是一种用于单张图像去雾的深度学习网络。它采用类似U-Net的编码器-解码器结构,由三部分组成:编码器部分、特征转换部分和解码器部分。在去雾等低级视觉任务中,从编码器部分融合特征与解码器部分的特征是一种有效的技巧。该模块由一个细节增强卷积(DEConv)和一个内容引导的注意力(CGA)机制组成。DEConv包含并行的普通卷积和差异卷积,五个卷积层(四个差异卷积和一个普通卷积),这些卷积层并行部署用于特征提取。 此外,复杂的注意力机制(即CGA)是一个两步注意力生成器,它可以首先产生粗略的空间注意力图,然后对其进行细化。
在这里插入图片描述

3、相关知识

3.1、DEConv

DEConv包含五个卷积层(四个差异卷积和一个普通卷积),这些卷积层并行部署用于特征提取。具体来说,采用中心差分卷积(CDC)、角差分卷积(ADC)、水平差分卷积(HDC)和垂直差分卷积(VDC)将传统的局部描述符集成到卷积层中,从而可以增强表示能力和泛化能力。在差异卷积中,首先计算图像中的像素差异,然后与卷积核卷积以生成输出特征图。通过设计像素对的差异计算策略,可以将先验信息显式编码到CNN中。这些卷积用于特征提取和学习,可以增强表示能力和泛化能力。
在这里插入图片描述

3.3、多重卷积的计算

VC、CDC、ADC、HDC和VDC的核函数,与图像进行卷积,最后并行卷积结合在一起。
在这里插入图片描述

3.3、FAM

FAM(Feature attention module)是一种用于图像去雾的注意力机制模块,它包含通道注意力和空间注意力两部分。FAM通过对不同通道和像素进行不平等处理,提高了去雾性能。然而,FAM的空间注意力只能在图像级别上解决不均匀的雾分布问题,忽略了其他维度。以此有以下几个缺点:

  1. 空间注意力机制:FAM中的空间注意力只能在图像级别上解决不均匀的雾分布问题,这意味着它无法处理多尺度维度的雾分布问题。在处理具有复杂雾分布的图像时,这可能会导致去雾效果不佳。
  2. 通道特异性SIMs(空间注意图):FAM在计算注意力权重时,只使用了一个单一通道来表示输入特征的重要区域,而输入特征的通道数量相对较大。这可能导致注意力权重的计算不够准确,从而影响去雾效果。
  3. 两个注意力权重之间缺乏信息交换:在FAM中,通道注意力和空间注意力是顺序计算的,它们之间没有信息交换。这意味着它们可能无法充分考虑彼此的特点,从而影响去雾效果。

3.4、CGA

CGA(Content-Guided Attention)是一种内容引导注意力机制,用于提高图像恢复任务中神经网络的性能。CGA是一种粗细处理过程,首先生成粗略的空间注意力图,然后根据输入特征图的每个通道进行细化,以产生最终的空间注意力图。CGA通过使用输入特征的内容来引导注意力图的生成,从而更加关注每个通道的唯一特征部分,可以更好地重新校准特征,学习通道特定的注意力图,以关注通道之间的雾霾分布差异。CGA的工作过程分为两步:

  1. 生成粗略的空间注意力图。这是一个粗细处理过程,通过生成一个粗略的注意力图,可以快速捕捉到图像中的主要特征。
  2. 根据输入特征图的每个通道对注意力图进行细化。这一步的目的是使注意力图更加精确,能够关注到特征图中的独特部分。

在这里插入图片描述

4、实验

4.1、数据集

  1. SOTS:SOTS是一个包含1000张室内和室外清晰图像以及对应的带有不同雾度的模糊图像的数据集。该数据集分为训练集、验证集和测试集。SOTS数据集的图像具有丰富的场景和复杂的雾度,因此可以有效地评估图像去雾方法在各种情况下的性能。
  2. Haze4K:Haze4K数据集包含4000张带有不同雾度的室内和室外图像,用于训练和测试图像去雾方法。该数据集分为训练集和测试集。Haze4K数据集的图像具有较高的分辨率和丰富的场景,可以有效地训练和评估图像去雾方法。

4.2、评价指标

  1. PSNR:峰值信噪比(Peak Signal-to-Noise Ratio)是一种用于衡量图像质量的评价指标。它通过计算去雾图像与清晰图像之间的均方误差(MSE)来评估图像去雾方法的性能。PSNR的计算公式为:PSNR = 10 * log10(255^2 / MSE) 。其中,255是像素值的范围,MSE是去雾图像与清晰图像之间的均方误差。PSNR值越高,说明去雾图像的质量越好,图像去雾方法的性能也就越好。
  2. SSIM:结构相似度指数(Structural Similarity Index)是一种用于衡量图像结构信息的评价指标。它通过比较去雾图像与清晰图像之间的亮度、对比度和结构信息来评估图像去雾方法的性能。SSIM的计算公式为:SSIM = (2 * μx * μy + C1) * (2 * σxy + C2) / ((μx^2 + μy^2 + C1) * (σx^2 + σy^2 + C2))。其中,μx和μy分别是去雾图像和清晰图像的平均灰度值,σx2和σy2分别是去雾图像和清晰图像的方差,σxy是去雾图像和清晰图像的协方差,C1和C2是常数。SSIM值越高,说明去雾图像的结构信息与清晰图像越相似,图像去雾方法的性能也就越好。

4.3、实验结果

在这里插入图片描述

5、贡献

  1. Detail-Enhanced Convolution (DEConv)
    作者提出了Detail-Enhanced Convolution (DEConv),这是一种包含并行的vanilla和difference卷积的新型卷积方式。DEConv第一次引入差分卷积来解决图像去噪问题。传统的卷积操作主要是通过滑动窗口在输入图像上进行操作,而差分卷积则是在卷积操作中引入了差分的思想,使得卷积核在不同的位置具有不同的权重,这样可以更好地捕捉图像中的细节信息,提高去噪效果。DEConv的引入,使得模型能够更好地保留图像的细节信息,提高图像去雾的性能。

  2. Content-Guided Attention (CGA)
    作者还提出了Content-Guided Attention (CGA),这是一种创新的注意力机制。CGA为每个通道分配唯一的SIM,引导模型关注每个通道的重要区域。这样可以强调编码在特征中的更多有用信息,以有效提高去雾性能。CGA的引入,使得模型能够更加关注图像中的重要信息,忽略无关的信息,从而提高图像去雾的效果。此外,作者还将DEConv与CGA相结合,提出了DEA-Net的主要模块,即细节增强注意模块 (DEAB)。DEAB的引入,使得模型能够更好地保留图像的细节信息,同时又能关注图像中的重要信息,从而达到更好的去雾效果 。

二、CGA模块代码学习

1、空间注意力模块


class SpatialAttention(nn.Module):def __init__(self):super(SpatialAttention, self).__init__()self.sa = nn.Conv2d(2, 1, 7, padding=3, padding_mode='reflect', bias=True)# 定义一个二维卷积层self.sa,输入通道数为2,输出通道数为1,卷积核大小为7x7  # padding=3表示在输入数据的周围填充3个像素,保持空间尺寸不变  # padding_mode='reflect'表示使用反射填充方式  # bias=True表示卷积层使用偏置项  def forward(self, x):  x_avg = torch.mean(x, dim=1, keepdim=True)  # 计算输入x在通道维度(dim=1)上的平均值,并保持输出的维度与输入相同  x_max, _ = torch.max(x, dim=1, keepdim=True)  # 找到输入x在通道维度上的最大值,并忽略最大值的索引(用_表示)  # 同样保持输出的维度与输入相同  x2 = torch.cat([x_avg, x_max], dim=1)  # 将x_avg和x_max沿着通道维度(dim=1)拼接起来,得到新的张量x2  # 此时x2的通道数是x的两倍  sattn = self.sa(x2)  # 将x2作为输入传递给之前定义的卷积层self.sa,得到输出sattn  return sattn  # 返回计算得到的空间注意力图sattn

2、通道注意力模块

class ChannelAttention(nn.Module):  def __init__(self, dim, reduction=8):  # 初始化方法,接收输入特征的通道数dim和一个可选的通道数减少比例reduction(默认为8super(ChannelAttention, self).__init__()  # 定义了一个自适应平均池化层,输出大小为1x1,用于对每个通道内的所有元素进行平均  self.gap = nn.AdaptiveAvgPool2d(1)  # 定义了一个顺序模型self.ca,包含两个卷积层和一个ReLU激活函数  self.ca = nn.Sequential(  # 第一个卷积层将输入特征的通道数从dim减少到dim // reduction,使用1x1的卷积核,无填充,并使用偏置  nn.Conv2d(dim, dim // reduction, 1, padding=0, bias=True),  # ReLU激活函数对第一个卷积层的输出进行非线性变换,inplace=True表示直接在输入数据上进行修改  nn.ReLU(inplace=True),  # 第二个卷积层将通道数从dim // reduction恢复到原始的dim,同样使用1x1的卷积核和无填充  nn.Conv2d(dim // reduction, dim, 1, padding=0, bias=True),  )  def forward(self, x):  # 对输入x进行自适应平均池化操作,得到每个通道的平均值  x_gap = self.gap(x)  # 将池化后的结果x_gap传递给self.ca顺序模型,计算通道注意力权重  cattn = self.ca(x_gap)  # 返回计算得到的通道注意力权重  return cattn

3、像素注意力模块

class PixelAttention(nn.Module):  def __init__(self, dim):  super(PixelAttention, self).__init__()  # 定义一个二维卷积层,输入通道数为2*dim,输出通道数为dim,  # 卷积核大小为7x7,填充大小为3(使用reflect模式),分组数为dim,并使用偏置项。  self.pa2 = nn.Conv2d(2 * dim, dim, 7, padding=3, padding_mode='reflect', groups=dim, bias=True)  # 定义一个Sigmoid激活函数  self.sigmoid = nn.Sigmoid()  def forward(self, x, pattn1):  """  前向传播方法,接收两个输入:特征图x和另一个注意力图pattn1。  """  # 获取输入x的形状  B, C, H, W = x.shape  # 在x的通道维度之后增加一个新的维度,大小为1  x = x.unsqueeze(dim=2)  # 在pattn1的通道维度之后增加一个新的维度,大小为1  pattn1 = pattn1.unsqueeze(dim=2)   # 将x和pattn1在第二个维度(现在的大小为2)上进行拼接  x2 = torch.cat([x, pattn1], dim=2) # 使用Rearrange函数对x2的形状进行重排,将通道数和第二个维度的大小合并成一个维度  x2 = Rearrange('b c t h w -> b (c t) h w')(x2)  # 将重排后的x2输入到卷积层self.pa2中  pattn2 = self.pa2(x2)  # 对卷积层的输出应用Sigmoid激活函数  pattn2 = self.sigmoid(pattn2)  # 返回计算得到的像素注意力权重pattn2  return pattn2  

总结

本周主要阅读了文章,DEA-Net:基于细节增强卷积和内容引导注意的单图像去雾。该论文提出了提出了一种细节增强注意力块(DEAB),该模块由一个细节增强卷积(DEConv)和一个内容引导的注意力(CGA)机制组成,使得模型能够更好地保留图像的细节信息,同时又能关注图像中的重要信息,从而达到更好的去雾效果。除此之外,我还学习学习了CGA模块的注意力代码模块的学习。下周再接再厉

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/732914.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C#快速入门基础

本篇文章从最基础的C#编程开始学习,经过非常优秀的面向对象编程思想和方法的学习,为C#编程打下基础。 第 01 章 C#开发环境之VS使用和.NET平台基础 1.1 Visual Studio 开发环境 1.1.1 硬件环境 i5CPUi5CPU(建议 4核 4线程或以上 &#xff0…

第五十四回 高太尉大兴三路兵 呼延灼摆布连环马-AI通过构建并训练CNN网络来进行飞机识别

呼延灼举荐了百胜将韩滔和天目将彭玘做先锋。 两军对战,韩滔和秦明斗二十回合,呼延灼与林冲斗在一起,花荣与彭玘斗在一处,后彭玘与一丈青扈三娘斗在一起,被扈三娘抓住。 尽管梁山占优,宋江也没有乘胜追击&…

this.$set,更新vue视图

this.$set(this.searchForm, age, 30) // 对象 this.$set(this.searchForm1, 0, { name: 汪汪, age: 11, content: 擅长口算 })// 数组

帮管客CRM jiliyu接口存在SQL漏洞 附POC软件

免责声明:请勿利用文章内的相关技术从事非法测试,由于传播、利用此文所提供的信息或者工具而造成的任何直接或者间接的后果及损失,均由使用者本人负责,所产生的一切不良后果与文章作者无关。该文章仅供学习用途使用。 1. 帮管客CRM简介 微信公众号搜索:南风漏洞复现文库…

如何配置IDEA中的JavaWeb环境(2023最新版)

创建项目 中文版:【文件】-【新建】-【项目】 点击【新建项目】,改好【名称】点击【创建】 右键自己建立的项目-【添加框架支持】(英文版是Add Framework Support...) 勾选【Web应用程序】-【确定】 配置tomcat 点击编辑配置 点…

人民网发稿多少钱?媒介多多告诉你答案!附人民网各频道报价表

你是否也想知道在人民网发稿需要多少钱?媒介多多告诉你答案!人民网是国内权威新闻平台之一,拥有大量忠实读者群体。想要在人民网上发稿进行推广,是很多企业和个人的选择。那么,人民网发稿到底需要多少钱呢?…

云计算,用价格让利换创新空间?

文 | 智能相对论 作者 | 李源 ECS(云服务器)最高降36%、OSS(对象存储)最高降55%、RDS(云数据库)最高降40%…… 阿里云惊人的降幅,一次性把国内云计算厂商的价格战推到了白热化阶段。 这次能…

魔众智能AI系统v2.1.0版本支持主流大模型(讯飞星火、文心一言、通义千问、腾讯混元、Azure、MiniMax、Gemini)

支持主流大模型(讯飞星火、文心一言、通义千问、腾讯混元、Azure、MiniMax、Gemini) [新功能] 系统全局消息提示 UI 全新优化 [新功能] JS 库增加【ijs】类型字符串,支持默认可执行代码 [新功能] 分类快捷操作工具类 CategoryUtil [新功能…

接口自动化测试从入门到高级实战!

接口测试背景和必要性 接口测试是测试系统组件间接口(API)的一种测试,主要用于检测内部与外部系统、内部子系统之间的交互质量,其测试重点是检查数据交换、传递的准确性,控制和交互管理过程,以及系统间相互…

鸿蒙开发(二)-项目结构

鸿蒙开发(二)-项目结构 上篇文章我们讲了如何配置鸿蒙开发的基础环境,以及创建了第一个鸿蒙程序。 这篇我们讲述了鸿蒙应用的项目目录结构。 如图所示:我们切换项目project可以看到。 另一种则是Ohos模式: AppScope->app.json5 应用的全局配置 {&q…

300分钟吃透分布式缓存-26讲:如何大幅成倍提升Redis处理性能?

主线程 Redis 自问世以来,广受好评,应用广泛。但相比, Memcached 单实例压测 TPS 可以高达百万,线上可以稳定跑 20~40 万而言,Redis 的单实例压测 TPS 不过 10~12 万,线上一般最高也就 2~4 万,…

【算法沉淀】最长回文子串

🎉🎉欢迎光临🎉🎉 🏅我是苏泽,一位对技术充满热情的探索者和分享者。🚀🚀 🌟特别推荐给大家我的最新专栏《数据结构与算法:初学者入门指南》📘&am…

element-ui 中 upload组件 如何传递额外的参数 ?

参考elementui 文档 如何通过data 进行额外传递参数&#xff1f;(:data"uploadData") <el-uploadref"fileUploadBtn1"class"upload-demo"accept".xls,.xlsx" :limit"1" :action"uploadFileUrl" :on-success&q…

jvm堆概述

《java虚拟机规范》中对java堆的描述是&#xff1a;所有的对象实例以及数组都应当在运行时分配在堆上。 一个JVM实例只存在一个堆内存(就是new 出来一个对象)&#xff0c;java内存管理的核心区域 java堆区在jvm启动的时候就被创建&#xff0c;空间大小确定。是jvm管理的最大一…

通过Step Back提示增强LLM的推理能力

原文地址&#xff1a;enhancing-llms-reasoning-with-step-back-prompting 论文地址&#xff1a;https://arxiv.org/pdf/2310.06117.pdf 2023 年 11 月 6 日 Introduction 在大型语言模型不断发展的领域中&#xff0c;一个持续的挑战是它们处理复杂任务的能力&#xff0c;这…

图形库实战丨C语言扫雷小游戏(超2w字,附图片素材)

目录 效果展示 游玩链接&#xff08;无需安装图形库及VS&#xff09; 开发环境及准备 1.VS2022版本 2.图形库 游戏初始化 1.头文件 2.创建窗口 3.主函数框架 开始界面函数 1.初始化 1-1.设置背景颜色及字体 1-2.处理背景音乐及图片素材 1-3.处理背景图位置 2.选…

Linux服务器安装jdk

背景: 安装JDK是我们java程序在服务器运行的必要条件,下面描述几个简单的命令就可再服务器上成功安装jdk 命令总览: yum update -y yum list | grep jdk yum -y install java-1.8.0-openjdk java -version 1.查看可安装版本 yum list | grep jdk 2.如果查不到可先进行 yum upd…

leetcode 热题 100_缺失的第一个正数

题解一&#xff1a; 正负模拟哈希&#xff1a;偏技巧类的题目&#xff0c;在无法使用额外空间的情况下&#xff0c;只能在原数组中做出类似哈希表的模拟。除去数值&#xff0c;我们还可以用正负来表示下标值的出现情况。首先&#xff0c;数组中存在正负数和0&#xff0c;而负数…

猫头虎分享已解决Bug || 数据中心断电:PowerLoss, DataCenterBlackout

博主猫头虎的技术世界 &#x1f31f; 欢迎来到猫头虎的博客 — 探索技术的无限可能&#xff01; 专栏链接&#xff1a; &#x1f517; 精选专栏&#xff1a; 《面试题大全》 — 面试准备的宝典&#xff01;《IDEA开发秘籍》 — 提升你的IDEA技能&#xff01;《100天精通鸿蒙》 …