CBAM注意力机制详解(附pytorch复现)

简介

论文原址:1807.06521.pdf (arxiv.org)

CBAM(Convolutional Block Attention Module)是一种卷积神经网络模块,旨在通过引入注意力机制来提升网络的表示能力。CBAM包含两个顺序子模块:通道注意力模块和空间注意力模块。

通过在深度网络的每个卷积块中自适应地优化中间特征图,CBAM通过强调通道和空间维度上的有意义特征,实现了对关键信息的关注和不必要信息的抑制。研究表明,CBAM在ImageNet-1K数据集上能够显著提高各种基线网络的准确性,通过grad-CAM可视化验证,CBAM增强的网络能够更准确地关注目标对象。在MS COCO和VOC 2007数据集上的目标检测任务中,CBAM也展现出显著的性能改进,而由于CBAM精心设计为轻量级模块,其在大多数情况下几乎没有参数和计算开销。CBAM注意力模块可广泛应用于提升卷积神经网络的表示能力。

Channel attention module(CAM)

通过平均池化和最大池化操作,整合输入特征图的空间信息,生成两个不同的空间上下文描述符,得到两个 1×1×C 的特征图,分别表示为 F_c_avg 和 F_c_max。将 F_c_avg 和 F_c_max 分别送入一个共享的多层感知机(MLP),该 MLP 具有一个隐藏层,其中第一层神经元个数为 C/r(r 为减少率),激活函数为 ReLU,第二层神经元个数为 C。这两层神经网络是共享的,即它们的权重相同。将两个 MLP 的输出特征进行逐元素相加,并通过 sigmoid 激活函数,生成通道注意力图 Mc。

这是对池化操作的使用进行实验比较的结果。研究者发现,采用平均池化和最大池化并行的方式能够取得更好的效果。可能是因为采用并行连接方式,相比于单一的池化,能够更有效地保留有用的信息,进而提升模型性能。

Spatial attention module(SAM)

首先,将 Channel Attention 模块输出的特征图作为 Spatial Attention 模块的输入特征图。接着,对输入特征图进行基于通道的全局最大池化和全局平均池化操作,得到两个 H×W×1 的特征图。然后,将这两个特征图在通道维度上进行拼接,经过一个 7×7 的卷积操作,将通道数降维为 1,即得到 H×W×1 的特征图。最后,经过 sigmoid 操作生成空间注意力特征,即 Ms。将该特征与输入特征图进行乘法操作,得到最终生成的特征。这一过程有助于模型关注输入特征图中的重要区域,从而增强表示能力。

CBAM的pytorch实现

"""
Original paper addresshttps: https://arxiv.org/pdf/1807.06521.pdf
Time: 2024-02-28
"""
import torch
from torch import nnclass ChannelAttention(nn.Module):def __init__(self, in_planes, reduction=16):super(ChannelAttention, self).__init__()self.avg_pool = nn.AdaptiveAvgPool2d(1)self.max_pool = nn.AdaptiveMaxPool2d(1)# shared MLPself.mlp = nn.Sequential(nn.Conv2d(in_planes, in_planes // reduction, 1, bias=False),nn.ReLU(inplace=True),nn.Conv2d(in_planes // reduction, in_planes, 1, bias=False))self.sigmoid = nn.Sigmoid()def forward(self, x):avg_out = self.mlp(self.avg_pool(x))max_out = self.mlp(self.max_pool(x))out = avg_out + max_outreturn self.sigmoid(out)class SpatialAttention(nn.Module):def __init__(self, kernel_size=7, padding=3):super(SpatialAttention, self).__init__()self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False)self.sigmoid = nn.Sigmoid()def forward(self, x):avg_out = torch.mean(x, dim=1, keepdim=True)max_out, _ = torch.max(x, dim=1, keepdim=True)x = torch.cat([avg_out, max_out], dim=1)x = self.conv1(x)return self.sigmoid(x)class CBAM(nn.Module):def __init__(self, in_planes, reduction=16, kernel_size=7):super(CBAM, self).__init__()self.ca = ChannelAttention(in_planes, reduction)self.sa = SpatialAttention(kernel_size)def forward(self, x):out = x * self.ca(x)result = out * self.sa(out)return resultif __name__ == '__main__':block = CBAM(16)input = torch.rand(1, 16, 8, 8)output = block(input)print(output.shape)

参考文章

CBAM——即插即用的注意力模块(附代码)_cbam模块-CSDN博客

[ 注意力机制 ] 经典网络模型2——CBAM 详解与复现_cbam代码复现-CSDN博客

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/711672.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

算法项目的合作流程

算法项目的合作流程通常包括以下几个关键步骤,以上是算法项目合作的基本流程,具体项目可能会根据实际情况进行调整和补充。在整个项目过程中,良好的沟通、协作和团队合作至关重要,能够确保项目按时高质量地完成。北京木奇移动技术…

回归啦!!!

消失的日子在实习,今天最后一天了来看看自己的学习日志,有没有可以和小伙伴交流的部分吧! 目录 一、产品one ①简介 ②底层原理 ③知识点一 作用一:日志采集 作用二:实时监测 作用三:规则匹配 作用…

Redis冲冲冲——事务支持,AOF和RDB持久化

目录 引出Redis事务支持,AOF和RDB持久化1、Redis的事务支持2、Redis的持久化 Redis冲冲冲——缓存三兄弟:缓存击穿、穿透、雪崩缓存击穿缓存穿透缓存雪崩 总结 引出 Redis冲冲冲——事务支持,AOF和RDB持久化 Redis事务支持,AOF和…

codeforces 1868A

题目链接 思路 当 m 1 m1 m1时 发现是 M M M是一条 0 0 0的纵列&#xff0c;最后结果是 0 0 0 其余构造方法大体为&#xff1a;每行把上一行第一位元素移到队尾 当 n < m − 1 n<m-1 n<m−1时 我们可以如下构造 0,1,2,3,4…m-1 1,2,3,4…m-1,0 2,3,4…m-1,0,1…

【内部消息】24上半年软考可能支持平板、PC和手机等多平台报名

根据内部消息&#xff0c;软考网上报名系统正在改革&#xff0c;之前只能通过PC端报名的&#xff0c;下次报名可能支持平板、手机等多终端进行网上报名了。现在官方并没有确切消息发出&#xff0c;这次变动可能发生在2024上半年&#xff0c;也有可能得到下半年才能实行。以下是…

一文读懂MES之工艺路线

什么是工艺路线 工艺路线&#xff0c;又被称为生产工艺流程或生产流程路线&#xff0c;是指在进行产品或零件的生产过程中&#xff0c;按照一定的生产顺序排列的一系列的工艺过程。简单来说就是如何从原材料或者半成品零件&#xff0c;一步一步加工和制作&#xff0c;最终制作…

LeetCode_Java_动态规划系列(2)(题目+思路+代码)

131.分割回文串 给你一个字符串 s&#xff0c;请你将 s 分割成一些子串&#xff0c;使每个子串都是 回文串 。返回 s 所有可能的分割方案。 回文串 是正着读和反着读都一样的字符串。 示例 1&#xff1a; 输入&#xff1a;s "aab" 输出&#xff1a;[["a&qu…

InnoDB索引与优化篇(3)-事务隔离级别与InnoDB的应用

MySQL是一种常用的关系型数据库管理系统&#xff0c;而事务是数据库中常用的一种机制。在MySQL中&#xff0c;事务的隔离级别以及使用InnoDB引擎进行事务处理是非常重要的。在本博客中&#xff0c;我们将探讨MySQL数据库事务隔离级别和InnoDB的应用。 事务是一组数据库操作的集…

立即报名Atlassian Team’24,与龙智一同踏上前往数字服务的创新之路

拉斯维加斯&#xff0c;4月30日至5月2日—— Atlassian Team’24盛大举行&#xff01;现已正式启动报名&#xff0c;诚邀您的参与&#xff01;与龙智一同走进这场创新与协作的盛会&#xff0c;您将有机会亲身感受100余场精彩纷呈的活动&#xff0c;深入探索Atlassian平台如何助…

小程序常用样式和组件

常用样式和组件 1. 组件和样式介绍 在开 Web 网站的时候&#xff1a; 页面的结构由 HTML 进行编写&#xff0c;例如&#xff1a;经常会用到 div、p、 span、img、a 等标签 页面的样式由 CSS 进行编写&#xff0c;例如&#xff1a;经常会采用 .class 、#id 、element 等选择器…

【leetcode】相交链表

大家好&#xff0c;我是苏貝&#xff0c;本篇博客带大家刷题&#xff0c;如果你觉得我写的还不错的话&#xff0c;可以给我一个赞&#x1f44d;吗&#xff0c;感谢❤️ 点击查看题目 思路: struct ListNode *getIntersectionNode(struct ListNode *headA, struct ListNode *he…

海康威视2024校园招聘

海康威视2024全球校园招聘正式启动 智未来&#xff0c;因你来&#xff0c;图片附含内推码

Flex布局常见属性图解

目录 一、简介二、父元素属性2.1、flex-direction2.2、justify-content2.3、align-items2.4、flex-wrap2.5、flex-flow2.6、align-content 三、子元素属性3.1、flex3.2、align-self3.3、order 一、简介 Flex是Flexible Box的缩写&#xff0c;意为”弹性布局”&#xff0c;用来为…

笔记本以太网集线器Hub充电可能导致网络异常(貌似是我把服务器网关写错了)

文章目录 笔记本以太网集线器&#xff08;Hub&#xff09;充电导致网络异常概述原理分析电源与信号干扰设备热度设备兼容性问题 解决方案升级固件提高设备散热效率选择兼容性好的设备 总结 今天用笔记本以太网直连服务器&#xff0c;一开始能连通&#xff0c;结果以太网hub插上…

c# Excel转换成DataSet

/// <summary> /// Excel转换成DataSet&#xff08;.xlsx/.xls&#xff09; /// </summary> /// <param name"filePath">Excel文件路径</param> /// <param name"strMsg"></param> …

Vue-4

自定义创建项目 目标&#xff1a;基于 VueCli 自定义创建项目架子 大致步骤&#xff1a; 安装脚手架创建项目 vue create 项目名称选择自定义 选择 Manually select features 这一项 step-1:按下空格 : 选择/取消--勾选请选择&#xff1a;Babel、Router、CSS、Linterstep-2…

探索K8S的绝佳选择:Killercoda与Play-with-K8s在线练习平台

大家好&#xff0c;近年来Kubernetes&#xff08;K8S&#xff09;作为容器编排的瑞士军刀&#xff0c;已经成为云原生技术的代表之一。学习K8S是现代云计算领域不可或缺的一部分&#xff0c;但很多人可能面临一个问题——如何高效地学习K8S&#xff0c;尤其是缺乏实践环境的初学…

蓝桥杯 子矩阵 (找大小为a*b的矩阵的最大最小值的乘积,queue)

题目链接 &#xff1a; https://www.lanqiao.cn/problems/3521/learning/?subject_code1&group_code3&match_num14&match_flow1&origincup 思想 &#xff1a; 用堆维护最大值最小值即可 暴力实现 复杂度 N^2 * log(N^2) 代码&#xff1a; #include<bit…

Vue3修改Element-plus语言与项目国际化

修改Element-plus默认语言 Element-plus默认语言是英语&#xff0c;可修改为其它语言&#xff1b; 此处 Element-plus 为自动按需导入方式配置&#xff1b; 更多导入方式&#xff1a;Vue3使用Element-plus-CSDN博客 全局配置默认语言参考&#xff1a;国际化 | Element Plus 统一…

文件对比工具Beyond Compare 4 mac v4.4.7(28397)中文版

Beyond Compare是一款适用于Windows、Mac OS X和Linux平台的文件和文件夹比较工具。它可以帮助用户比较和同步文件夹、文件和压缩包等内容&#xff0c;支持多种文件格式&#xff0c;如文本、图像、音频、视频等。 软件下载&#xff1a;Beyond Compare 4 mac v4.4.7(28397)中文版…