Yolov8有效涨点：YOLOv8-AM，添加多种注意力模块提高检测精度，含代码，超详细

前言

2023 年，Ultralytics 推出了最新版本的 YOLO 模型。注意力机制是提高模型性能最热门的方法之一。

本次介绍的是YOLOv8-AM，它将注意力机制融入到原始的YOLOv8架构中。具体来说，我们分别采用四个注意力模块：卷积块注意力模块（CBAM）、全局注意力机制（GAM）、高效通道注意力（ECA）和随机注意力（SA）来设计改进模型并在数据集上进行测试。实验结果表明，基于ResBlock + CBAM（ResCBAM）的YOLOv8-AM模型在IoU 50（mAP 50）下的平均精度提到了2.2%，达到了state-of-the-art（SOTA）表现。相反，结合GAM的YOLOv8-AM模型获得了的mAP @50并不是一个令人满意的增强。因此，我们将ResBlock和GAM结合起来，引入ResGAM设计另一个新的YOLOv8-AM模型，获得一个较为满意的结果。

目录

前言

注意力机制：

Convolutional Block Attention Module

Efficient Channel Attention

Shuffle Attention

Global Attention Mechanism

实验结果（供参考）

可论文指导--------->v jiabei-545

改进代码(失效+ v 👆)

注意力机制：
带有YOLOv8-AM的结构图

YOLOv8 架构由四个关键组件组成：Backbone、Neck、Head 和 Loss Function。 Backbone 融合了 Cross Stage Partial (CSP) 概念，具有减少计算负载、同时增强 CNN 学习能力的优势。如图所示，YOLOv8与采用C3模块的YOLOv5不同，采用C2f模块，该模块集成了C3模块和YOLOv7中的扩展ELAN（E-ELAN）概念。

YOLOv8-AM模型架构详解，其中注意力模块为Shuffle Attention（SA）、Efficient Channel Attention（ECA）、Global Attention Mechanism（GAM）、ResBlock + Convolutional Block Attention Module（ResCBAM）

Convolutional Block Attention Module
CBAM架构

CBAM 包括通道注意力（C-Attention）和空间注意力（S-Attention），如图所示。给定一个中间特征图，CBAM 通过等式依次推断出 1D 通道注意力图  和 2D 空间注意力图 。

ResBlock + Convolutional Block Attention Module

原理和resnet一样 

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, ResBlock_CBAM, [512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, ResBlock_CBAM, [256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, ResBlock_CBAM, [512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, ResBlock_CBAM, [1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
Efficient Channel Attention
Efficient Channel Attention

ECA 主要包含跨通道交互和具有自适应卷积核的一维卷积，如图 所示。跨通道交互代表了一种组合特征的新方法，增强了特定语义的特征表达。

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, ECAAttention, [512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, ECAAttention, [256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, ECAAttention, [512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, ECAAttention, [1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
Shuffle Attention
Shuffle Attention

 SA将输入特征图分为不同的组，利用Shuffle Unit将通道注意力和空间注意力整合到每个组的一个块中，如图所示。随后，子特征被聚合，并且“ ShuffleNetV2 中使用的“Channel Shuffle”算子用于促进各种子特征之间的信息通信。对于通道注意力，SA 采用 GAP 来捕获和嵌入子特征。此外，使用带有 sigmoid 函数的简单门控机制来创建紧凑的函数，以促进精确和自适应的选择。

# SA.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, ShuffleAttention, [512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, ShuffleAttention, [256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, ShuffleAttention, [512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, ShuffleAttention, [1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
Global Attention Mechanism
Global Attention Mechanism

 GAM采用了CBAM提出的由通道注意力和空间注意力组成的主要架构，并重新设计了子模块，如图所示。此外，我在GAM内的各层之间添加了快捷连接，这使得输入能够更快地向前传播。

# GAM.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, GAM_Attention, [512,512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, GAM_Attention, [256,256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, GAM_Attention, [512,512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, GAM_Attention, [1024,1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
ResBlock + Global Attention Mechanism

 原理和resnet一样

实验结果（供参考）

ResBlock + Convolutional Block Attention Module
Shuffle Attention

Efficient Channel Attention
Global Attention Mechanism

ResBlock + Global Attention Mechanism
定量比较（Precision/Recall/F1/mAP）

可论文指导--------->v jiabei-545
改进代码(失效+ v 👆)

链接: https://pan.baidu.com/s/1Fi7ghwJ6XiXrDDnoCvlvrQ?pwd=zk88 提取码: zk88 

欢迎大家在评论区进行讨论

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/702557.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Django定时任务之django_apscheduler使用

Django定时任务之django_apscheduler使用

Django定时任务之django_apscheduler使用 今天在写一个任务需求时需要用到定时任务来做一部分数据处理与优化，于是在了解完现有方法，结合自己需求决定使用django_apscheduler，记录一下过程，有几篇值得参考的文章放在结尾&#xf…
阅读更多...
大数据构建知识图谱：从技术到实战的完整指南

大数据构建知识图谱：从技术到实战的完整指南

文章目录 大数据构建知识图谱：从技术到实战的完整指南一、概述二、知识图谱的基础理论定义与分类核心组成历史与发展 三、知识获取与预处理数据源选择数据清洗实体识别 四、知识表示方法知识表示模型RDFOWL属性图模型 本体构建关系提取与表示 五、知识图谱构建技术图…
阅读更多...
Java基础常见八股文学习总结1

Java基础常见八股文学习总结1

Java基础常见八股文学习总结1 SPI SPI 即 Service Provider Interface ，字面意思就是：“服务提供者的接口”，我的理解是：专门提供给服务提供者或者扩展框架功能的开发者去使用的一个接口。SPI 将服务接口和具体的服务实现分离开来…
阅读更多...
C语言中的数据结构选择与实现

C语言中的数据结构选择与实现

大家好，今天给大家介绍C语言中的数据结构选择与实现，文章末尾附有分享大家一个资料包，差不多150多G。里面学习内容、面经、项目都比较新也比较全！可进群免费领取。 一、引言 在C语言中，数据结构是实现高效算法的关键。…
阅读更多...
一个更好的IP工具箱MyIP

一个更好的IP工具箱MyIP

什么是 MyIP ？ MyIP 是一个完全开源的 IP 信息查看器，可以轻松检查你的 IP，IP 地理位置，检查 DNS 泄漏，检查 WebRTC 连接，速度测试，ping 测试，MTR 测试，检查网站可用性等…
阅读更多...
docker 安装mysql8 实现互为主从

docker 安装mysql8 实现互为主从

目录结构 先按照这个目录结构创建。 mysql.conf 配置，mysql的基础可以在此添加 mysql配置 mysql-master下conf配置 [mysqld] # 设置服务器唯一标识号 server-id1 # 启用二进制日志 log-binmaster-bin # 指定需要复制的数据库 binlog-do-dbtest_db # 指定二进制日…
阅读更多...
软件游戏显示d3dx9_42.dll丢失的5种解决方法，快速解决dll问题

软件游戏显示d3dx9_42.dll丢失的5种解决方法，快速解决dll问题

当计算机系统中d3dx9_42.dll文件丢失时，可能会引发一系列运行问题和功能异常，具体表现形式多样且影响范围较广。首先，对于依赖于DirectX 9.0c版本的各类应用程序，尤其是部分经典的老款游戏，由于d3dx9_42.dll是其中不可…
阅读更多...
【Python】OpenCV-图片差异检测与标注

【Python】OpenCV-图片差异检测与标注

图片差异检测与标注 在图像处理领域中，检测两张图片之间的差异是一项重要的任务。本文将介绍一个使用OpenCV库进行图片差异检测的简单示例代码，并详细注释每个步骤。 1. 引言 图片差异检测是在两张图片之间寻找差异点或区域的过程。这项技术可用于监测…
阅读更多...
顺序表知识点——顺序表的增删查改

顺序表知识点——顺序表的增删查改

目录 准备文件 创建顺序表蓝图 顺序表初始化函数接口 顺序表的销毁函数接口 顺序表的打印函数接口 顺序表的插入函数接口 顺序表的删除函数接口 从本节开始， 复习数据结构。 空间复杂度还有时间复杂度之后利用例题学习。 这节先学习顺序表的增删查改。 首…
阅读更多...
并发编程基础

并发编程基础

为什么开发中需要并发编程？ 加快响应用户的时间使你的代码模块化、异步化、简单化充分利用CPU资源 基础概念 进程和线程 进程 我们常听说的应用程序，由指令和数据组成。当我们不运行应用程序时，这些应用程序就是放在磁盘上的二进制的代码…
阅读更多...
【MATLAB】mlptdenoise信号分解+FFT傅里叶频谱变换组合算法

【MATLAB】mlptdenoise信号分解+FFT傅里叶频谱变换组合算法

有意向获取代码，请转文末观看代码获取方式~ 展示出图效果 1 mlptdenoise分解算法 MLPT denoise（Maximum Likelihood Parameter-Tuned Denoise）是一种基于小波变换的信号分解算法，它可以将信号分解为多个具有不同频率特性的小波分…
阅读更多...
Threejs 实现3D影像地图，Json地图，地图下钻

Threejs 实现3D影像地图，Json地图，地图下钻

1.使用threejs实现3D影像地图效果，整体效果看起来还可以，底层抽象了基类，实现了通用，对任意省份，城市都可以只替换数据，即可轻松实现效果。 效果如下： 链接https://www.bilibili.com/video/BV1…
阅读更多...
【人工智能高频面试题--基本篇】

【人工智能高频面试题--基本篇】

🚀 作者 ：“码上有前” 🚀 文章简介 ：人工智能高频面试题 🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬 人工智能高频面试题--基本篇 1.深度学习和过往的神经网络训练方法有什么区别？列举…
阅读更多...
Panalog大数据日志审计系统libres_syn_delete.php命令执行漏洞

Panalog大数据日志审计系统libres_syn_delete.php命令执行漏洞

声明 本文仅用于技术交流，请勿用于非法用途 由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，文章作者不为此承担任何责任。 1、产品简介 Panalog大数据日志审计系统定位于将大数据产品应用于高校…
阅读更多...
【.xml文件匹配不到】⭐️解决使用mybatis-plus找不到对应的xml文件导致的持久层方法报错

【.xml文件匹配不到】⭐️解决使用mybatis-plus找不到对应的xml文件导致的持久层方法报错

前言 小伙伴们大家好，很快嗷，到了年后的第一周，最近在自己电脑上敲项目时遇到一个平时可能不怎么遇到的问题，就是mybatis持久层框架使用时找不到对应的xml配置文件，也就导致自己写的持久层方法报错 接口报错内容&…
阅读更多...
win11修改网络算法为BBR2_提升网络环境质量

win11修改网络算法为BBR2_提升网络环境质量

Win11 BBR2 是Google开发的一种高效的网络拥塞控制算法，玩 Linux 的朋友应该对它还有锐速不陌生。相比Windows默认使用的 CUBIC 算法，BBR2 在网络吞吐量、延迟、全局性能等方面都有一定优势。 如果你日常网络经常丢包或者高延迟可以尝试切换为BBR2算法。…
阅读更多...
实施工程师前后端项目部署流程一次完成

实施工程师前后端项目部署流程一次完成

目录 一、jdk安装具体步骤 二、tomcat安装具体步骤 三、MySql具体步骤 修改密码 登录 四、nginx安装 4.1、Nginx 4.2、操作步骤 安装ssl证书（https） 开80端口 测试 设置自启动 五、后端部署tomcat负载均衡 5.1、为什么要使用 5.2、搭建ngin…
阅读更多...
抖音视频提取软件怎么用|抖音数据抓取工具

抖音视频提取软件怎么用|抖音数据抓取工具

针对用户获取抖音视频的需求，我们开发了一款功能强大的抖音视频提取软件，旨在帮助用户轻松获取他们感兴趣的视频内容。无需逐个复制链接，无需繁琐的下载步骤，我们的软件让抖音视频获取变得简单快捷。 使用我们的软件非常简单&…
阅读更多...
Open3D 基于最小生成树的法线定向 （27）

Open3D 基于最小生成树的法线定向 （27）

Open3D 基于最小生成树的法线定向 （27） 一、算法介绍二、算法实现一、算法介绍 法线计算的方向通常都存在方向问题，用Open3D估计的点云法线，是在每个点的局部进行拟合，估计的法线方向并不一致，Open3D提供了使用最小生成树调整法线到统一方向的方法，下面是具体的实现代码…
阅读更多...
从Unity到Three.js（outline 模型描边功能）

从Unity到Three.js（outline 模型描边功能）

指定模型高亮功能，附带设置背景颜色，获取随机数方法。 百度查看说是gltf格式的模型可以携带PBR材质信息，如果可以这样，那就完全可以在blender中配置好材质导出了，也就不需要像在unity中调整参数了。 import * as THRE…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023