Yolov8有效涨点：YOLOv8-AM，添加多种注意力模块提高检测精度，含代码，超详细

前言

2023 年，Ultralytics 推出了最新版本的 YOLO 模型。注意力机制是提高模型性能最热门的方法之一。

本次介绍的是YOLOv8-AM，它将注意力机制融入到原始的YOLOv8架构中。具体来说，我们分别采用四个注意力模块：卷积块注意力模块（CBAM）、全局注意力机制（GAM）、高效通道注意力（ECA）和随机注意力（SA）来设计改进模型并在数据集上进行测试。实验结果表明，基于ResBlock + CBAM（ResCBAM）的YOLOv8-AM模型在IoU 50（mAP 50）下的平均精度提到了2.2%，达到了state-of-the-art（SOTA）表现。相反，结合GAM的YOLOv8-AM模型获得了的mAP @50并不是一个令人满意的增强。因此，我们将ResBlock和GAM结合起来，引入ResGAM设计另一个新的YOLOv8-AM模型，获得一个较为满意的结果。

目录

前言

注意力机制：

Convolutional Block Attention Module

Efficient Channel Attention

Shuffle Attention

Global Attention Mechanism

实验结果（供参考）

可论文指导--------->v jiabei-545

改进代码(失效+ v 👆)

注意力机制：
带有YOLOv8-AM的结构图

YOLOv8 架构由四个关键组件组成：Backbone、Neck、Head 和 Loss Function。 Backbone 融合了 Cross Stage Partial (CSP) 概念，具有减少计算负载、同时增强 CNN 学习能力的优势。如图所示，YOLOv8与采用C3模块的YOLOv5不同，采用C2f模块，该模块集成了C3模块和YOLOv7中的扩展ELAN（E-ELAN）概念。

YOLOv8-AM模型架构详解，其中注意力模块为Shuffle Attention（SA）、Efficient Channel Attention（ECA）、Global Attention Mechanism（GAM）、ResBlock + Convolutional Block Attention Module（ResCBAM）

Convolutional Block Attention Module
CBAM架构

CBAM 包括通道注意力（C-Attention）和空间注意力（S-Attention），如图所示。给定一个中间特征图，CBAM 通过等式依次推断出 1D 通道注意力图  和 2D 空间注意力图 。

ResBlock + Convolutional Block Attention Module

原理和resnet一样 

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, ResBlock_CBAM, [512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, ResBlock_CBAM, [256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, ResBlock_CBAM, [512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, ResBlock_CBAM, [1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
Efficient Channel Attention
Efficient Channel Attention

ECA 主要包含跨通道交互和具有自适应卷积核的一维卷积，如图 所示。跨通道交互代表了一种组合特征的新方法，增强了特定语义的特征表达。

# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, ECAAttention, [512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, ECAAttention, [256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, ECAAttention, [512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, ECAAttention, [1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
Shuffle Attention
Shuffle Attention

 SA将输入特征图分为不同的组，利用Shuffle Unit将通道注意力和空间注意力整合到每个组的一个块中，如图所示。随后，子特征被聚合，并且“ ShuffleNetV2 中使用的“Channel Shuffle”算子用于促进各种子特征之间的信息通信。对于通道注意力，SA 采用 GAP 来捕获和嵌入子特征。此外，使用带有 sigmoid 函数的简单门控机制来创建紧凑的函数，以促进精确和自适应的选择。

# SA.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, ShuffleAttention, [512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, ShuffleAttention, [256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, ShuffleAttention, [512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, ShuffleAttention, [1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
Global Attention Mechanism
Global Attention Mechanism

 GAM采用了CBAM提出的由通道注意力和空间注意力组成的主要架构，并重新设计了子模块，如图所示。此外，我在GAM内的各层之间添加了快捷连接，这使得输入能够更快地向前传播。

# GAM.yaml
# Ultralytics YOLO 🚀, AGPL-3.0 license
# YOLOv8 object detection model with P3-P5 outputs. For Usage examples see https://docs.ultralytics.com/tasks/detect# Parameters
nc: 9  # number of classes
scales: # model compound scaling constants, i.e. 'model=yolov8n.yaml' will call yolov8.yaml with scale 'n'# [depth, width, max_channels]n: [0.33, 0.25, 1024]  # YOLOv8n summary: 225 layers,  3157200 parameters,  3157184 gradients,   8.9 GFLOPss: [0.33, 0.50, 1024]  # YOLOv8s summary: 225 layers, 11166560 parameters, 11166544 gradients,  28.8 GFLOPsm: [0.67, 0.75, 768]   # YOLOv8m summary: 295 layers, 25902640 parameters, 25902624 gradients,  79.3 GFLOPsl: [1.00, 1.00, 512]   # YOLOv8l summary: 365 layers, 43691520 parameters, 43691504 gradients, 165.7 GFLOPsx: [1.00, 1.25, 512]   # YOLOv8x summary: 365 layers, 68229648 parameters, 68229632 gradients, 258.5 GFLOPs# YOLOv8.0n backbone
backbone:# [from, repeats, module, args]- [-1, 1, Conv, [64, 3, 2]]  # 0-P1/2- [-1, 1, Conv, [128, 3, 2]]  # 1-P2/4- [-1, 3, C2f, [128, True]]- [-1, 1, Conv, [256, 3, 2]]  # 3-P3/8- [-1, 6, C2f, [256, True]]- [-1, 1, Conv, [512, 3, 2]]  # 5-P4/16- [-1, 6, C2f, [512, True]]- [-1, 1, Conv, [1024, 3, 2]]  # 7-P5/32- [-1, 3, C2f, [1024, True]]- [-1, 1, SPPF, [1024, 5]]  # 9# YOLOv8.0n head
head:- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 6], 1, Concat, [1]]  # cat backbone P4- [-1, 3, C2f, [512]]  # 12- [-1, 1, GAM_Attention, [512,512]]- [-1, 1, nn.Upsample, [None, 2, 'nearest']]- [[-1, 4], 1, Concat, [1]]  # cat backbone P3- [-1, 3, C2f, [256]]  # 16 (P3/8-small)- [-1, 1, GAM_Attention, [256,256]]- [-1, 1, Conv, [256, 3, 2]]- [[-1, 12], 1, Concat, [1]]  # cat head P4- [-1, 3, C2f, [512]]  # 20 (P4/16-medium)- [-1, 1, GAM_Attention, [512,512]]- [-1, 1, Conv, [512, 3, 2]]- [[-1, 9], 1, Concat, [1]]  # cat head P5- [-1, 3, C2f, [1024]]  # 24 (P5/32-large)- [-1, 1, GAM_Attention, [1024,1024]]- [[17, 21, 25], 1, Detect, [nc]]  # Detect(P3, P4, P5)
ResBlock + Global Attention Mechanism

 原理和resnet一样

实验结果（供参考）

ResBlock + Convolutional Block Attention Module
Shuffle Attention

Efficient Channel Attention
Global Attention Mechanism

ResBlock + Global Attention Mechanism
定量比较（Precision/Recall/F1/mAP）

可论文指导--------->v jiabei-545
改进代码(失效+ v 👆)

链接: https://pan.baidu.com/s/1Fi7ghwJ6XiXrDDnoCvlvrQ?pwd=zk88 提取码: zk88 

欢迎大家在评论区进行讨论

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/702557.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

Django定时任务之django_apscheduler使用

Django定时任务之django_apscheduler使用

Django定时任务之django_apscheduler使用 今天在写一个任务需求时需要用到定时任务来做一部分数据处理与优化，于是在了解完现有方法，结合自己需求决定使用django_apscheduler，记录一下过程，有几篇值得参考的文章放在结尾&#xf…
阅读更多...
大数据构建知识图谱：从技术到实战的完整指南

大数据构建知识图谱：从技术到实战的完整指南

文章目录 大数据构建知识图谱：从技术到实战的完整指南一、概述二、知识图谱的基础理论定义与分类核心组成历史与发展 三、知识获取与预处理数据源选择数据清洗实体识别 四、知识表示方法知识表示模型RDFOWL属性图模型 本体构建关系提取与表示 五、知识图谱构建技术图…
阅读更多...
Java基础常见八股文学习总结1

Java基础常见八股文学习总结1

Java基础常见八股文学习总结1 SPI SPI 即 Service Provider Interface ，字面意思就是：“服务提供者的接口”，我的理解是：专门提供给服务提供者或者扩展框架功能的开发者去使用的一个接口。SPI 将服务接口和具体的服务实现分离开来…
阅读更多...
C语言中的数据结构选择与实现

C语言中的数据结构选择与实现

大家好，今天给大家介绍C语言中的数据结构选择与实现，文章末尾附有分享大家一个资料包，差不多150多G。里面学习内容、面经、项目都比较新也比较全！可进群免费领取。 一、引言 在C语言中，数据结构是实现高效算法的关键。…
阅读更多...
一个更好的IP工具箱MyIP

一个更好的IP工具箱MyIP

什么是 MyIP ？ MyIP 是一个完全开源的 IP 信息查看器，可以轻松检查你的 IP，IP 地理位置，检查 DNS 泄漏，检查 WebRTC 连接，速度测试，ping 测试，MTR 测试，检查网站可用性等…
阅读更多...
Codeforces Round 928 G. Vlad and Trouble at MIT

Codeforces Round 928 G. Vlad and Trouble at MIT

原题链接：Problem - G - Codeforces 题目大意：一颗树，一个n个节点，每个节点上有一种标记，共有三种标记分别是CSP，要求不能让P连接到S，断开一条边的代价为1，最少需要断开几条边&…
阅读更多...
docker 安装mysql8 实现互为主从

docker 安装mysql8 实现互为主从

目录结构 先按照这个目录结构创建。 mysql.conf 配置，mysql的基础可以在此添加 mysql配置 mysql-master下conf配置 [mysqld] # 设置服务器唯一标识号 server-id1 # 启用二进制日志 log-binmaster-bin # 指定需要复制的数据库 binlog-do-dbtest_db # 指定二进制日…
阅读更多...
软件游戏显示d3dx9_42.dll丢失的5种解决方法，快速解决dll问题

软件游戏显示d3dx9_42.dll丢失的5种解决方法，快速解决dll问题

当计算机系统中d3dx9_42.dll文件丢失时，可能会引发一系列运行问题和功能异常，具体表现形式多样且影响范围较广。首先，对于依赖于DirectX 9.0c版本的各类应用程序，尤其是部分经典的老款游戏，由于d3dx9_42.dll是其中不可…
阅读更多...
【Python】OpenCV-图片差异检测与标注

【Python】OpenCV-图片差异检测与标注

图片差异检测与标注 在图像处理领域中，检测两张图片之间的差异是一项重要的任务。本文将介绍一个使用OpenCV库进行图片差异检测的简单示例代码，并详细注释每个步骤。 1. 引言 图片差异检测是在两张图片之间寻找差异点或区域的过程。这项技术可用于监测…
阅读更多...
顺序表知识点——顺序表的增删查改

顺序表知识点——顺序表的增删查改

目录 准备文件 创建顺序表蓝图 顺序表初始化函数接口 顺序表的销毁函数接口 顺序表的打印函数接口 顺序表的插入函数接口 顺序表的删除函数接口 从本节开始， 复习数据结构。 空间复杂度还有时间复杂度之后利用例题学习。 这节先学习顺序表的增删查改。 首…
阅读更多...
LeetCode49 字母异位词分组

LeetCode49 字母异位词分组

LeetCode49 字母异位词分组 在这篇博客中，我们将探讨 LeetCode 上的一道经典算法问题：字母异位词分组。这个问题要求将给定的字符串数组中的字母异位词组合在一起，并以任意顺序返回结果列表。 问题描述 给定一个字符串数组 strs&#xff0…
阅读更多...
并发编程基础

并发编程基础

为什么开发中需要并发编程？ 加快响应用户的时间使你的代码模块化、异步化、简单化充分利用CPU资源 基础概念 进程和线程 进程 我们常听说的应用程序，由指令和数据组成。当我们不运行应用程序时，这些应用程序就是放在磁盘上的二进制的代码…
阅读更多...
【MATLAB】mlptdenoise信号分解+FFT傅里叶频谱变换组合算法

【MATLAB】mlptdenoise信号分解+FFT傅里叶频谱变换组合算法

有意向获取代码，请转文末观看代码获取方式~ 展示出图效果 1 mlptdenoise分解算法 MLPT denoise（Maximum Likelihood Parameter-Tuned Denoise）是一种基于小波变换的信号分解算法，它可以将信号分解为多个具有不同频率特性的小波分…
阅读更多...
LeetCode 2859.计算K置位下标对应元素的和

LeetCode 2859.计算K置位下标对应元素的和

给你一个下标从 0 开始的整数数组 nums 和一个整数 k 。 请你用整数形式返回 nums 中的特定元素之 和 ，这些特定元素满足：其对应下标的二进制表示中恰存在 k 个置位。 整数的二进制表示中的 1 就是这个整数的 置位 。 例如，21 的二进制表示…
阅读更多...
Threejs 实现3D影像地图，Json地图，地图下钻

Threejs 实现3D影像地图，Json地图，地图下钻

1.使用threejs实现3D影像地图效果，整体效果看起来还可以，底层抽象了基类，实现了通用，对任意省份，城市都可以只替换数据，即可轻松实现效果。 效果如下： 链接https://www.bilibili.com/video/BV1…
阅读更多...
Javascript 函数和对象

Javascript 函数和对象

【六】函数 函数（Function）是一种可重复使用的代码块，用于执行特定的任务或计算，并可以接受参数和返回值。 【1】函数声明 function functionName(parameter1, parameter2, ...) {// 函数体// 执行特定的任务或计算// 可以使用…
阅读更多...
H5/CSS 笔试面试考题（91-100）

H5/CSS 笔试面试考题（91-100）

简述div 元素的哪些 CSS 属性的默认值为 0 ( ) A：border-top-width B：outline-width C：padding-top D：margin-top 面试通过率：76.0% 推荐指数： ★★★ 试题难度： 初级 试题类型： 选择题 答案：c、d 简述下列关于背景定位属性 background-position 说法正确的是 ( ) A：…
阅读更多...
嵌入式学习笔记总结Day24

嵌入式学习笔记总结Day24

今天进入了下一个阶段的学习——进程与线程的学习 今天主要了解了进程的相关知识以及linux系统中对进程进行控制的一些函数接口 一、概念 程序:存放在外存中的一段数据组成的文件 进程：是一个程序动态执行的过程，包括进程的创建、进程的调度、进程的消…
阅读更多...
【人工智能高频面试题--基本篇】

【人工智能高频面试题--基本篇】

🚀 作者 ：“码上有前” 🚀 文章简介 ：人工智能高频面试题 🚀 欢迎小伙伴们 点赞👍、收藏⭐、留言💬 人工智能高频面试题--基本篇 1.深度学习和过往的神经网络训练方法有什么区别？列举…
阅读更多...
Linux互斥体的驱动程序测试

Linux互斥体的驱动程序测试

一. 简介 上一篇文章学习如何在驱动代码中使用互斥锁。文章地址如下： Linux内核中处理并发与竞争的互斥体的驱动实现-CSDN博客 本文对所实现的驱动进行测试。确定互斥锁是否实现对 Led设备的互斥访问，即一次只能一个应用程序访问Led设备。 二. Linux互斥体的驱动程序测试…
阅读更多...
最新文章

Copyright @ 2022~2023