一种基于YOLOv8改进的高精度红外小目标检测算法 (原创自研)

💡💡💡本文摘要:一种基于YOLOv8改进的高精度小目标检测算法, 在红外小目标检测任务中实现暴力涨点;

💡💡💡创新点:

1)SPD-Conv特别是在处理低分辨率图像和小物体等更困难的任务时优势明显;

2)引入Wasserstein Distance Loss提升小目标检测能力;

3)YOLOv8中的Conv用cvpr2024中的DynamicConv代替;

原创组合创新,可直接使用至其他小目标检测任务;

💡💡💡实验结果:在红外小目标检测任务中mAP由原始的0.755 提升至0.901

  博主简介

AI小怪兽,YOLO骨灰级玩家,1)YOLOv5、v7、v8、v9优化创新,轻松涨点和模型轻量化;2)目标检测、语义分割、OCR、分类等技术孵化,赋能智能制造,工业项目落地经验丰富;

原创自研系列, 2024年计算机视觉顶会创新点

《YOLOv8原创自研》

《YOLOv5原创自研》

《YOLOv7原创自研》

《YOLOv9魔术师》

23年最火系列,内涵80+优化改进篇,涨点小能手,助力科研,好评率极高

《YOLOv8魔术师》

 《YOLOv7魔术师》

《YOLOv5/YOLOv7魔术师》

《RT-DETR魔术师》

应用系列篇:

《YOLO小目标检测》

《深度学习工业缺陷检测》

《YOLOv8-Pose关键点检测》

1.小目标检测介绍

1.1 小目标定义

1)以物体检测领域的通用数据集COCO物体定义为例,小目标是指小于32×32个像素点(中物体是指32*32-96*96,大物体是指大于96*96);
2)在实际应用场景中,通常更倾向于使用相对于原图的比例来定义:物体标注框的长宽乘积,除以整个图像的长宽乘积,再开根号,如果结果小于3%,就称之为小目标;

1.2 难点

1)包含小目标的样本数量较少,这样潜在的让目标检测模型更关注中大目标的检测;

2)由小目标覆盖的区域更小,这样小目标的位置会缺少多样性。我们推测这使得小目标检测的在验证时的通用性变得很难;

3)anchor难匹配问题。这主要针对anchor-based方法,由于小目标的gt box和anchor都很小,anchor和gt box稍微产生偏移,IoU就变得很低,导致很容易被网络判断为negative sample;

4)它们不仅仅是小,而且是难,存在不同程度的遮挡、模糊、不完整现象;

等等难点

参考论文:小目标检测研究进展  

2. 小目标数据集

数据集下载地址:GitHub - YimianDai/sirst: A dataset constructed for single-frame infrared small target detection

Single-frame InfraRed Small Target 

数据集大小:427张,进行3倍数据增强得到1708张,最终训练集验证集测试集随机分配为8:1:1

 3.一种基于YOLOv8改进的高精度小目标检测算法 

1)SPD-Conv特别是在处理低分辨率图像和小物体等更困难的任务时优势明显

2)引入Wasserstein Distance Loss提升小目标检测能力

3)YOLOv8中的Conv用cvpr2024中的DynamicConv代替

YOLOv8_SPD-DynamicConv summary (fused): 199 layers, 5181707 parameters, 0 gradients, 32.2 GFLOPsClass     Images  Instances      Box(P          R      mAP50  mAP50-95): 100%|██████████| 6/6 [00:15<00:00,  2.58s/it]all        171        199      0.929      0.854      0.901      0.623

3.1  loss优化

Wasserstein Distance Loss

1)分析了 IoU 对微小物体位置偏差的敏感性,并提出 NWD 作为衡量两个边界框之间相似性的更好指标;

2)通过将NWD 应用于基于锚的检测器中的标签分配、NMS 和损失函数来设计强大的微小物体检测器;

3)提出的 NWD 可以显着提高流行的基于锚的检测器的 TOD 性能,它在 AI-TOD 数据集上的 Faster R-CNN 上实现了从 11.1% 到 17.6% 的性能提升;
 

​​

Wasserstein Distance Loss |   亲测在红外弱小目标检测涨点明显,map@0.5 从0.755提升至0.784 

Yolov8红外弱小目标检测(2):Wasserstein Distance Loss,助力小目标涨点_AI小怪兽的博客-CSDN博客

layers parametersGFLOPskb mAP50
yolov816830058438.161030.755
Wasserstein loss16830058438.161030.784

3.2  SPD-Conv

SPD-Conv由一个空间到深度(SPD)层和一个无卷积步长(Conv)层组成,可以应用于大多数CNN体系结构。我们从两个最具代表性的计算即使觉任务:目标检测和图像分类来解释这个新设计。然后,我们将SPD-Conv应用于YOLOv5和ResNet,创建了新的CNN架构,并通过经验证明,我们的方法明显优于最先进的深度学习模型,特别是在处理低分辨率图像和小物体等更困难的任务时。
​​

Yolov8红外弱小目标检测(4):SPD-Conv,低分辨率图像和小物体涨点明显_AI小怪兽的博客-CSDN博客

SPD-Conv |   亲测在红外弱小目标检测涨点明显,map@0.5 从0.755提升至0.875

layers parametersGFLOPskb mAP50
yolov816830058438.161030.755
yolov8_SPD174359873949.273940.875

3.3  DynamicConv

论文: https://arxiv.org/pdf/2306.14525v2.pdf

摘要:大规模视觉预训练显著提高了大型视觉模型的性能。然而,我们观察到低FLOPs的缺陷,即现有的低FLOPs模型不能从大规模的预训练中获益。在本文中,我们引入了一种新的设计原则,称为ParameterNet,旨在增加大规模视觉预训练模型中的参数数量,同时最小化FLOPs的增加。我们利用动态卷积将额外的参数合并到网络中,而FLOPs仅略有上升。ParameterNet方法允许低flops网络利用大规模视觉预训练。此外,我们将参数网的概念扩展到语言领域,在保持推理速度的同时增强推理结果。在大规模ImageNet-22K上的实验证明了该方案的优越性。例如ParameterNet-600M可以在ImageNet上实现比广泛使用的Swin Transformer更高的精度(81.6%对80.9%),并且具有更低的FLOPs (0.6G对4.5G)。在语言领域,使用ParameterNet增强的LLaMA- 1b比普通LLaMA准确率提高了2%

YOLOv8轻量化涨点改进: 卷积魔改 | DynamicConv | CVPR2024 ParameterNet,低计算量小模型也能从视觉大规模预训练中获益-CSDN博客

4.源码获取

关注下方名片点击关注,即可源码获取途径。  

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/5266.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Spring中实现策略模式的几种方式

Spring中实现策略模式的几种方式 一.背景 在写业务代码的时候&#xff0c;难免会遇到很多if-else&#xff0c;这个时候如果if-else不是很多可以用if-else。如果此时场景过多&#xff0c;太多的if-else会导致代码比较臃肿&#xff0c;所以这个时候就需要抽象化&#xff0c;将每…

Git分支策略与工作流

Git分支策略与工作流 - GitFlow工作流介绍 GitFlow工作流是一种在软件开发中广泛使用的Git分支策略和工作流。它在2010年由Vincent Driessen提出&#xff0c;并在开源社区中广泛接受和采用。 GitFlow工作流使用两个主要分支——master和develop。master分支用于发布稳定的版…

WebGL开发框架对比

WebGL开发框架提供了一套丰富的工具和API&#xff0c;使得在Web浏览器中创建和操作3D图形变得更加容易。以下是一些流行的WebGL开发框架及其各自的优缺点&#xff0c;选择哪个框架取决于项目的具体需求、团队的技术背景以及对特定特性的偏好。例如&#xff0c;如果你需要一个强…

04.17_111期_C++_继承多态_虚表

如果想实现不同的类的对象调用不同的虚函数 可以通过 协变 这种形式 在父类Person中的虚函数的返回值 的数据类型是一个 父类&#xff08;任意一个父类σ就行&#xff09; 在子类Student中的虚函数的返回值 的数据类型是一个 继承了σ的子类 class Student : public …

Maven基础使用

第一章> 1、配置阿里云 2、搭建私服 **************************************************************************************************************************************************************************** 1、Maven仓库指向阿里云 #&#xff08;1&…

公文写作笔记

标题 最后一行的日期&#xff0c;后边占4个格子。两个数字占一格。落款单位在日期的正上方。 格式积累 内容&#xff1a; ①开头&#xff1a;缘由 ②主题&#xff1a;对策&#xff08;别人做得好&#xff0c;就借鉴&#xff09; ③结尾&#xff1a;简单的总结&#xff08;字…

Qt :浅谈在大型项目中使用信号管理器

一、引言 在大型的Qt项目中,我们往往涉及到很多不同类型的对象之间通信交互,这时候,仍旧采用小项目使用的哪里使用,哪里关联的方法,在复杂的场景下将是无穷无尽的折磨。 下面我们给出一种苦难的场景。 class A: public QObject {Q_OBJECT public:A(QObject *parent = nu…

Go 语言(三)【面向对象编程】

1、OOP 首先&#xff0c;Go 语言并不是面向对象的语言&#xff0c;只是可以通过一些方法来模拟面向对象。 1.1、封装 Go 语言是通过结构体&#xff08;struct&#xff09;来实现封装的。 1.2、继承 继承主要由下面这三种方式实现&#xff1a; 1.2.1、嵌套匿名字段 //Add…

在ADS中进行稳定性分析的严格方法-使用返回差与策动点阻抗

在ADS中进行稳定性分析的严格方法-使用返回差与策动点阻抗 在ADS中进行稳定性分析&#xff08;以避免K稳定性因子的局限性&#xff09;-理论部分中介绍了奈奎斯特图的基本原理和判定方法&#xff0c;并在ADS中举例稳定和不稳定的例子。 在在ADS中进行稳定性分析的多种理论方法…

基于SpringBoot的“在线BLOG网”的设计与实现(源码+数据库+文档+PPT)

基于SpringBoot的“在线BLOG网”的设计与实现&#xff08;源码数据库文档PPT) 开发语言&#xff1a;Java 数据库&#xff1a;MySQL 技术&#xff1a;SpringBoot 工具&#xff1a;IDEA/Ecilpse、Navicat、Maven 系统展示 在线BLOG网结构功能图 管理员登录功能界面 用户信息…

mysql binlog入门

binlog 什么是binlog binlg记录了所有的表结构变更&#xff08;CREATE、ALTER TABLE…&#xff09;以及表数据修改&#xff08;INSERT、UPDATE、DELETE…&#xff09;&#xff0c;以事件形式记录&#xff0c;还包含语句所执行的消耗的时间。 简单的说就是&#xff0c;只要对…

call 和 apply

call() 和 apply() 方法在功能上是类似的&#xff0c;它们都用于调用函数并指定函数执行时的上下文&#xff08;即 this 的值&#xff09;&#xff0c;但它们的参数传递方式略有不同&#xff1a; call() 方法&#xff1a;接受一个参数列表&#xff0c;第一个参数是要绑定给函数…

Java Spring 中的声明式事务管理

Spring框架中的声明式事务管理是一种非编程式的事务管理方式&#xff0c;它允许开发者通过配置而非编程的方式来管理事务。这种方式使得事务管理与业务逻辑解耦&#xff0c;提高了代码的可读性和可维护性。 在Spring中&#xff0c;声明式事务管理主要依赖于AOP&#xff08;面向…

Grafana 添加一台管理服务器

1、修改prometheus.yml 添加新服务器信息 2、重启pro 3、导入node文件 4、启动node 5、检验数据

大话人工智能之训练数据集

1.训练集(Training Set) 用于训练模型的数据集。训练集用来训练模型&#xff0c;拟合出数据分布规律&#xff0c;即确定模型的权重和偏置等参数&#xff0c;这些参数称为学习参数。 训练集使用多次确定模型权重、偏置等学习参数训练出&#xff08;学习出&#xff09;模型通常情…

拓云启航 移动云全网型经销渠道合作伙伴火热招募

2024年4月28日至29日&#xff0c;2024中国移动算力网络大会在苏州召开。28 日下午大会主论坛现场&#xff0c;中国移动发布移动云全新万象算力网络生态合作计划&#xff0c;加速算力网络新质生产力落地。后续&#xff0c;移动云将依托“拓云计划”&#xff0c;招募超万家渠道伙…

华为配置mDNS网关示例(AP与AC间二层转发)

华为配置mDNS网关示例&#xff08;AP与AC间二层转发&#xff09; 组网图形 图1 配置mDNS网关组网图 组网需求配置思路操作步骤配置文件 组网需求 如图1所示&#xff0c;某企业的移动终端通过WLAN连接网络&#xff0c;AP_1和AP_2分别与AC之间采用二层转发。部门1和部门2分别属…

用Python Turtle画一个中国结

中国结&#xff0c;作为中华民族传统文化的象征之一&#xff0c;以其独特的编织技艺和深厚的文化内涵&#xff0c;深受人们喜爱。今天&#xff0c;我们就来用Python的turtle模块&#xff0c;尝试绘制一个充满韵味的中国结。 我们先来看看整个中国结生成的过程&#xff1a; 中国…

2024年,如何实现高效的自动化渗透测试?

随着当前网络安全威胁的不断扩展与升级&#xff0c;开展渗透测试工作已经成为广大企业组织主动识别安全漏洞与潜在风险的关键过程。然而&#xff0c;传统的人工渗透测试模式对测试人员的专业能力和经验水平有很高的要求&#xff0c;企业需要投入较大的时间和资源才能完成。在此…

springboot3使用spring-boot-maven-plugin插件打包后找不到主类问题

打包后的jar很小只有几十K 修改plugin为以下内容 <plugin><groupId>org.springframework.boot</groupId><artifactId>spring-boot-maven-plugin</artifactId><executions><execution><goals><goal>repackage</goal&…