YOLOv10(2):网络结构及其检测模型代码部分阅读

YOLOv10(1):初探,训练自己的数据-CSDN博客


 

目录

1. 写在前面

2. 局部模块

(1)SCDown

(2)C2fCIB

(3)PSA(partial self-attention)

3. 代码解读

(1)BaseModel(nn.Module)

(2)DetectionModel(BaseModel)

(3)YOLOv10DetectionModel(DetectionModel)

(4)拓展讲解:parse_model


1. 写在前面

        YOLOv10的代码结构和YOLOv8很相似,说是基于YOLOv8魔改的也不为过。话说回来,也算是魔改的非常成功的了。从代码工程上看,也是通过类一层层继承,获得一个完整的模型网络。

2. 局部模块

        YOLOv10使用了YOLOv8同样的C2f结构,在此就不多做解释了,在我的其他文章中均有讲解。

        本次着重在两个模块上做一下讲解,分别是SCDown、C2fCIB以及PSA。

        相关的代码在./ultralytics/nn/modules/block.py文件中。

(1)SCDown

        SCDown理解起来相对简单,只由两个卷积操作组成。第一个卷积操作主要实现了通道的转换,在YOLOv10中,第二个卷积操作测试通过k=3,s=2,p=1来实现两倍下采样。

(2)C2fCIB

        在讲C2fCIB之前,有必要带大家回顾一下C2f(还是简单回顾一下吧)。

        C2f一般被认为是C2 faster,即更快的C2操作。如下为C2f的网络结构示意图。

        C2fCIB就是将原来的Bottleneck换成了CIB模块,获得如下的结构。

        CIB是一个标准的Bottleneck结构,其结构示意图如下。需要说明的是,如下是一个典型图,采取了shortcut为True,lk为False作为前提。

(3)PSA(partial self-attention)

        YOLOv10引进了注意力机制,在PSA中,就集成了MHSA和FFN模块。

3. 代码解读

        要想了解代码工程是如何创建模型的,还得是多关注task.py文件。

        在此我们主要追随YOLOv10DetectionModel的脉络进行讲解,其他的网络构建过程基本类似。

(1)BaseModel(nn.Module)

        BaseModel,从名字上就能够理解,这是一个基类。BaseModel实际上是抽象出了一些共有成员,如forward,predict,loss等,这样在后面的派生类中,只需要将更细力度的功能进行完善,就可以调用这些共有的成员进行训练。

        多说一句,在面向对象编程中,不管是PyThon还是C++,都可以在基类中构造统一接口,之后通过在派生类中继承或重写,就可以实现统一的接口调用。

        在BaseModel中,我们着重关注_predict_once和fuse函数。

_predict_once

        _predict_once用于一次预测任务。

        第128行可以看出,是将输入x依次通过self.model中的module(m)进行运算(133行)。

        131行控制是否打印运行中的过程信息。

        135行控制可视化。

        137行控制返回嵌入特征数据。

fuse

        fuse操作主要是控制一些OP的融合,以128行为例,如果m为Conv,且m中含有BN层,那么就可以按照如下进行融合,以提升计算效率。

        以Conv+BN为例,我们都了解,卷积层(Conv)实际上是一个y = ax+b的过程。

        训练阶段,基本的操作包含两个部分。

        Conv: x=conv.weight*x+conv.bias

        BN: x=bn.\gamma *\frac{x_{i}-bn.mean}{\sqrt{bn.var+bn.\xi }}+bn.\beta

        其中,bn.mean为均值(对应nn.BatchNorm2d中的running_mean),bn.var为方差(对应nn.BatchNorm2d中的running_var),bn.\gammabn.\beta分别对应nn.BatchNorm2d中的weight和bias,bn.\varepsilon对应nn.BatchNorm2d中的eps。

        推理阶段,可将Conv和BN进行相应的合并计算,同时需要将参数进行重新的映射。具体如下。

        x=\frac{bn.\gamma*conv.weight}{\sqrt{bn.var+bn.\varepsilon }}*x+\frac{bn.\gamma *conv.bias}{\sqrt{bn.var+bn.\epsilon }}+bn.\beta

        如上,其中\frac{bn.\gamma*conv.weight}{\sqrt{bn.var+bn.\varepsilon}}组成了新的weight,\frac{bn.\gamma *conv.bias}{\sqrt{bn.var+bn.\epsilon }}+bn.\beta组成了新的bias。

(2)DetectionModel(BaseModel)

        DetectionModel继承自BaseModel。

        DetectionModel在初始化阶段主要执行三个操作,分别是定义模型,预计算参数以及初始化网络模型权重。

        290行到297行主要的工作就是定义模型。其中关键的是parse_model函数,一路走来研究YOLO算法的同学们一定不陌生,后续再和大家一起回顾一下。

        300行到311行则是计算stride信息,在执行模型输出解算的时候会用到。这其中实际上是构建了一组全0的数据,shape为(1, 3, 256, 256),通过调用forward接口,进而通过网络输出来计算不同支路的stride信息。

        314是进行参数的初始化。其中initialize_weights在torch_utils.py中定义。此处实际上仅仅是对BN层参数和激活层做简单的设置。其中作者还隐藏了使用nn.init.kaiming_normal_对卷积参数进行初始化。

(3)YOLOv10DetectionModel(DetectionModel)

        YOLOv10DetectionModel继承自DetectionModel,仅设置了Loss计算方式,此外啥也没做,啥都用DetectionModel的。

(4)拓展讲解:parse_model

        拓展重点放在模型的构建上。

        前面讲到,大家对parse_model应该是不陌生的。parse_model主要是读取网络配置文件,如yolov10m.yaml,来构建生成nn.Module类型的网络。

        以yolov10m.yaml为例,如下所示为文件内容。

        其中,nc表示类别数,这一参数会被数据定义中的相关类别数进行覆盖。具体是在./ultralytics/models/yolov10/train.py中的YOLOv10DetectionTrainer构件时,重载get_model接口时,nc使用了self.data[“nc”]。而self.data是在./ultralytics/engine/trainer.py中的BaseTrainer中,在初始化阶段调用check_det_dataset接口获得,具体操作室读取如VOC.yaml文件获得。

        scales则是模型大小的缩放。在以往的YOLO算法,如YOLOv5等,就开始提供不同尺度的网络模型,以适应不同的部署情况。因此scales就是用于将模型进行相应的缩放处理。

        以第一行的Conv为例,其中第一行内容为“-1, 1, Conv, [64, 3, 2]”四个参数。从如下的parse_model局部代码截图的851行可以看到,这四个参数实际上是代表了from, number, module和args。

        from表示输入来自哪一层,-1表示相邻的上一层。

        number表示模块的重复个数,如CSP结构中Bottleneck的数量。

        module表示模块类型,此处为Conv,卷积层。

        args则是表明了当前模型的输入参数。此处为输出channel为64,使用3*3的卷积核,stride为2。

        之后在如下代码段的889行计算输入、输出通道数。在898行组合完整的Conv层输入参数。

        最后在如下代码段的931构建nn.Module类型的模块,并在942行构建网络。

        好了,关于模型的相关知识就简单讲到这里,有什么问题大家私信我吧。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/20550.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

手把手教大家如何使用Kaggle平台的免费GPU资源跑深度学习模型

如果手头没有GPU资源是没法很好进行学习和实操各种深度学习模型的,所幸有一些平台提供了GPU资源供广大兴趣爱好者进行免费使用。 一、免费GPU资源的平台 1. Google Colab 地址:https://colab.research.google.com/ 简介:Google Colab&…

ssm_mysql_高校自习室预约系统(源码)

博主介绍:✌程序员徐师兄、8年大厂程序员经历。全网粉丝15w、csdn博客专家、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和毕业项目实战✌ 🍅文末获取源码联系🍅 👇🏻 精彩专栏推荐订阅👇…

思科防火墙配置内网地址 配置PAT 思科防火墙还是不能访问外网?

环境: 思科设备 frp2100 问题描述: 思科防火墙配置内网地址 配置PAT 思科防火墙还是不能访问外网? 解决方案: 要配置思科ASA防火墙以便内网用户可以访问外网,通常会使用PAT(端口地址转换),这里是一个基本的配置流程示例。请注意,以下步骤假定你已具备必要的网络知…

kubernetes之etcd基本操作

etcd常用操作 拷贝etcd命令行工具查看etcd集群节点查看etcd集群监控状态查看etcd集群节点状态查看etcd集群内的所有key查看etcd集群内对应key的valueetcd备份etcd恢复 拷贝etcd命令行工具 rootmaster2:~# find / -iname "etcdctl" /var/lib/docker/overlay2/70f2d53…

在mongodb5.0.11版本中创建用户和授权

目录 处理原因: 1、设定mongodb的环境变量 2、登录mongodb 3、使用admin库 4、创建 mongouser用户 5、更新 mongouser 可使用的库 6、创建 mongouser角色授权 7、更新root账号也可以使用 mongouser角色 处理原因: 在MongoDB中,root角…

throw和throws的区别是什么?

在Java编程语言中,throw和throws都是与异常处理相关的关键字,但它们在使用方式和作用上有着明显的区别。下面将从技术难点、面试官关注点、回答吸引力和代码举例四个方面来详细解释它们之间的区别。 一、技术难点 throw:throw关键字用于在程…

IDEA中,MybatisPlus整合Spring项目的基础用法

一、本文涉及的知识点【重点】 IDEA中使用MybatisPlus生成代码,并使用。 Spring整合了Mybatis框架后,开发变得方便了很多,然而,Mapper、Service和XML文件,在Spring开发中常常会重复地使用,每一次的创建、修…

关键主题汇编

用户使用双屏扩展桌面类软件时,所遇到的主要疑难问题汇编 https://exesoft.blog.csdn.net/article/details/43116867 知识竞赛现场管理系统安装配置及使用疑难问题汇编 https://exesoft.blog.csdn.net/article/details/53457491 关于知识竞赛现场管理系统内置的第三方答题平…

【杂记-浅谈XSS跨站脚本攻击】

一、什么是XSS? XSS,Cross-site Scripting,跨站脚本攻击,是一种典型的Web程序漏洞利用攻击,攻击者利用Web程序对用户输入检查不足的漏洞将可执行恶意脚本注入网站或Web应用,当用户访问网页时触发恶意脚本的…

App Web前端怎么开发:深入解析与开发实践

App Web前端怎么开发:深入解析与开发实践 在当今数字化时代,Web前端作为连接用户与应用程序的桥梁,其重要性不言而喻。对于想要涉足App Web前端开发的开发者而言,理解并掌握开发流程、技术栈以及最佳实践是至关重要的。本文将分四…

milvus向量数据库

Milvus 是一个开源的向量数据库,用于管理、搜索和分析高维向量数据。它特别适用于处理像图像、视频、音频和文本等非结构化数据。以下是关于 Milvus 向量数据库的详细介绍和入门教程。 ### Milvus 简介 Milvus 的主要特性包括: 1. **高性能**&#xf…

权限修饰符和代码块

一.权限修饰符 1.权限修饰符:是用来控制一个成员能够被访问的范围的。 2.可以修饰成员变量,方法,构造方法,内部类。 3.例子: public class Student {priviate String name;prviate int age;} 二.权限修饰符的分类 有四种作用范围大小…

自然语言处理中的RNN、LSTM、TextCNN和Transformer比较

引言 在自然语言处理(NLP)领域,理解和应用各种模型架构是必不可少的。本文将介绍几种常见的深度学习模型架构:RNN(循环神经网络)、LSTM(长短期记忆网络)、TextCNN(文本卷…

ubuntu下搭建Supervisor

sudo apt update #安装 sudo apt install supervisor#启动 supervisord 服务: sudo systemctl start supervisor#关闭 supervisord 服务 sudo systemctl stop supervisor#重启 supervisord 服务 sudo systemctl restart supervisor#设置 supervisord 开机自启 sudo …

详解寄存器模型reg_model的auto_predict

什么是reg_model镜像值? DUT的配置寄存器的值是实际值,reg_model有镜像值、期望值的概念。 镜像值:存放我们认为此时DUT里寄存器的实际值。 期望值:存放我们期望DUT寄存器被赋予的值。 什么是auto predict? 那么怎么更新reg…

安卓ANR检测、分析、优化面面谈

前言 一个引发讨论的楔子,以下三种现象有什么区别: App停止运行App暂无响应App闪退 答案: 产生原因不同:停止运行是UNCheckExceptionError暂无响应是ANRDialog闪退是CheckExceptionError 本文讨论的主题是ANR的定义、分类、复现…

Debian常用命令详细介绍

1. apt-get update:更新软件源列表 apt-get update命令用于更新系统中可用软件包的包列表。在Linux和类Unix操作系统中,软件包管理器(如APT)维护着一个包含可用软件包信息的列表,通常保存在系统的软件源中。通过运行a…

Three.js 中文Typeface文件字体大全 | 如何利用Github获取中文Typeface文件

Three.js中文3D字体在线示例 TextGeometry 和 TextBufferGeometry 是用于生成3D文本的有效工具。 在使用这些工具时,我们需要指定一个包含字体信息的 JSON 文件,称为 typeface.json。 Github 搜索结果 通过在 GitHub 上搜索 TextBufferGeometry 的相…

内核注入DLL,支持注入PPL

这是我的个人项目,目前功能: 内核注入DLL到进程,支持注入PPL进程,可绕过任意代码卫士保护,签名校验。内核调用应用层任意函数,支持常见的调用约定。 后续可能会增加: 代码注入 Rookit和Anti-…

E. 矩阵第k大

看到这句话,其中任意两个数都不能在同一行或者同一列 经典的网络流/匈牙利 由于小白看不懂网络流 (其实是我不会) ,不妨就讲讲匈牙利 匈牙利算法 前置知识: 二分图 匈牙利(是个人)算法是二分…