YOLOv8的目标对象的分类,分割,跟踪和姿态估计的多任务检测实践(Netron模型可视化)

YOLOv8是目前最新版本,在以前YOLO版本基础上建立并加入了一些新的功能,以进一步提高性能和灵活性,是目前最先进的模型。YOLOv8旨在快速,准确,易于使用,使其成为广泛的目标检测和跟踪,实例分割,图像分类和姿态估计任务的绝佳选择。

1、安装YOLOv8

YOLOv8的安装条件

Python>=3.8
PyTorch>=1.7 

安装参考方法:

conda create -n yolov8torch python=3.8
activate yolov8torch
#进入到环境之后,克隆下来进行安装
git clone https://github.com/ultralytics/ultralytics
cd ultralytics
pip install -e .

或者直接pip安装(推荐) 

pip install ultralytics -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

安装完了之后,我们pip list查看下包的情况:

 

可以看到默认安装的这个torch2.0.1版本,对应的torchvision0.15.2版本,这个跟上一节的YOLOv5的

torch               1.9.0+cu111
torchvision         0.10.0+cu111

版本升级了,torch从1.9到2.0,torchvision也从0.1到0.15

2、YOLO一些命令

2.1、yolo help

一些如何使用的帮助信息:

    Arguments received: ['yolo', 'help']. Ultralytics 'yolo' commands use the following syntax:

        yolo TASK MODE ARGS

        Where   TASK (optional) is one of ('detect', 'segment', 'classify', 'pose')
                MODE (required) is one of ('train', 'val', 'predict', 'export', 'track', 'benchmark')
                ARGS (optional) are any number of custom 'arg=value' pairs like 'imgsz=320' that override defaults.
                    See all ARGS at https://docs.ultralytics.com/usage/cfg or with 'yolo cfg'

    1. Train a detection model for 10 epochs with an initial learning_rate of 0.01
        yolo train data=coco128.yaml model=yolov8n.pt epochs=10 lr0=0.01

    2. Predict a YouTube video using a pretrained segmentation model at image size 320:
        yolo predict model=yolov8n-seg.pt source='https://youtu.be/Zgi9g1ksQHc' imgsz=320

    3. Val a pretrained detection model at batch-size 1 and image size 640:
        yolo val model=yolov8n.pt data=coco128.yaml batch=1 imgsz=640

    4. Export a YOLOv8n classification model to ONNX format at image size 224 by 128 (no TASK required)
        yolo export model=yolov8n-cls.pt format=onnx imgsz=224,128

    5. Run special commands:
        yolo help
        yolo checks
        yolo version
        yolo settings
        yolo copy-cfg
        yolo cfg

    Docs: https://docs.ultralytics.com
    Community: https://community.ultralytics.com
    GitHub: https://github.com/ultralytics/ultralytics

2.2、yolo checks

安装的信息和本地CPU,内存和硬盘情况

Ultralytics YOLOv8.0.121  Python-3.8.16 torch-2.0.1+cpu CPU
Setup complete  (4 CPUs, 16.0 GB RAM, 128.4/152.1 GB disk)

2.3、yolo version

当前的YOLO版本

8.0.121

2.4、yolo settings

一些设置信息

Printing 'C:\Users\Tony\AppData\Roaming\Ultralytics\settings.yaml'

datasets_dir: C:\Users\Tony\datasets
weights_dir: weights
runs_dir: runs
uuid: 6d4f9bb21b7de61b6e347095d24af1791873a87c908b54735ad4c38b58d6e67d
sync: true
api_key: ''
settings_version: 0.0.3

2.5、yolo copy-cfg和yolo cfg

yolo copy-cfg拷贝模型配置文件

D:\Anaconda3\envs\yolov8torch\Lib\site-packages\ultralytics\yolo\cfg\default.yaml copied to C:\Users\Tony\ultralytics\default_copy.yaml
Example YOLO command with this new custom cfg:
    yolo cfg='C:\Users\Tony\ultralytics\default_copy.yaml' imgsz=320 batch=8

yolo cfg直接查看或者打开.yaml文件也可以查看,里面是一些模型相关信息配置和参数等设置

3、运行YOLOv8

3.1、检测图片

安装好了之后,我们来检测下模型:

yolo predict model=yolov8n.pt source='https://tenfei03.cfp.cn/creative/vcg/veer/1600water/veer-327742747.jpg'

其中yolov8n.pt的权重参数文件,对于不能科学上网的朋友或者下载速度特别慢,我也上传到了CSDN,可以点击下载:
yolov8n.pt和yolov8n-seg.pt权重参数文件
下载好了之后,放入到ultralytics目录即可:

Ultralytics YOLOv8.0.121  Python-3.8.16 torch-2.0.1+cpu CPU
YOLOv8n summary (fused): 168 layers, 3151904 parameters, 0 gradients

Downloading https:\tenfei03.cfp.cn\creative\vcg\veer\1600water\veer-327742747.jpg to veer-327742747.jpg...
100%|███████████████████████████████████████████████████████████████████████████████| 348k/348k [00:00<00:00, 3.73MB/s]
image 1/1 C:\Users\Tony\ultralytics\veer-327742747.jpg: 448x640 4 persons, 124.0ms
Speed: 4.0ms preprocess, 124.0ms inference, 3.0ms postprocess per image at shape (1, 3, 640, 640)
Results saved to runs\detect\predict

检测的图片在runs\detect\predict目录里面,如下图:

3.2、检测视频 

同样的也可以检测视频:

yolo predict model=yolov8n-seg.pt source='https://youtu.be/Zgi9g1ksQHc' imgsz=320
https://www.youtube.com/watch?v=au9k1QRTPlw

这里是油管的4分33秒时长的视频,需要科学上网,其中的权重参数文件yolov8n-seg.pt一起放在上面那个下载地址。

3.3、错误处理

处理视频的时候,不出意外这里出现缺失模块:ModuleNotFoundError: No module named 'pafy'

pafy是一个用于下载油管视频内容和检索元数据的Python库

pip install pafy -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
更多详情可以查阅:https://pythonhosted.org/pafy/ 

ImportError: pafy: youtube-dl not found; you can use the internal backend by setting the environmental variable PAFY_BACKEND to "internal". It is not enabled by default because it is not as well maintained as the youtube-dl backend.
ModuleNotFoundError: No module named 'youtube_dl'

还需要安装一个对油管视频操作的库youtube_dl:

pip install youtube_dl -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

安装这两个库之后,可以先查看下是否成功

import pafy
dir(pafy)#['GdataError', '__author__', '__builtins__', '__cached__', '__doc__', '__file__', '__license__', '__loader__', '__name__', '__package__', '__path__', '__spec__', '__version__', 'backend', 'backend_shared', 'call_gdata', 'channel', 'dump_cache', 'g', 'get_categoryname', 'get_channel', 'get_playlist', 'get_playlist2', 'load_cache', 'new', 'pafy', 'playlist', 'set_api_key', 'util']

youtube-dl --help

也正常显示出这个库的用法。再来测试下:

youtube_dl.utils.RegexNotFoundError: Unable to extract uploader id; please report this issue on https://yt-dl.org/bug . Make sure you are using the latest version; see  https://yt-dl.org/update  on how to update. Be sure to call youtube-dl with the --verbose flag and include its complete output.

ERROR: Unable to extract uploader id; please report this issue on https://yt-dl.org/bug . Make sure you are using the latest version; see  https://yt-dl.org/update  on how to update. Be sure to call youtube-dl with the --verbose flag and include its complete output.

查看版本:

youtube-dl --version 或者 youtube_dl.version.__version__
'2021.12.17'
还以为是版本低了的缘故,于是进行升级
pip install --upgrade youtube_dl
但是发现问题不在这,这个就是最新版本,哈哈  

直接下载试下:youtube-dl --list-formats https://www.youtube.com/watch?v=au9k1QRTPlw

依然报错:

ERROR: Unable to extract uploader id; please report this issue on https://yt-dl.org/bug . Make sure you are using the latest version; see  https://yt-dl.org/update  on how to update. Be sure to call youtube-dl with the --verbose flag and include its complete output.

 然后加一个 --verbose 参数看下具体错误,如图:

编码问题,于是将系统编码按上图步骤进行修改,之后,出现新的问题:

Fatal Python error: Py_Initialize: can't initialize sys standard streams
LookupError: unknown encoding: 65001

Current thread 0x000027b8 (most recent call first):
Fatal Python error: Py_Initialize: can't initialize sys standard streams
LookupError: unknown encoding: 65001

Current thread 0x00002da0 (most recent call first):
Fatal Python error: Py_Initialize: can't initialize sys standard streams
LookupError: unknown encoding: 65001

Current thread 0x0000098c (most recent call first):

这整的编码造成不能初始化了,哈哈,然后修改回来,使用一个临时的编码修改来试下:

chcp 65001

这样就将默认的936修改成了65001,也就是中文变UTF-8,再来看下会不会成功:
Encodings: locale cp936, fs utf-8, out utf-8, pref cp936
什么鬼,编码还是没有变化啊。恩,想想也对,这个也只是在当前的命令行界面是更改过的编码。

————————————————————————————————
看来这个问题只能暂时搁置了,有解决办法的大佬欢迎留言,感谢!

4、JupyterLab中操作

上面是在命令行中操作,很多时候在JupyterLab操作还是要方便直观很多。 

列出在JupyterLab中的核心:jupyter kernelspec list
删除不需要的:jupyter kernelspec remove xxx

activate yolov8torch
conda install -c conda-forge jupyterlab
conda install ipykernel
python -m ipykernel install --user --name=yolov8torch --display-name yolov8torch

代码如下:

from ultralytics import YOLO#加载模型
model = YOLO("yolov8n.yaml") 
model = YOLO("yolov8n.pt")#若没有,将会下载coco128数据集(datasets\coco128下面的图片与标签)
model.train(data="coco128.yaml", epochs=3)
#在验证集上评估模型性能
metrics = model.val()
#预测
results = model("https://tenfei03.cfp.cn/creative/vcg/veer/1600water/veer-327742747.jpg")
#将模型导出为ONNX格式的
path = model.export(format="onnx")

训练速度还是很快的,然后将会在runs\detect检测目录下面生成trainval的训练和验证的目录,里面有一些训练和验证的图片、权重文件、损失函数等可视化图片,比如说验证的其中一张:

其中需要转换成onnx格式的模型文件,所以需要安装onnx
pip install onnx -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com
将会生成在\runs\detect\train\weights目录

上面生成的onnx文件可以在 https://netron.app/ 这个站点上传,将显示整个模型的流程图和一些属性等,还可以导出,比如我将上面生成的best.onnx文件上传之后,生成的图,截图如下:

5、其他任务

当然除了上面的检测任务之外,还可以将里面的对象进行分类,分割,跟踪和姿态估计这样的任务。

5.1、分类任务

分类是最简单的一种,只需要检测里面的对象即可,不需要指定位置等情况

from ultralytics import YOLO#加载分类模型(可以是官方给定模型,也可以是训练之后的模型)
model = YOLO('yolov8n-cls.yaml')
model = YOLO('yolov8n-cls.pt')
model = YOLO('yolov8n-cls.yaml').load('yolov8n-cls.pt')
#训练模型,数据集为MNIST
model.train(data='mnist160', epochs=100, imgsz=64)
results = model("https://alifei02.cfp.cn/creative/vcg/veer/1600water/veer-451045761.jpg")

训练之后的结果在ultralytics\runs\classify目录里面。

其中权重参数文件和MNIST手写数字数据集(每个类8张图片,训练和测试总计160张),也为了方便大家,上传在CSDN,可以点击下载:数据集与权重参数文件
下载好的权重参数文件放在ultralytics当前项目里面,数据集放在上个目录的datasets中,解压之后为datasets\mnist160

命令行同样跟上面检测命令一样,这里是分类,然后指定预训练模型为分类,数据集这里选择imagenet100,对于不方便下载的朋友,也包含在上面的下载中

yolo task=classify mode=predict model=yolov8n-cls.pt data=imagenet100 source='https://alifei02.cfp.cn/creative/vcg/veer/1600water/veer-451045761.jpg'

分类如图:

5.2、分割任务

对于实例分割是在检测的基础上做的改进,除了识别对象之外,还要知道对象的确切形状,好进行分割。我们来看下分割的情况,当然官方给出的例子是COCO数据集,这个都没关系,我这里依然使用imagenet100数据集

yolo task=segment mode=predict model=yolov8n-seg.pt data=imagenet100 source='https://alifei02.cfp.cn/creative/vcg/veer/1600water/veer-451045761.jpg'

分割如图:

5.3、姿态估计

姿态估计可以识别图像中对象上关键点的位置,关键点可以代表物体的各个部分,如关节、地标或其他显著特征。关键点的位置通常表示为一组二维[x, y]三维[x, y,visible]坐标。
姿态估计模型的输出是一组点,这些点代表图像中物体上的关键点,通常还有每个点的置信度分数。当你需要识别场景中物体的特定部分,以及它们彼此之间的位置时,姿势估计是一个很好的选择。

yolo task=pose mode=predict model=yolov8n-pose.pt data=imagenet100 source='https://alifei02.cfp.cn/creative/vcg/veer/1600water/veer-451045761.jpg'

姿态估计如图:

这些官方的.pt权重参数文件都保存在上面的一个下载地址中,当然也是可以自己训练得到pt权重文件,然后加载训练出来的权重文件,比如train\weights里面的best.pt,如果对于下载特慢或有需求的可以下载试试,体验下最新版本的YOLO。

引用来源
github:https://github.com/ultralytics/ultralytics

 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/1524.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

模拟行走机器人-python

leetcode第874题 链接https://leetcode.cn/problems/walking-robot-simulation 机器人在一个无限大小的 XY 网格平面上行走&#xff0c;从点 (0, 0) 处开始出发&#xff0c;面向北方。该机器人可以接收以下三种类型的命令 commands &#xff1a; -2 &#xff1a;向左转 90 度…

前端晋升答辩-性能优化篇范式

本文力争为你参加晋升答辩时&#xff0c;提供一个论述性能优化相关工作的范式。简单点儿来说&#xff0c;就是按照这个范式文来准备、阐述&#xff0c;就可以博得晋升评委的认可与喜爱。 痴迷写页面UI的前端千篇一律&#xff0c;懂得量化收益的前端万里挑一。 现在已经不是刀…

C++--list简单实现

1.什么是list list是CSTL容器中的一部分&#xff0c;list是带头双向链表&#xff0c;list的作用是它可以存储数据&#xff0c;头删尾删的时间复杂度为O(1),但不支持随机访问。list与forward_list非常相似&#xff1a;最主要的不同在于forward_list是单链表&#xff0c;只能朝前…

vue2与vue3—引入echarts以及使用

安装echarts npm install echarts --save vue2中的引入与使用 main.js中 import { createApp } from vue import * as echarts from echarts //主要代码 import App from ./App.vue const app createApp(App) app.mount(#app) vue组件中 <div id"myChart"…

微信小程序音乐播放功能代码

咱就是话不多说直接上代码&#xff0c;不让亲戚老爷们苦等。 首先&#xff0c;在你的小程序页面的js文件中&#xff0c;定义音乐播放相关的数据和方法&#xff1a; Page({data: {isPlaying: false,audioContext: null},onLoad: function () {// 创建音频上下文this.setData({au…

Hadoop——大数据生态体系详解

一.大数据概论 1.1 大数据概念 大数据&#xff08;big data&#xff09;&#xff1a;指无法在一定时间范围内用常规软件工具进行捕捉、管理 和处理的数据集合&#xff0c;是需要新处理模式才能具有更强的决策力、洞察发现力和流程 优化能力的海量、高增长率和多样化的信息资产…

【无标题】使用html2canvas和jspdf生成的pdf在不同大小的屏幕下文字大小不一样

问题&#xff1a;使用html2canvas和jspdf生成的pdf在不同大小的屏幕下文字大小不一样&#xff0c;在mac下&#xff0c;一切正常&#xff0c;看起来很舒服&#xff0c;但是当我把页面放在扩展屏幕下&#xff08;27寸&#xff09;&#xff0c;再生成一个pdf&#xff0c;虽然排版一…

ARM Coresight 系列文章 8 - ARM Coresight 通过 APBIC 级联使用

文章目录 APBIC 回顾APBIC 级联 上篇文章&#xff1a;ARM Coresight 系列文章 7 - ARM Coresight 通过 AHB-AP 访问 异构 cpu 内部 coresight 组件 APBIC 回顾 APBIC 可以连接一个或者多个APB BUS masters&#xff0c; 例如连接一个 APB-AP 组件和带有 APB 接口的 Processor&…

js几种打印方法的几种方法

方法一&#xff1a;使用printJs库实现打印功能 1. 引入插件&#xff1a; 首先&#xff0c;在您的 HTML 文件中引入printJs库。可以通过在<head>标签中添加以下代码来引入库文件&#xff1a; <script src"https://printjs-4de6.kxcdn.com/print.min.js"&g…

【C++】STL——vector的使用、 vector增删查改函数的介绍和使用、push_back和pop_back、operator[]

文章目录 1.vector的使用2.vector的增删查改&#xff08;1&#xff09;push_back 尾插&#xff08;2&#xff09;pop_back 尾删&#xff08;3&#xff09;find 查找&#xff08;4&#xff09;insert 在position之前插入val &#xff08;5&#xff09;erase 删除指定位置的数据&…

【云原生】Kubernetes工作负载-Deployment

Deployments 一个 Deployment 为 Pod 和 ReplicaSet 提供声明式的更新能力 你负责描述 Deployment 中的目标状态&#xff0c;而 Deployment 控制器&#xff08;Controller&#xff09; 以受控速率更改实际状态&#xff0c; 使其变为期望状态。你可以定义 Deployment 以创建新…

李飞飞计算机视觉k-Nearest Neighbor

1.思路 给计算机很多数据&#xff0c;然后实现学习算法&#xff0c;让计算机学习到每个类的外形 输入&#xff1a;输入是包含N个图像的集合&#xff0c;每个图像的标签是K种分类标签中的一种。这个集合称为训练集。 学习&#xff1a;这一步的任务是使用训练集来学习每个类到底…

手搓GPT系列之 - 通过理解LSTM的反向传播过程,理解LSTM解决梯度消失的原理 - 逐条解释LSTM创始论文全部推导公式,配超多图帮助理解(中篇)

近期因俗事缠身&#xff0c;《通过理解LSTM的反向传播过程&#xff0c;理解LSTM解决梯度消失的原理 - 逐条解释LSTM创始论文全部推导公式&#xff0c;配超多图帮助理解》的中下篇鸽了实在太久有些不好意思了。为了避免烂尾&#xff0c;还是抽时间补上&#xff08;上篇在此&…

带你用Python制作7个程序,让你感受到端午节的快乐

名字:阿玥的小东东 学习:Python、C/C++ 主页链接:阿玥的小东东的博客_CSDN博客-python&&c++高级知识,过年必备,C/C++知识讲解领域博主 目录 前言 程序1:制作粽子

Redis与其他数据库和缓存服务器的区别

名称类型数据类型查询类型附加功能Redis使用内存存储的非关系型数据库字符串、列表、集合、散列表、有序集合每种数据类型都有自己的专属命令&#xff0c;另外还有批量操作&#xff08;bulk operation&#xff09;和不完全&#xff08;partial&#xff09;的事务支持发布与订阅…

dede会员中心投稿编辑器修改成纯文字投稿方式

在我们后台发布文章的时候往往需要加入HTML或css以及php等语言的代码&#xff0c;若是单独发的话&#xff0c;没有颜色的区分&#xff0c;并且人看观看的效果也不是很好&#xff0c;所以需要实现后台能编辑语言代码的&#xff0c;之前我们处理了织梦后台的编辑器&#xff0c;现…

Spring Boot进阶(57):Spring中什么时候不要用@Autowired注入 | 超级详细,建议收藏

1. 前言&#x1f525; 注解Autowired&#xff0c;相信对于我们Java开发者而言并不陌生吧&#xff0c;在SpringBoot或SpringCloud框架中使用那是非常的广泛。但是当我们使用IDEA编辑器开发代码的时候&#xff0c;经常会发现Autowired 注解下面提示小黄线警告&#xff0c;我们把小…

【多线程】(五)工厂模式和线程池

文章目录 一、工厂模式二、线程池2.1 什么是线程池2.2 Executor 工厂类创建线程池2.3 ThreadPoolExecutor类创建线程池 三、线程池的实现 一、工厂模式 在Java中&#xff0c;工厂模式是一种创建对象的设计模式&#xff0c;它通过提供一个共同的接口来实例化对象&#xff0c;而…

Redis【实战篇】---- 分布式锁

Redis【实战篇】---- 分布式锁 1. 基本原理和实现方式对比2. Redis分布式锁的实现核心思路3. 实现分布式锁版本一4. Redis分布式锁误删情况说明5. 解决Redis分布式锁误删问题6. 分布式锁的原子性问题7. Lua脚本解决多条命令原子性问题8. 利用Java代码调试Lua脚本改造分布式锁 1…

css背景毛玻璃效果

一、结论&#xff1a;通过 css 的 backdrop-filter 属性设置滤镜函数 blur 一般会是有 背景色、透明度 的容器&#xff0c;如&#xff1a; /* 宽高等其他设置这里省略没写 */ background:rgba(3, 87, 255, 0.3); backdrop-filter: blur(10px);二、backdrop-filter 的其他用法…