【深度学习】pytorch训练中的一个大坑

在这里插入图片描述
使用的命令：iostat -x 5
可以看到 ssd的利用率已经满了。

之前在的数据集放在了 hdd上，训练结果特别慢。
所以我把它移动到了ssd上，然后训练参数用的 resume，
但是！！！！它把历史记住了，仍然不从ssd上来取数据。
配置文件的路径也换了，但它还是会去找旧的。

在这里插入图片描述
现在的100% 是扫描数据的100%
因数数据集15G~20G，还是比较多的。

engine/trainer: task=detect, mode=train, model=/home/justin/Desktop/code/python_project/Jersey-Number/yolov8n.pt, data=/home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/data.yaml, epochs=1000, time=None, patience=100, batch=64, imgsz=640, save=True, save_period=-1, cache=False, device=[0, 1], workers=8, project=None, name=train70, exist_ok=False, pretrained=True, optimizer=auto, verbose=True, seed=0, deterministic=True, single_cls=False, rect=False, cos_lr=False, close_mosaic=10, resume=False, amp=True, fraction=1.0, profile=False, freeze=None, multi_scale=False, overlap_mask=True, mask_ratio=4, dropout=0.0, val=True, split=val, save_json=False, save_hybrid=False, conf=None, iou=0.7, max_det=300, half=False, dnn=False, plots=True, source=None, vid_stride=1, stream_buffer=False, visualize=False, augment=False, agnostic_nms=False, classes=None, retina_masks=False, embed=None, show=False, save_frames=False, save_txt=False, save_conf=False, save_crop=False, show_labels=True, show_conf=True, show_boxes=True, line_width=None, format=torchscript, keras=False, optimize=False, int8=False, dynamic=False, simplify=False, opset=None, workspace=4, nms=False, lr0=0.01, lrf=0.01, momentum=0.937, weight_decay=0.0005, warmup_epochs=3.0, warmup_momentum=0.8, warmup_bias_lr=0.1, box=7.5, cls=0.5, dfl=1.5, pose=12.0, kobj=1.0, label_smoothing=0.0, nbs=64, hsv_h=0.015, hsv_s=0.7, hsv_v=0.4, degrees=0.0, translate=0.1, scale=0.5, shear=0.0, perspective=0.0, flipud=0.0, fliplr=0.5, bgr=0.0, mosaic=1.0, mixup=0.0, copy_paste=0.0, auto_augment=randaugment, erasing=0.4, crop_fraction=1.0, cfg=None, tracker=botsort.yaml, save_dir=runs/detect/train70
Overriding model.yaml nc=80 with nc=4from  n    params  module                                       arguments                     0                  -1  1       464  ultralytics.nn.modules.conv.Conv             [3, 16, 3, 2]                 1                  -1  1      4672  ultralytics.nn.modules.conv.Conv             [16, 32, 3, 2]                2                  -1  1      7360  ultralytics.nn.modules.block.C2f             [32, 32, 1, True]             3                  -1  1     18560  ultralytics.nn.modules.conv.Conv             [32, 64, 3, 2]                4                  -1  2     49664  ultralytics.nn.modules.block.C2f             [64, 64, 2, True]             5                  -1  1     73984  ultralytics.nn.modules.conv.Conv             [64, 128, 3, 2]               6                  -1  2    197632  ultralytics.nn.modules.block.C2f             [128, 128, 2, True]           7                  -1  1    295424  ultralytics.nn.modules.conv.Conv             [128, 256, 3, 2]              8                  -1  1    460288  ultralytics.nn.modules.block.C2f             [256, 256, 1, True]           9                  -1  1    164608  ultralytics.nn.modules.block.SPPF            [256, 256, 5]                 10                  -1  1         0  torch.nn.modules.upsampling.Upsample         [None, 2, 'nearest']          11             [-1, 6]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           12                  -1  1    148224  ultralytics.nn.modules.block.C2f             [384, 128, 1]                 13                  -1  1         0  torch.nn.modules.upsampling.Upsample         [None, 2, 'nearest']          14             [-1, 4]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           15                  -1  1     37248  ultralytics.nn.modules.block.C2f             [192, 64, 1]                  16                  -1  1     36992  ultralytics.nn.modules.conv.Conv             [64, 64, 3, 2]                17            [-1, 12]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           18                  -1  1    123648  ultralytics.nn.modules.block.C2f             [192, 128, 1]                 19                  -1  1    147712  ultralytics.nn.modules.conv.Conv             [128, 128, 3, 2]              20             [-1, 9]  1         0  ultralytics.nn.modules.conv.Concat           [1]                           21                  -1  1    493056  ultralytics.nn.modules.block.C2f             [384, 256, 1]                 22        [15, 18, 21]  1    752092  ultralytics.nn.modules.head.Detect           [4, [64, 128, 256]]           
Model summary: 225 layers, 3011628 parameters, 3011612 gradients, 8.2 GFLOPsTransferred 319/355 items from pretrained weights
DDP: debug command /home/justin/miniconda3/bin/python -m torch.distributed.run --nproc_per_node 2 --master_port 41127 /home/justin/.config/Ultralytics/DDP/_temp_uog7ddsr140402595641744.py
WARNING:__main__:
*****************************************
Setting OMP_NUM_THREADS environment variable for each process to be 1 in default, to avoid your system being overloaded, please further tune the variable for optimal performance in your application as needed. 
*****************************************
Ultralytics YOLOv8.2.1 🚀 Python-3.11.0 torch-2.3.0+cu121 CUDA:0 (NVIDIA GeForce RTX 4090, 24210MiB)CUDA:1 (NVIDIA GeForce RTX 4090, 24188MiB)
TensorBoard: Start with 'tensorboard --logdir runs/detect/train70', view at http://localhost:6006/
Overriding model.yaml nc=80 with nc=4
Transferred 319/355 items from pretrained weights
Freezing layer 'model.22.dfl.conv.weight'
AMP: running Automatic Mixed Precision (AMP) checks with YOLOv8n...
/home/justin/miniconda3/lib/python3.11/site-packages/torch/nn/modules/conv.py:456: UserWarning: Plan failed with a cudnnException: CUDNN_BACKEND_EXECUTION_PLAN_DESCRIPTOR: cudnnFinalize Descriptor Failed cudnn_status: CUDNN_STATUS_NOT_SUPPORTED (Triggered internally at ../aten/src/ATen/native/cudnn/Conv_v8.cpp:919.)return F.conv2d(input, weight, bias, self.stride,
AMP: checks passed ✅
train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/
train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/
train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/
train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/train: Scanning /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/

我就是看这里：

train: WARNING ⚠️ /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/images/284193,42a000df17be3d.jpg: 1 duplicate labels removed
train: WARNING ⚠️ /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/images/284193,575c000f3f01e40.jpg: 1 duplicate labels removed
train: WARNING ⚠️ /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/images/284193,70d2000c58fbf86.jpg: 1 duplicate labels removed
train: WARNING ⚠️ /home/justin/Desktop/code/python_project/Jersey-Number/datasets/20240511_four_in_1/data_head_person_hoop_number/train/images/284193,880000198e8148.jpg: 1 duplicate labels removed

看出路径不对了，然后from scratch开始训练，就好使了。

然而并无卵用，确实换到ssd上了，还是很差，应该是碎文件所致，哎。。。所以，深度学习级别的hello world 用plk存储文件是有道理的，为了不让他那么碎啊 =====个人理解啊。

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/864593.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

【C语言】19.预处理详解

【C语言】19.预处理详解

文章目录 1.预定义符号2.#define定义常量3.#define定义宏4.带有副作用的宏参数5.宏替换的规则6.宏函数的对比7.#和##7.1 #运算符7.2 ## 运算符 8.命名约定9.#undef10.命令行定义11.条件编译12.头文件的包含12.1 头⽂件被包含的⽅式12.1.1 本地⽂件包含12.1.2 库⽂件包含 12.2 嵌…
阅读更多...
甲骨文首次将LLMs引入数据库，集成Llama 3和Mistral，和数据库高效对话

甲骨文首次将LLMs引入数据库，集成Llama 3和Mistral，和数据库高效对话

信息时代，数据为王。数据库作为数据存储&管理的一种方式，正在以势不可挡的趋势与AI结合。 前有OpenAI 收购了数据库初创公司 Rockset，引发广泛关注；Oracle公司（甲骨文）作为全球最大的信息管理软件及服…
阅读更多...
计算机硬件(考点篇)试题

计算机硬件(考点篇)试题

波特率： 在电子通信领域，波特（Baud）即调制速率，指的是有效数据讯号调制载波的速率，即单位时间内载波调制状态变化的次数。波特（Baud，单位符号：Bd）。 波特率…
阅读更多...
PHP景区旅游多商户版微信小程序系统源码

PHP景区旅游多商户版微信小程序系统源码

解锁景区新玩法！​ 引言：一站式旅行新体验 厌倦了传统景区的单调游览？想要一次旅行就能体验多种风情？那么，“景区旅游多商户版”绝对是你的不二之选！这个创新模式将景区内多个商户资源整合，为…
阅读更多...
【MySQL备份】Percona XtraBackup增量备份实战篇

【MySQL备份】Percona XtraBackup增量备份实战篇

目录 1.前言 2.准备工作 2.1.环境信息 2.2.创建备份目录 2.3.配置/etc/my.cnf文件 2.4.授予root用户BACKUP_ADMIN权限 3.增量备份 3.1.第一步：全量备份 3.2.第二步：增量备份 3.3.第三步：再次增量备份 4.准备备份 4.1.准备全量备…
阅读更多...
windows自带的性能采集配置方法

windows自带的性能采集配置方法

1 计算机---右键---管理 2 性能--数据收集器几---用户自定义 3新建--输入程序名称 并在此页面选择--手动创建（高级） 4 下一步--勾选性能计数器---下一步 5 添加--找到process Processor Time User Time Handle Count ID Process Private Bytes…
阅读更多...
爬虫逆向实战(42)-某巢登陆(AES、MD5、RSA、滑块验证码)

爬虫逆向实战(42)-某巢登陆(AES、MD5、RSA、滑块验证码)

一、数据接口分析 主页地址：某巢 1、抓包 通过抓包可以发现在登录时，网站首先请求captcha/querySlideImage/来获取滑块验证码的图片，然后请求captcha/checkCode/接口来验证滑块验证码。滑块验证码校验成功后，请求noshiro/getPu…
阅读更多...
理解MySQL核心技术：存储过程与函数的强大功能

理解MySQL核心技术：存储过程与函数的强大功能

在大型应用程序和复杂的数据库操作中，存储过程与函数扮演着至关重要的角色。它们不仅可以提高代码的可维护性，还能加强数据库的安全性和性能。本篇文章将深入探讨MySQL存储过程与函数的基础知识、创建、管理及其在实际应用中的优势。 什么是存储过程和函…
阅读更多...
无人机热成像分析图谱原理

无人机热成像分析图谱原理

一、热成像原理 热成像，也称为红外热成像或红外成像，是一种利用红外辐射（通常指的是热辐射）来获取物体表面温度分布信息的成像技术。在无人机上集成热成像传感器，可以远程捕获并分析目标物体的热特征，不受…
阅读更多...
【高性能服务器】多线程并发模型

【高性能服务器】多线程并发模型

🔥博客主页： 我要成为C领域大神🎥系列专栏：【C核心编程】 【计算机网络】 【Linux编程】 【操作系统】 ❤️感谢大家点赞👍收藏⭐评论✍️ 本博客致力于知识分享，与更多的人进行学习交流 ​​ 对于常见的C/…
阅读更多...
ROS2使用Python开发动作通信

ROS2使用Python开发动作通信

1.创建接口节点 cd chapt4_ws/ ros2 pkg create robot_control_interfaces --build-type ament_cmake --destination-directory src --maintainer-name "joe" --maintainer-email "1027038527qq.com" mkdir -p src/robot_control_interfaces/action touch…
阅读更多...
跨模型知识融合：大模型的知识融合

跨模型知识融合：大模型的知识融合

大模型（LLMs）在多个领域的应用日益广泛，但确保它们的行为与人类价值观和意图一致却充满挑战。传统对齐方法，例如基于人类反馈的强化学习（RLHF），虽取得一定进展，仍面临诸多难题&#…
阅读更多...
LeetCode Top 100 题目概览及部分题目解答【两数之和,接雨水,最长回文子串,三数之和】

LeetCode Top 100 题目概览及部分题目解答【两数之和,接雨水,最长回文子串,三数之和】

本人详解 作者：王文峰，参加过 CSDN 2020年度博客之星，《Java王大师王天师》 公众号：JAVA开发王大师，专注于天道酬勤的 Java 开发问题中国国学、传统文化和代码爱好者的程序人生，期待你的关注和支持！本人外号：神秘小峯 山峯 转载说明：务必注明来源（注明：作者：王文峰…
阅读更多...
django开源电子文档管理系统_Django简介、ORM、核心模块

django开源电子文档管理系统_Django简介、ORM、核心模块

Django简介 Django是一种开源的大而且全的Web应用框架，是由python语言来编写的。他采用了MVC模式，Django最初是被开发来用于管理劳伦斯出版集团下的一些以新闻为主内容的网站。一款CMS(内容管理系统)软件。并于 2005 年 7 月在 BSD 许可证下发布。这套框…
阅读更多...
Pytest+Yaml+Request+Allure+PyMsql+Jenkins+GitLab框架源代码之（二）config配置

Pytest+Yaml+Request+Allure+PyMsql+Jenkins+GitLab框架源代码之（二）config配置

config公共配置包 config.yml 公共配置文件，主要配置路径及日志 base:base_info_url: https://XXXX.combase_php_url: http://XXXX.combase_weixin_url: https://XXXX.qq.combase_fenmi_url: http://XXXXX.com # base_czt_url: http://XXXXXbase_czt_url: hhttps:…
阅读更多...
自然语言处理:第四十章 如何与大模型交流-Prompt工程

自然语言处理:第四十章 如何与大模型交流-Prompt工程

文章链接:Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 主页: VILA-Lab/ATLAS: A principled instruction benchmark on formulating effective queries and prompts for large language models (LLMs). Our paper: https://arxiv.org/abs…
阅读更多...
Redis 7.x 系列【13】数据类型之地理位置（Geospatial）

Redis 7.x 系列【13】数据类型之地理位置（Geospatial）

有道无术，术尚可求，有术无道，止于术。 本系列Redis 版本 7.2.5 源码地址：https://gitee.com/pearl-organization/study-redis-demo 文章目录 1. 概述2. 常用命令2.1 GEOADD2.2 GEODIST2.3 GEORADIUS2.4 GEOPOS2.5 GEORADIUSBYMEM…
阅读更多...
半导体工艺的完美搭档 —— PEEK晶片夹

半导体工艺的完美搭档 —— PEEK晶片夹

PEEK（聚醚醚酮 Polyetheretherketone）是一种高性能的工程塑料，以其耐高温、耐磨性、尺寸稳定性、低释气性和低吸湿性等特性，在电子半导体、光伏及液晶光电工业中得到广泛应用。 PEEK晶片夹作为其中的一种应用，具有以下…
阅读更多...
液压件工厂的MES解决方案：智能生产，高效未来

液压件工厂的MES解决方案：智能生产，高效未来

一、引言 虽然我国液压件行业发展迅速，但是大多数液压件生产企业规模小、自主创新能力不足，大部分液压产品处于价值链中低端。且由于技术、工艺、设备及管理等多方面的限制，高端液压件产品研发生产水平不足，无法形成有效的供给&a…
阅读更多...
如何在工作中应用六西格玛绿带培训所学的知识和技能？

如何在工作中应用六西格玛绿带培训所学的知识和技能？

近年来，六西格玛作为一种被广泛认可的质量管理工具，为企业提供了一种系统的、数据驱动的方法来优化流程、提高产品质量并减少成本。然而，仅仅接受培训是不够的，如何在工作中有效应用六西格玛绿带培训所学的知识和技能，…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023