【YOLO 系列】基于YOLO V8的学生上课行为检测系统【python源码+Pyqt5界面+数据集+训练代码】

前言

在现代教育环境中，学生上课行为的监测对于提升教学质量和学生学习效率具有重要意义。然而，传统的人工观察方法不仅效率低下，而且难以保证客观性和准确性。为了解决这一问题，我们启动了这个项目，目的是利用YOLOV8这一先进的深度学习技术，开发一个自动化的学生上课行为检测系统。

通过对上课行为数据集进行深入分析和标注，我们训练了YOLOV8模型，使其能够精确识别学生在课堂上的各种行为状态。这一系统能够实时监控并分析学生的行为，为教师提供即时反馈，帮助他们优化教学方法，提高课堂互动质量。

基于此项目，设计了一个使用Pyqt5库来搭建页面展示系统。本系统支持的功能包括训练模型的导入、初始化；置信度与IOU阈值的调节、图像上传、检测、可视化结果展示、结果导出与结束检测；视频的上传、检测、可视化结果展示、结果导出与结束检测；摄像头的上传、检测、可视化结果展示与结束检测；已检测目标信息列表、位置信息；以及推理用时。本博文提供了完整的Python代码和使用教程，适合新入门的朋友参考，完整代码资源文件请转至文末的下载链接。

优势

  1. 高效率：自动化的监测系统大大减少了人工观察的时间和劳动成本，提高了监测效率。

  2. 高准确性：YOLOV8模型在目标检测领域的先进性确保了行为识别的高准确度。

  3. 实时反馈：系统能够提供实时的学生行为反馈，使教师能够及时调整教学策略。

  4. 多场景适用：无论是传统教室还是在线教学环境，该系统都能够灵活应用。

  5. 数据驱动：系统收集的数据可以用于进一步分析，为教育决策提供科学依据。

应用场景

  1. 课堂教学：教师可以利用该系统实时监控学生上课状态，及时调整教学方法，提高课堂参与度。

  2. 学生评估：系统可以作为一个评估工具，帮助教师客观评价学生的课堂表现和学习态度。

  3. 教育研究：研究人员可以利用系统收集的数据，进行教育心理学、教学方法等方面的研究。

  4. 个性化教学：根据学生的上课行为数据，教师可以为学生提供更加个性化的教学内容和辅导。

  5. 远程教学：在远程教学中，该系统可以帮助教师远程监控学生的上课状态，确保教学质量。

  6. 行为矫正：系统可以辅助教师识别需要特别关注的学生，制定相应的行为矫正计划。

一、软件核心功能介绍及效果演示

软件主要功能

  1. 支持图片、图片批量、视频及摄像头进行检测，同时摄像头可支持内置摄像头和外设摄像头；

  2. 可对检测结果进行单独分析，并且显示单个检测物体的坐标、置信度等;

  3. 界面可实时显示目标位置、检测结果、检测时间、置信度、检测结果回滚等信息;

  4. 支持图片、视频及摄像头的结果保存，将检测结果保持为excel文件；

界面参数设置说明

  1. 标签4 摄像头源/相机/网络源；

  2. 标签5 交并比阈值：目标检测时的iou参数，只有目标检测框的交并比大于该值，结果才会显示；

  3. 标签6 置信度阈值：目标检测时的conf参数，只有检测出的目标置信度大于该值，结果才会显示；

  4. 标签7 显卡选择：在进行推理时是否使用显卡，默认勾选（使用显卡）；

  5. 标签8 半精度选择：启用半精度（FP16）推理，可加快支持的 GPU 上的模型推理速度，同时将对精度的影响降至最低，默认不勾选（不适应半精度）；

  6. 标签9 图片推理尺寸: 在推理时将推理图片固定的尺寸；

  7. 标签10 数据集的配置文件：数据集在训练时的配置文件(.yaml);

  8. 标签11 训练好的模型：最终要进行推理的模型，一般选择最优的一个模型；

  9. 标签12 类别名：该项目的所有类别，可以方便在后续查看某一个类别。

视频演示

StudentClassroomBehavior Detection_哔哩哔哩_bilibili

图片检测演示

  1. 点击打开图片按钮，选择需要检测的图片，或者点击打开文件夹按钮，选择需要批量检测图片所在的文件夹，操作演示如下：

  2. 点击表格中的指定行，界面会显示该行表格所写的信息内容。

视频检测演示

  1. 点击视频按钮图标，打开选择需要检测的视频，在点击开始运行会自动显示检测结果。再次点击停止按钮，会停止检测视频。

  2. 点击表格中的指定行，界面会显示该行表格所写的信息内容。

摄像头检测演示

  1. 在选择相机源中输入需要检测的摄像头（可以是电脑自带摄像头，也可以是外接摄像头，视频流等方式），然后点击摄像头图标来固定选择的推理流方式，最后在点击开始运行即可开始检测，当点击停止运行时则关闭摄像头检测。

  2. 点击表格中的指定行，界面会显示该行表格所写的信息内容。

检测结果保存

点击导出数据按钮后，会将当前选择的图片【含批量图片】、视频或者摄像头的检测结果进行保存为excel文档，结果会存储在output目录下。

二、环境搭建

创建专属环境

conda create -n yolo python==3.8

 激活专属环境

conda activate yolo

安装torch-GPU库

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "torch-2.0.1+cu118-cp38-cp38-win_amd64.whl"

安装torchvision-GPU库

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple "torchvision-0.15.2+cu118-cp38-cp38-win_amd64.whl"

安装ultralytics库

pip install ultralytics -i https://pypi.tuna.tsinghua.edu.cn/simple

测试环境

yolo predict model=yolov8n.pt source='https://ultralytics.com/images/bus.jpg'

 此时就表明环境安装成功！！！

安装图形化界面库 pyqt5

pip install pyqt5 -i https://pypi.tuna.tsinghua.edu.cn/simple
pip install pyqt5-tools -i https://pypi.tuna.tsinghua.edu.cn/simple

三、算法原理

YOLOv8是一种前沿的深度学习技术，它基于先前YOLO版本在目标检测任务上的成功，进一步提升了性能和灵活性，在精度和速度方面都具有尖端性能。在之前YOLO 版本的基础上，YOLOv8 引入了新的功能和优化，使其成为广泛应用中各种物体检测任务的理想选择。主要的创新点包括一个新的骨干网络、一个新的 Ancher-Free 检测头和一个新的损失函数，可以在从 CPU 到 GPU 的各种硬件平台上运行。

YOLOv8目标检测算法具有如下的几点优势：

（1）更友好的安装/运行方式；

（2）速度更快、准确率更高；

（3）新的backbone，将YOLOv5中的C3更换为C2F；

（4）YOLO系列第一次使用anchor-free；

（5）新的损失函数。

YOLO各版本性能对比

网络结构

YOLOv8模型的整体结构如下图所示：

YOLOv8与YOLOv5模型最明显的差异是使用C2F模块替换了原来的C3模块；另外Head 部分变化最大，从原先的耦合头变成了解耦头，并且从 YOLOv5 的 Anchor-Based 变成了 Anchor-Free。

YOLOv8的网络架构包含了多个关键组件，这些组件共同工作以实现快速而准确的目标检测。首先是其创新的特征提取网络（Backbone），YOLOv8的Backbone采用了最新的网络设计理念，通过深层次的特征融合和精细的特征提取策略来增强对目标的识别能力。这一策略的成功关键在于其特征提取器能够充分捕获目标的细微特征，同时保持计算效率。

YOLOv8在训练策略上也进行了优化。与YOLOv7相比，YOLOv8采用了SPFF（Spatial Pyramid Fusion Fast）策略，该策略通过高效的多尺度特征融合提高了模型对不同大小目标的检测能力。此外，YOLOv8在训练过程中引入了一种名为Task Aligned Assigner的新技术，这种技术能够更精准地将预测框与真实目标对齐，从而提高检测的准确率。

在损失函数的设计上，YOLOv8进行了创新，采用了JFL（Joint Family Losses），这是一种集成了多个损失函数的复合损失函数，能够同时优化目标检测的多个方面。这些损失函数包括用于提升模型对目标位置和大小预测准确性的CIOU Loss，以及优化分类准确性的分类损失函数。JFL的设计允许YOLOv8更全面地考虑检测任务中的不同需求，通过协调各种损失来提升总体的性能。

YOLOv8的原理不仅在于其创新的技术点，更在于这些技术如何被综合应用于解决实际的目标检测问题。通过其精心设计的网络架构、高效的训练策略以及综合的损失函数设计，YOLOv8实现了在保持实时性的同时，提高了在复杂场景下的检测准确率。这些改进使得YOLOv8成为了一个强大的工具，适用于从自动驾驶到智能视频监控等多种应用场景。

四、模型的训练、评估与推理

数据集准备

本项目使用的是检测学生课堂行为的数据集，名为 SCB-dataset（Student Classroom Behavior dataset）。

SCB-dataset 的特点和挑战包括：

  • 教室是人口密集的环境，多个主题同时进行不同的动作。

  • 举手行为与其他行为类别在视觉上有很高的相似性，这给检测任务带来了挑战。

  • 数据集中的图像是从不同拍摄角度捕获的，包括正面、侧面和背面视图，这对视觉表现有显著影响。

  • 教室环境和座位安排可能因课程而异，增加了检测和识别举手行为的复杂性。

  • 学生在不同的学习阶段，举手行为可能有很大差异。

图片数据集的存放格式如下：

下载数据集后，请将图片数据放在images文件夹内，标注数据放在Annotations文件夹内，然后运行下述代码：

  1. 运行splitDataset.py，用于划分数据集；

  2. 运行xml2txt.py，用于得到训练标注文件；

  3. 运行ViewCategory.py，用于查看一共有那些类别；

  4. mydata.yaml，用于填写模型训练的数据配置文件。

注意：在xml2txt.py和mydata.yaml中的类别名称的顺序要一致。

模型训练

数据准备完成后，通过调用train.py文件进行模型训练，epochs参数用于调整训练的轮数，代码如下：

yolo detect train data=./VOCData/myvoc.yaml model=yolov8n.yaml pretrained=./weights/yolov8n.pt epochs=100 imgsz=640
from ultralytics import YOLO# build from YAML and transfer weights
model = YOLO('yolov8n.yaml').load('./weights/yolov8n.pt')# Train the model
model.train(data='./VOCData/mydata.yaml', epochs=100, imgsz=640)

训练结果分析

YOLOv8在训练结束后，可以在runs/目录下找到训练过程及结果文件，如下所示：、

P_curve.png

confusion_matrix_normalized.png

训练 batch

验证 batch

模型推理

模型训练完成后，可以得到一个最佳的训练结果模型best.pt文件，在runs/trian/weights目录下。我们通过使用该文件进行后续的推理检测。

图片检测代码如下：

yolo detect predict model=./runs/detect/train/weights/best.pt source=./img save=True device=0
from ultralytics import YOLO# Load a model
model = YOLO('./runs/detect/train/weights/best.pt')# Run batched inference on a list of images
model.predict("./img", imgsz=640, save=True, device=0)

执行上述代码后，会将执行的结果直接标注在图片上，结果如下：

关于该系统涉及到的完整源码、UI界面代码、数据集、训练代码、测试图片视频等相关文件，均已打包上传，感兴趣的小伙伴可以通过下载链接自行获取。

五、获取方式

本文涉及到的完整全部程序文件：包括 python源码、数据集、训练好的结果文件、训练代码、UI源码、测试图片视频等（见下图），获取方式见文末：

注意：该代码基于Python3.8开发，运行界面的主程序为GUI.py，其他测试脚本说明见上图。为确保程序顺利运行，请按照requirements.txt配置软件运行所需环境。

 点击链接直接打开：https://m.tb.cn/h.gda39fK?tk=H3OGWFLGArl CA6496

六、链接作者

欢迎关注我的公众号：@AI算法与电子竞赛

硬性的标准其实限制不了无限可能的我们，所以啊！少年们加油吧！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/web/16833.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

15.3 js数组塌陷和数组去重

15.3 js数组塌陷和数组去重

数组塌陷 使用splice或pop会影响数组长度，形成循环次数的问题 pop 例子：pop从后删除了数据，那么影响了数组长度，i的值缩小 var arr = [1, 2, 3, 4, 5, 6, 7];for (var i = 0; i < arr.length; i++) {arr.pop(arr[i]);console.log(arr, i);}console.log("塌陷…
阅读更多...
AI数学知识

AI数学知识

AI数学知识 1、线性代数相关&#xff08;矩阵&#xff09;1、什么是秩2、奇异值分解3、特征值分解和奇异值分解4、低秩分解 回归分类知识点2、概率论相关1、先验概率和后验概率2、条件概率、全概率公式、贝叶斯公式、联合概率3、最大似然估计4、贝叶斯公式和最大似然估计5、伯努…
阅读更多...
深入理解Kubernetes的调度核心思想

深入理解Kubernetes的调度核心思想

一、引言 Kubernetes&#xff08;简称K8s&#xff09;是一个开源的容器编排系统&#xff0c;用于自动化部署、扩展和管理容器化应用程序。在Kubernetes集群中&#xff0c;调度器是一个核心组件&#xff0c;它负责将Pod&#xff08;Kubernetes中的最小部署单元&#xff09;分配…
阅读更多...
python读写二进制文件

python读写二进制文件

需求&#xff1a;将Test文件夹下所有bin文件中凡是出现128的统一替换成129。 import os root rD:\TXB\Y2022\PROJ\S2106\INNER\内部研究\语音信号处理\智能语音处理\test\pattern_0513 for file in os.listdir(root):if file.endswith(.bin):src_path os.path.join(root, fi…
阅读更多...
Java学习16

Java学习16

目录 一.StringBuffer类&#xff1a; 1.基本介绍&#xff1a; 2.StringBuffer的构造器&#xff1a; 3.String与StringBuffer的相互转换&#xff1a; &#xff08;1&#xff09;String->StringBuffer &#xff08;2&#xff09;StringBuffer->String 4.StringBuffer…
阅读更多...
AutoDL中Notebook中无法打开“checkpoints”文件夹

AutoDL中Notebook中无法打开“checkpoints”文件夹

checkpoints是Notebook的关键字&#xff0c;若用户创建文件夹命名为checkpoints&#xff0c;则在JupyterLab上无法打开、重命名和删除。此时可以在Terminal里使用命令行打开checkpoints&#xff0c;或者新建文件夹将checkpoints里的数据移动到新的文件夹下。 操作步骤&#xf…
阅读更多...
Linux设置Huggingface镜像代理

Linux设置Huggingface镜像代理

打开终端&#xff08;Terminal&#xff09;。使用 vim 编辑 .bashrc 文件&#xff1a;vim ~/.bashrc在 vim 中&#xff0c;按 G 键移动到文件的末尾&#xff0c;然后按 o 键插入新的一行。输入以下内容&#xff1a;export HF_ENDPOINThttps://hf-mirror.com按 Esc 键退出插入模…
阅读更多...
Redis篇 数据的编码方式和单线程模型

Redis篇 数据的编码方式和单线程模型

编码方式和单线程模型 一.redis中的数据类型二. Redis中查询编码方式命令三. 单线程模型四. 经典面试题,redis为何这么快?什么是IO多路复用? 一.redis中的数据类型 在redis中,数据类型大致分为5种 1.字符串类型 2.哈希 3.列表 4.集合 5.有序集合 redis底层在实现这些数据结构…
阅读更多...
黑马点评-短信登录

黑马点评-短信登录

Override public Result sendCode(String phone) { // 1.检验手机号 if (RegexUtils.isPhoneInvalid(phone)) { // 这里抛出异常和return fail有什么区别吗&#xff1f;———> 有区别&#xff0c;抛出异常会被全局异常处理器捕获&#xff0c;返回fail不会 throw ne…
阅读更多...
防火墙技术基础篇：NAT转发之——NAPT（同时转换地址和端口）

防火墙技术基础篇：NAT转发之——NAPT（同时转换地址和端口）

NAT转发之——NAPT&#xff08;同时转换地址和端口&#xff09; 网络地址端口转换NAPT 网络地址端口转换NAPT&#xff08;Network Address Port Translation&#xff09;是人们比较熟悉的一种转换方式。NAPT普遍应用于接入设备中&#xff0c;它可以将中小型的网络隐藏在一个合…
阅读更多...
Vue2和Vue3生命周期的对比

Vue2和Vue3生命周期的对比

Vue2和Vue3生命周期的对比 Vue2 和 Vue3 生命周期对照表Vue2 和 Vue3 生命周期图示 Vue2 和 Vue3 生命周期对照表 触发时机Vue2.xVue3.x组件创建时运行beforeCreate setup createdsetup 挂载在DOM时运行beforeMountonBeforeMountmountedonMounted响应数据修改时运行beforeUpdat…
阅读更多...
线程安全-4 AQSLockReentrantLock

线程安全-4 AQSLockReentrantLock

一.什么是AQS&#xff1f; 1.AQS&#xff0c;AbstractQueuedSynchronizer&#xff0c;抽象队列同步器&#xff0c;是一个用于构建锁和同步器的框架。 2.基于AQS实现的锁或同步器有&#xff1a;可重入锁ReentrantLock、计时锁CountDownLatch、信号量Semaphore等 3.AQS三大核心…
阅读更多...
x264 码率控制原理：x264_ratecontrol_end 函数

x264 码率控制原理：x264_ratecontrol_end 函数

x264_ratecontrol_end 函数 原理 函数功能：编码完一帧数据后，保存状态并更新 ratecontrol 状态。函数参数：x264_t *h：编码器上下文结构体int bits：编码该帧所用的比特数int *filler：用于返回一个填充比特数函数调用关系： 函数内部执行流程：初始化x264_ratecontrol_t结…
阅读更多...
关于DDos防御...别在听别人瞎扯了.....

关于DDos防御...别在听别人瞎扯了.....

前言 无意间刷文章的时候看到一篇文章&#xff0c;写的是遇到ddos&#xff0c;怎么用iptables封IP....... 然后我就百度搜了一下&#xff0c;好多都是这么说的&#xff0c;但是我发现&#xff0c;大多数人只要遭受过长期Ddos的&#xff0c;就不会再信网上的文章 文笔不太好&…
阅读更多...
微信小程序中页面显示时触发子组件的重新渲染

微信小程序中页面显示时触发子组件的重新渲染

使用生命周期函数&#xff1a; 在页面的 onShow 或 onLoad 生命周期函数中&#xff0c;调用子组件的方法或者改变子组件的数据&#xff0c;从而触发子组件的重新渲染。 例如&#xff0c;在页面的 js 文件中&#xff1a; Page({onShow: function() {// 调用子组件的方法this.sel…
阅读更多...
Python内置函数ord()详解

Python内置函数ord()详解

在Python编程中&#xff0c;ord()函数是一个非常实用的内置函数&#xff0c;它用于返回一个字符的Unicode码点&#xff0c;即该字符在Unicode编码表中的数值。这个功能在处理文本数据和国际化应用程序时尤其重要。 函数功能 ord()函数的主要功能是将单个字符转换为其对应的Un…
阅读更多...
在64位程序中调用SetWindowLong指定窗口处理过程失效问题排查（附C++编译器数据模型）

在64位程序中调用SetWindowLong指定窗口处理过程失效问题排查（附C++编译器数据模型）

C软件异常排查从入门到精通系列教程&#xff08;专栏文章列表&#xff0c;欢迎订阅&#xff0c;持续更新...&#xff09;https://blog.csdn.net/chenlycly/article/details/125529931C/C基础与进阶&#xff08;专栏文章&#xff0c;持续更新中...&#xff09;https://blog.csdn…
阅读更多...
剖析vue中nextTick源码

剖析vue中nextTick源码

代码逻辑梳理&#xff1a; callbacks 数组用于存储待执行的回调函数&#xff0c;waiting 变量用于标记是否有待执行的回调函数。 flushCallbacks 函数用于执行所有存储在 callbacks 数组中的回调函数&#xff0c;并在执行完成后将 waiting 设置为 false。 timer 函数根据环境…
阅读更多...
手把手实现AVL——二叉平衡搜索树

手把手实现AVL——二叉平衡搜索树

概述&#xff1a;本文介绍AVL树的实现&#xff0c;从零构建一颗AVL树&#xff0c;以及对应的插入、删除、旋转操作 什么是AVL树&#xff1f; AVL树是带有平衡条件的二叉查找树&#xff0c;二叉查找树又区别于二叉树&#xff1a;保证有序 这个平衡条件是每个节点的左右子树高…
阅读更多...
[数据集][目标检测]红外人狗检测数据集VOC+YOLO格式185张2类别

[数据集][目标检测]红外人狗检测数据集VOC+YOLO格式185张2类别

数据集格式&#xff1a;Pascal VOC格式YOLO格式(不包含分割路径的txt文件&#xff0c;仅仅包含jpg图片以及对应的VOC格式xml文件和yolo格式txt文件) 图片数量(jpg文件个数)&#xff1a;185 标注数量(xml文件个数)&#xff1a;185 标注数量(txt文件个数)&#xff1a;185 标注类别…
阅读更多...
最新文章

Copyright @ 2022~2023