摘要：随着教育技术的快速发展，学生专注度的实时监测成为提升教育质量的重要方向。本文提出了一种基于深度学习的学生专注度分析系统，该系统通过分析学生的课堂表情和行为来实时评估其专注程度。为实现高效且精确的目标检测，本文采用了YOLOv10（You Only Look Once Version 10）方法，该方法结合了一对多与一对一标签分配策略，解决了传统方法中NMS（非极大值抑制）后处理带来的性能瓶颈。
项目信息
编号：PCV-4
数据集：Dataset-4
大小：342M
作者：Bob(原创)
环境配置
开发工具：
– PyCharm的安装包：PyCharm: Python IDE for Professional Developers
– PyCharm的历史安装包：PyCharm: Python IDE for Professional Developers
– Anaconda的安装包：Anaconda | Start Coding Immediately
语言环境：Python == 3.12.0
依赖包：
– pip install numpy==2.2.6
– pip install opencv-python==4.12.0.88
– pip install pillow==11.3.0
– pip install PyQt==5.15.11
– pip install PyYAML==6.0.3
– pip install torch==2.6.0+cu124
– pip install torchvision==0.21.0+cu124
– pip install matplotlib==3.10.6
– pip install pandas==2.3.3
– pip install scipy==1.16.2
– pip install playsound==1.2.2
研究背景
随着信息技术的迅猛发展，教育领域的数字化转型正加速推进，如何实时监测和评估学生的专注度成为提升教育质量的关键问题之一。学生专注度直接影响学习效果，持续的分心不仅会降低知识吸收效率，还可能影响学术表现。传统的课堂专注度评估方法，如人工观察和心理测试，存在主观性强、效率低且难以普及的问题，因此，基于计算机视觉和深度学习的自动化分析逐渐成为解决这一问题的有效途径。通过摄像头捕捉学生的面部表情和行为，再结合深度学习模型进行实时处理，能够准确评估学生的专注状态，为个性化学习和课堂优化提供有力支持。
尽管深度学习在目标检测方面取得了显著进展，尤其是YOLO（You Only Look Once）系列模型在精度和速度上都表现优秀，但仍面临一些挑战。传统YOLO模型通常依赖NMS（非极大值抑制）后处理步骤以提高检测精度，这一过程虽然有效，但在推理时增加了额外的计算开销，限制了实时性。而一对多标签分配方法虽然能够有效提供丰富的监督信号，但同样需要较大的计算资源，并且会在推理阶段产生额外的处理负担。因此，如何在保证高精度的同时，优化推理效率，成为YOLO模型在实际应用中的一大难题。
为此，YOLOv10模型提出了创新的双标签分配策略，结合一对多和一对一标签分配的优点，既保留了高效的推理速度，又在训练过程中提供了充分的监督信号。通过引入一对一标签分配和额外的一对一头部结构，YOLOv10在不增加推理开销的前提下，避免了NMS后处理，提高了系统的效率和精度。基于此，本研究提出了一种利用YOLOv10进行学生专注度分析的系统，该系统能够通过实时检测学生的表情和行为，精准评估其专注度，推动智能教育的发展，并为实时行为识别和个性化学习提供新的技术路径。
算法概述
YOLOv10 由清华大学的研究人员基于 Ultralytics Python 包构建，它引入了一种新的实时对象检测方法，解决了之前 YOLO 版本中存在的后处理和模型架构缺陷。通过消除非极大值抑制 (NMS) 并优化各种模型组件，YOLOv10 以显著降低的计算开销实现了最先进的性能。大量实验表明，它在多个模型规模上都具有卓越的精度-延迟权衡。
实时对象检测旨在以低延迟准确预测图像中的对象类别和位置。由于 YOLO 系列在性能和效率之间取得了平衡，因此一直处于这项研究的最前沿。然而，对 NMS 的依赖和架构效率低下阻碍了最佳性能。YOLOv10 通过引入一致的对偶分配来实现无 NMS 训练和整体效率-精度驱动的模型设计策略，从而解决了这些问题。
图1 YOLOv10网络结构图
大量实验表明，YOLOv10 在各种模型规模上都实现了 SOTA 性能和效率。例如，YOLOv10-S 在 COCO 上的类似 AP 下比 RT-DETR-R18 快 1.8 倍，同时参数数量和 FLOP 大幅减少。与 YOLOv9-C 相比，在性能相同的情况下，YOLOv10-B 的延迟减少了 46%，参数减少了 25%。
图2 与其他模型在延迟-准确率（左）和大小-准确率（右）权衡方面的比较。我们使用官方预训练模型来测量端到端的延迟。
在目标检测任务中，YOLO 通常采用TAL（Target Assignment Learning）方法为每个实例分配多个正样本。一对多的分配方式通过为每个实例提供丰富的监督信号，极大地促进了优化过程，并帮助模型实现卓越的性能。然而，这种方法依赖于NMS（Non-Maximum Suppression）后处理步骤，导致在实际部署时，推理效率并不理想。
为了解决这一问题，过去的研究探讨了一对一匹配来抑制冗余预测，尽管这种方法消除了 NMS 后处理的需求，但通常会引入额外的推理开销，并且会使得准确率和收敛速度变得不理想。这是因为一对一匹配仅为每个ground truth分配一个预测，造成了监督信号的不足。
图3：(a)NMS-free训练中的一致性双重标签分配。(b)YOLOv8-S在Top-1/5/10的one-to-many结果中的一对一标签分配频率。
为此，本研究提出了一个创新性的双标签分配策略，结合了一对多分配和一对一匹配的优点。具体来说，YOLOv10 引入了另一个一对一 head，该 head 保留了与原始一对多分支相同的结构和优化目标，但通过一对一匹配进行标签分配。在训练过程中，两个 head 会联合优化，以提供更加丰富的监督信号。推理阶段，YOLOv10 会丢弃一对多 head，仅使用一对一 head 进行预测。这种方法使得 YOLO 在推理时避免了 NMS 后处理，并且能够实现端到端的部署，而不增加额外的推理成本，从而提高了效率和准确度。
系统设计
本系统主要应用于课堂环境中学生行为与表情的自动检测与分析，整体采用“数据输入 + 模型推理 + 结果展示”的一体化模式。系统架构包括图像输入模块、图像预处理模块、数据集准备模块、YOLOv10训练模块、推理与检测模块、界面与用户交互模块、检测结果展示模块以及实验结果与性能评估模块。前端通过图形用户界面（GUI）支持学生图像数据的导入和交互操作，后端则基于YOLOv10模型进行实时的行为检测与表情识别。YOLOv10模型在目标检测任务中展现了高效性与准确性，适用于课堂教学过程中的实时监控、学生专注度评估以及教学辅助等应用场景。
图3 学生专注度分析系统整体流程图
在系统运行过程中，用户通过界面输入学生的课堂影像数据，图像数据随即传输至图像预处理模块进行优化处理，确保输入数据在质量上满足YOLOv10模型的要求。经过数据集准备模块的处理，数据被传递至经过训练的YOLOv10模型进行目标检测与行为表情分析。YOLOv10模型使用双标签分配策略，结合一对多和一对一标签分配的优点，能够在高效推理的同时保持卓越的检测精度。在推理与检测模块中，模型输出的检测结果通过界面与用户交互模块进行展示。检测结果以实时方式呈现，包括行为与表情的识别框、置信度分数以及学生的专注度评价，方便教师及时了解学生的课堂状态。
在专注度评估过程中，系统通过分析学生的行为与面部表情，自动判断学生的专注度是否异常（如使用手机、打瞌睡、走神等）。一旦检测到专注度异常，系统将通过语音提醒功能发出警告：“学生专注度异常，请注意。”该语音提醒功能为教师提供实时反馈，帮助其迅速采取相应措施，以确保学生维持良好的学习状态，从而优化课堂管理效果。此系统的设计为课堂教学提供了一个高效且智能的辅助工具，能够实时监控学生的专注度并及时反馈，为教师提供科学的课堂管理支持。
数据集构建
1.数据来源
本系统所使用的学生行为与表情图像数据主要来自Google图片搜索。通过收集和整理大量公开的课堂环境图像，构建了一个多样化的数据集，涵盖了学生在不同课堂场景下的行为表现（如举手、听讲、写字、睡觉、使用手机等）以及多种情绪状态（如平静、高兴、困倦、惊讶等）。该数据集的创建旨在推动深度学习和人工智能技术在课堂监控和学生专注度分析中的应用，同时为系统的行为识别与情绪分析提供高质量的训练数据。
表2 学生行为与表情的数据集基本信息
本系统使用的学生行为与表情图像数据主要来源于Google图片搜索。通过收集和整理大量公开的课堂环境图像，并进行人工标注，构建了一个涵盖多种学生行为和情绪状态的数据集。该数据集包括学生在不同课堂场景下的行为表现，如举手、听讲、写字、睡觉、使用手机等，以及多种情绪状态，如平静、高兴、困倦、惊讶等。数据集不仅类别丰富，且标注规范，具有较高的研究价值，为系统的行为识别和情绪分析提供了高质量的训练数据。
图4 数据集图片
本研究在对原始学生行为与表情图像数据进行清洗与筛选后，构建了一个包含5个类别学生行为数据集和4个类别学生表情数据集的数据集。该数据集的类别分布均衡，全面涵盖了常见的学生行为（如举手、听讲、写字、睡觉、使用手机）和表情（如平静、高兴、困倦、惊讶），能够真实反映课堂中学生的实际状态。数据集中的学生行为与表情保持了合理的比例，为后续基于YOLOv10的学生专注度检测模型训练提供了坚实的数据支持。
2.标注方法
本系统所使用的学生行为与表情图像数据的标注信息由标注人员完成。每张图像均对应一个明确的行为或表情类别，例如举手、听讲、写字、睡觉、使用手机等学生行为，以及平静、高兴、困倦、惊讶等学生表情。为确保标注的准确性和可靠性，标注过程由人工独立完成，并通过交叉验证的方式进行审核，从而有效降低个体差异带来的偏差，确保数据标注的一致性和权威性。
（1）YOLO 图像目标检测标注格式
该标注格式主要用于目标检测任务，常见于 YOLOv10等深度学习模型的训练。其方法是对图像中的行为和表情区域进行边界框标注，并将其转换为 YOLO 统一的归一化形式（class, x_center, y_center, width, height）。这种标注方式能够保证数据与模型在训练与推理过程中的高效匹配，从而提升目标检测与分类的准确性。
（2）数据集划分
标注后的数据集不仅包括图像文件，还包含对应的标注信息。经过上述所有步骤处理和验证后的图像数据被划分成训练集、验证集和测试集，形成最终的数据集，用于算法训练学习模型。
图5 数据集划分：测试集、验证集和训练集
以下是数据集的具体含义及每个数据集的作用：
表3 数据集概述
3.数据增强
为了扩展样本的多样性，抑制模型的过拟合问题，并提高模型对轻微形变目标的容错性，本研究在训练数据中应用了以下常见的数据增强策略：
图6 数据增强示例：不同变换操作应用于原始图像
以上处理与增强方法一起组成了训练前的数据预处理流程，使得YOLOv10模型具有了更具代表性和鲁棒性的训练样本，为后续系统在复杂课堂环境下稳定运行打下了良好的基础。
模型训练
YOLOv10是一种常用于目标检测任务的深度学习模型。其训练过程主要包括以下几个步骤：配置文件与超参数的设置、训练过程的执行以及训练结果的可视化分析。
图7 YOLOv10 模型训练流程图
1.配置文件与超参数设置
以下是关于 YOLOv10 模型训练过程中的配置文件和超参数设置，使用 ultralytics 库下的 YOLO 模型加载预训练模型，并通过配置文件以及相关参数进行训练设置。
表4 YOLOv10 模型训练超参数设置
2.模型性能评估
在 YOLOv10模型的训练过程中，模型性能评估是衡量其在特定任务中表现的重要环节，能够全面反映模型在目标检测与分类等方面的能力。科学而准确的评估不仅有助于揭示模型的优势与不足，还能为后续的改进与优化提供可靠依据。
（1）YOLOv10模型训练过程中的损失与评估指标可视化
图8 YOLOv10 模型训练与验证过程的损失函数及性能指标曲线
该图展示了训练过程中各项损失（包括目标框损失、分类损失、DFL损失）以及评估指标（精度、召回率、mAP50、mAP50-95）的变化趋势，表明随着训练的进行，模型在训练集和验证集上的性能均逐步提升，损失逐渐降低，评估指标稳定提高，展示了良好的收敛性和优化效果
表5 YOLOv10 训练与验证集指标分析
（2）F1-置信度曲线（F1-Confidence Curve）
图9 F1-置信度曲线图
该图展示了各类行为（如举手、听讲、写字等）在不同置信度下的F1分数变化，所有类别在置信度0.315时的平均F1值为0.98，表明在该置信度下模型性能优异。
（3）精确度-置信度曲线（P_curve）
图10 精度-置信度曲线图
该图展示了不同类别（如举手、听讲、写字等）在不同置信度下的精度变化，蓝色曲线表示所有类别的平均精度，且在置信度为1.0时，所有类别精度均达到1.00，表明模型在高置信度下表现完美。
（4）召回率-置信度曲线（R_curve）
图11 召回率-置信度曲线图
该图展示了不同类别（如举手、听讲、写字等）在不同置信度下的召回率变化，蓝色曲线表示所有类别的平均召回率，且在置信度为0时，所有类别的召回率接近0.99，表明在低置信度下模型能够有效识别大部分目标。
（5）精确度-召回率曲线（PR_curve）
图12 精度-召回率曲线图
该图展示了不同类别（如举手、听讲、写字等）的精度-召回率曲线，并显示了每个类别的mAP@0.5值，所有类别的mAP@0.5均接近1.0，表明模型在各个类别的精度和召回率上均表现优异。
（6）混淆矩阵（Confusion Matrix）
图13 混淆矩阵图
该混淆矩阵显示了模型在不同类别的预测情况，模型对大部分类别（如举手、听讲、写字等）的预测准确性较高，且误分类主要集中在少数类别之间。
（7）训练日志（Training Log）
训练日志记录了模型在训练过程中的详细信息，包括训练轮数、每轮的损失值、验证结果以及推理时间等，帮助评估模型的训练效果和性能。
图14 训练日志
表5 模型训练日志概要
根据这个日志输出来看，在150个训练轮次后，YOLOv10模型在验证集上的性能表现优秀，整体mAP50为0.993，mAP50-95为0.967，表明模型在各类学生行为与表情的检测上具有卓越的准确性和鲁棒性。同时，模型的处理速度非常快，推理时间为0.9毫秒，后处理时间为0.1毫秒，训练顺利完成并已保存。
模型推断
训练完成后，模型会生成一个最佳训练结果文件 best.pt，该文件保存在 runs/detect/train/weights 目录下。我们可以使用该文件进行后续的推理检测，imgTest.py 是用于加载训练好的模型并对图片进行推理检测的脚本文件。
图15 YOLOv10 Detection Result
该图显示了YOLOv10模型成功检测到图像中的两种行为，分别是“Neutral”（平静，置信度0.98）和“using-phone”（使用手机，置信度0.97），表明模型在高精度下对学生行为进行了准确的分类。
表6 模型推理表
通过应用YOLOv10模型进行学生课堂行为与表情的识别与分析，本研究展示了深度学习在课堂监控与专注度检测中的巨大潜力。实验结果表明，YOLOv10模型在准确性、速度和稳定性方面均表现优异，能够高效且实时地检测学生的行为（如使用手机、写字）和情绪（如高兴、困倦）。该模型为教师提供了一种有效的课堂管理工具，有助于提升教学质量。同时，YOLOv10的高效推理能力和实时反馈机制使其在实际课堂环境中具备较高的实用价值。本研究为未来教育技术的发展提供了有力支持，并展示了人工智能在提升课堂教学质量和学生专注度监控方面的广阔前景。
功能展示
本系统基于深度学习的YOLOv10模型，旨在进行学生课堂行为和表情专注度检测，提供多种检测方式及结果展示形式，能够满足教育研究和课堂管理的多样化需求。以下为主要功能界面的展示：
1. 系统主界面展示
该界面展示了一个深度学习课堂表情与行为识别学生专注度分析系统的主界面，集成了模型选择、检测精度调整和实时检测等功能，用户可通过直观的操作进行图像、视频检测、实时检测及结果展示。
图16 系统主界面
2. 图片检测功能
支持对单张学生课堂图像进行快速检测。系统能够自动识别行为和表情异常，并给出置信度评分。检测结果以边框和文字提示的方式直观呈现，帮助老师快速做出判断与教学干预。
图17 行为和表情正常
图18 行为和表情正常
图19 行为和表情正常
图20 行为和表情异常
图21 行为和表情异常
图22 行为和表情正常
图23 行为和表情正常
图24 行为和表情正常
图25 行为和表情正常
图26 行为和表情正常
3. 图片批量检测功能
图27 批量检测
4. 图片批量检测结果保存
图28 批量检测结果保存
5. 视频检测功能
图29 视频检测
6. 视频检测结果保存
图30 视频检测结果保存
7. 实时检测
图31 摄像头实时检测
界面设计
本系统的图形用户界面采用PyQt5框架开发，致力于打造直观、高效且流畅的交互体验。通过精心设计的界面布局和模块化架构，系统功能得以清晰呈现，并确保各项操作的高效执行，全面提升用户使用体验。
图29 PyQt5主控面板界面
该界面展示了基于PyQt5框架精心设计的学生行为与表情专注度检测系统，界面布局简洁、直观且高度集成。通过巧妙的模块化设计，系统涵盖了多项功能模块，确保用户能够高效、流畅地进行操作与交互，充分体现了系统在教育领域中的智能化与人性化设计。
文件清单
1.专注度检测（推理）
（1）核心代码文件
（2）图像和视频资源
（3）UI与资源文件（PyQt5）
2.专注度检测（训练）
（1）训练相关文件
（2）第三方框架库文件
3.数据集文件
服务项目
联系我们
官方声明
（1）实验环境真实性与合规性声明：
本研究所使用的硬件与软件环境均为真实可复现的配置，未采用虚构实验平台或虚拟模拟环境。实验平台为作者自主购买的惠普（HP）暗影精灵 10 台式整机，具体硬件参数详见表。软件环境涵盖操作系统、开发工具、深度学习框架等，具体配置详见表，所有软件组件均来源于官方渠道或开源社区，并按照其许可协议合法安装与使用。
研究过程中严格遵循学术诚信和实验可复现性要求，确保所有实验数据、训练过程与结果均可在相同环境下被重复验证，符合科研规范与工程实践标准。
（2）版权声明：
本算法改进中涉及的文字、图片、表格、程序代码及实验数据，除特别注明外，均由2zcode.Bob独立完成。未经2zcode官方书面许可，任何单位或个人不得擅自复制、传播、修改、转发或用于商业用途。如需引用本研究内容，请遵循学术规范，注明出处，并不得歪曲或误用相关结论。
本研究所使用的第三方开源工具、框架及数据资源均已在文中明确标注，并严格遵守其相应的开源许可协议。使用过程中无违反知识产权相关法规，且全部用于非商业性学术研究用途。
评论(0)