项目概述

目标

• 开发一个能够实时或近实时识别特定动作的系统，如运动姿势、表情变化或手势控制。
• 实现对人体关键点的精确追踪，以便于分析和理解人的动态行为。

技术栈

• Intel硬件：可能使用Intel的高性能计算平台，如Xeon处理器或Movidius神经计算棒（NCS），后者专为边缘设备上的深度学习推理设计。
• Chainer：这是一个灵活且强大的深度学习框架，可以无缝集成到项目中，用于模型训练和推理。
• 姿势检测模型：可能基于OpenPose或其他类似模型，这些模型被训练来识别并追踪多个关键点，如关节、面部特征或手指位置。

关键组件

1. 数据收集：收集大量标记的数据集，用于训练模型识别不同的人体、面部和手部姿势。
2. 模型训练：使用Chainer框架在Intel平台上训练深度学习模型，优化性能和准确性。
3. 实时处理：实现模型在实时视频流中的应用，可能需要优化算法以适应不同的光照条件和背景。
4. 关键点识别：算法应能准确地定位和追踪人体、面部和手部的关键点。
5. 动作分类：基于关键点的轨迹和配置，识别和分类特定动作。
6. 反馈机制：可能包括可视化输出或动作识别后的响应，如在健身应用中提供实时指导。

应用场景

• 健身与健康：在健身应用程序中提供实时姿势纠正，帮助用户提高锻炼效果和预防伤害。
• 虚拟现实/增强现实：用于交互式游戏或培训模拟，提高沉浸感和互动性。
• 人机界面：在无需接触的环境中控制设备，如智能家居或工业自动化场景。
• 医疗康复：监测患者的身体运动，评估康复进展或辅助治疗。

结论

此类项目结合了先进的硬件加速能力和现代深度学习技术，旨在创建高度准确和响应迅速的动作识别系统。随着技术的进步，这种系统可以在多个行业中找到广泛的应用，改善用户体验并增加安全性。

如果你正在考虑实施这样的项目，你需要准备大量的训练数据，选择合适的硬件平台，并熟练掌握Chainer框架的使用。此外，考虑到Intel和Chainer在开发过程中可能提供的优化工具和支持，你可能还需要与这两个组织的技术文档和社区资源保持同步。

环境要求

• Python 3.0+
• Intel Chainer
• NumPy
• Six
• Swig
• Matplotlib
• OpenCV
• COCO API

目录结构

• ActionRecognition

  • Actions

• data

  • KTH
  • dpt
  • jabbing

• datasets

  • coco
  • KTH
  • UCF101

• img

• PosturalRecognition

  • models
  • test
  • train

• result

安装 COCO API、

git clone https://github.com/cocodataset/cocoapi.git
cd cocoapi/PythonAPI/
make
python setup.py install
cd ../../

如果在windows系统上安装，必须将VS中的VC++添加到系统PATH，否则会出现找不到相应文件。

获取COCO数据集

mkdir datasets
cd datasetsmkdir coco
cd cocowget http://images.cocodataset.org/zips/train2017.zip
wget http://images.cocodataset.org/zips/val2017.zip
wget http://images.cocodataset.org/annotations/annotations_trainval2017.zipunzip train2017.zip
unzip val2017.zip
unzip annotations_trainval2017.ziprm -f train2017.zip
rm -f val2017.zip
rm -f annotations_trainval2017.zip

在Intel devcloud 上应该检查解压完全完成后才可以删除压缩包

若需要训练，必须先做数据预处理，在预处理之后执行文件即可。

python3 train_coco_pose_estimation.py

测试

python PosturalRecognition/test/get_person_pose_array.py

动作识别

训练

python ActionRecognition/train_action_from_pose.py

测试

通过get_person_pose_array获取信息，然后运行

python ActionRecognition/test_action_from_pose.py

其中，person02_boxing_d2_uncomp 和 person05_walking_d1_uncomp 需要预先通过 PosturalRecognition/test/VideoCapture.py 进行预处理

最后输出动作发生的概率