实战 | 实时手部关键点检测跟踪（附完整源码+代码详解）

《博主简介》

小伙伴们好，我是阿旭。专注于人工智能、AIGC、python、计算机视觉相关分享研究。
✌更多学习资源，可关注公-仲-hao:【阿旭算法与机器学习】，共同学习交流~
👍感谢小伙伴们点赞、关注！

《------往期经典推荐------》

一、AI应用软件开发实战专栏【链接】

项目名称项目名称
1.【人脸识别与管理系统开发】2.【车牌识别与自动收费管理系统开发】
3.【手势识别系统开发】4.【人脸面部活体检测系统开发】
5.【图片风格快速迁移软件开发】6.【人脸表表情识别系统】
7.【YOLOv8多目标识别与自动标注软件开发】8.【基于YOLOv8深度学习的行人跌倒检测系统】
9.【基于YOLOv8深度学习的PCB板缺陷检测系统】10.【基于YOLOv8深度学习的生活垃圾分类目标检测系统】
11.【基于YOLOv8深度学习的安全帽目标检测系统】12.【基于YOLOv8深度学习的120种犬类检测与识别系统】
13.【基于YOLOv8深度学习的路面坑洞检测系统】14.【基于YOLOv8深度学习的火焰烟雾检测系统】
15.【基于YOLOv8深度学习的钢材表面缺陷检测系统】16.【基于YOLOv8深度学习的舰船目标分类检测系统】
17.【基于YOLOv8深度学习的西红柿成熟度检测系统】18.【基于YOLOv8深度学习的血细胞检测与计数系统】
19.【基于YOLOv8深度学习的吸烟/抽烟行为检测系统】20.【基于YOLOv8深度学习的水稻害虫检测与识别系统】
21.【基于YOLOv8深度学习的高精度车辆行人检测与计数系统】22.【基于YOLOv8深度学习的路面标志线检测与识别系统】
23.【基于YOLOv8深度学习的智能小麦害虫检测识别系统】24.【基于YOLOv8深度学习的智能玉米害虫检测识别系统】
25.【基于YOLOv8深度学习的200种鸟类智能检测与识别系统】26.【基于YOLOv8深度学习的45种交通标志智能检测与识别系统】
27.【基于YOLOv8深度学习的人脸面部表情识别系统】28.【基于YOLOv8深度学习的苹果叶片病害智能诊断系统】
29.【基于YOLOv8深度学习的智能肺炎诊断系统】30.【基于YOLOv8深度学习的葡萄簇目标检测系统】
31.【基于YOLOv8深度学习的100种中草药智能识别系统】32.【基于YOLOv8深度学习的102种花卉智能识别系统】
33.【基于YOLOv8深度学习的100种蝴蝶智能识别系统】34.【基于YOLOv8深度学习的水稻叶片病害智能诊断系统】
35.【基于YOLOv8与ByteTrack的车辆行人多目标检测与追踪系统】36.【基于YOLOv8深度学习的智能草莓病害检测与分割系统】
37.【基于YOLOv8深度学习的复杂场景下船舶目标检测系统】38.【基于YOLOv8深度学习的农作物幼苗与杂草检测系统】
39.【基于YOLOv8深度学习的智能道路裂缝检测与分析系统】40.【基于YOLOv8深度学习的葡萄病害智能诊断与防治系统】
41.【基于YOLOv8深度学习的遥感地理空间物体检测系统】42.【基于YOLOv8深度学习的无人机视角地面物体检测系统】
43.【基于YOLOv8深度学习的木薯病害智能诊断与防治系统】44.【基于YOLOv8深度学习的野外火焰烟雾检测系统】
45.【基于YOLOv8深度学习的脑肿瘤智能检测系统】46.【基于YOLOv8深度学习的玉米叶片病害智能诊断与防治系统】
47.【基于YOLOv8深度学习的橙子病害智能诊断与防治系统】48.【车辆检测追踪与流量计数系统】
49.【行人检测追踪与双向流量计数系统】

二、机器学习实战专栏【链接】，已更新31期，欢迎关注，持续更新中~~
三、深度学习【Pytorch】专栏【链接】
四、【Stable Diffusion绘画系列】专栏【链接】
五、YOLOv8改进专栏【链接】，持续更新中~~
六、YOLO性能对比专栏【链接】，持续更新中~

《------正文------》

引言

手部关键点检测是计算机视觉领域的一项重要技术，主要用于识别与定位手部在图像或视频中的关键位置点，如指关节和手腕等。通过精确识别这些关键点，我们可以获取到手部的精确姿态和手势信息。

手部关键点检测在许多领域都有着广泛的应用可能性。例如，在人机交互中，通过检测用户的手部关键点和手势，计算机可以实现无触摸的交互界面，这对于虚拟现实（VR）和增强现实（AR）应用尤为重要。此外，在健康医疗领域，可以通过对患者手部的关键点检测，来评估和诊断一些由手部动作异常引发的疾病，如帕金森氏症等。再比如，手部关键点检测也可以用于机器人视觉系统，通过对人手的识别和理解，使得机器人能更好地协作和交互。它还在手语识别、动作捕捉、游戏控制等场景找到了广泛应用。

本文介绍了一个基于OpenCV和cvzone库的实时手部跟踪系统，附全部源码，并对源码内容进行了详细讲解。

实现步骤详解

实现效果
在这里插入图片描述

摄像头初始化

import cv2# 初始化摄像头以捕捉视频
# 通常 '0' 指内置摄像头
cap = cv2.VideoCapture(0)

摄像头初始化：通过cv2.VideoCapture(0)初始化摄像头，通常情况下0代表默认摄像头。

手部检测器配置

# 初始化 HandDetector 类并设置参数
detector = HandDetector(staticMode=False,  # 非静态模式，持续检测maxHands=2,         # 最多检测两只手modelComplexity=1,  # 手部识别模型复杂度detectionCon=0.5,   # 手部检测的最小置信度minTrackCon=0.5)    # 追踪的最小置信度

创建HandDetector对象，配置参数如最大检测手数、模型复杂度、检测和追踪的最小置信度，这些参数平衡了检测速度和准确性。

实时帧处理循环

实时帧处理循环：程序进入一个无限循环，不断从摄像头读取视频帧。对于每一帧进行：
手部检测：利用findHands方法检测画面中的手部，同时根据配置参数在图像上绘制手部轮廓和关键点。

# 实时从摄像头获取帧
while True:# 读取每一帧图像# 'success' 表示是否成功捕获，'img' 存储捕获的图像success, img = cap.read()# 在当前帧中寻找手部# 'draw' 参数决定是否在图像上绘制手部关键点和边界框# 'flipType' 翻转图像，便于某些检测操作hands, img = detector.findHands(img, draw=True, flipType=True)

获取关键点并计算手指间距

手指计数：对每只检测到的手，使用fingersUp方法计算并打印出抬起的手指数。

# 计算第一只手抬起的手指数量fingers1 = detector.fingersUp(hand1)print(f'H1 = {fingers1.count(1)}', end=" ")  # 输出抬起手指的数量

手指间距离计算：计算第一只手的食指和中指指尖之间的距离，并在图像上用特定颜色标出。

 # 定位食指和中指指尖tipOfIndexFinger = lmList1[8][0:2]tipOfMiddleFinger = lmList1[12][0:2]# 计算并绘制食指与中指指尖间的距离length, info, img = detector.findDistance(tipOfIndexFinger, tipOfMiddleFinger, img, color=(255, 0, 255), scale=5)

双手中指距离计算：如果有两只手被检测到，还计算两只手的食指指尖之间的距离，同样在图像上标出。

# 计算第二只手抬起的手指数量fingers2 = detector.fingersUp(hand2)print(f'H2 = {fingers2.count(1)}', end=" ")# 定位第二只手的食指指尖tipOfIndexFinger2 = lmList2[8][0:2]# 计算并绘制两只手食指指尖间的距离length, info, img = detector.findDistance(tipOfIndexFinger, tipOfIndexFinger2, img, color=(255, 0, 0), scale=10)

图像显示

# 显示处理后的图像cv2.imshow("图像", img)# 保持窗口打开，等待1毫秒后显示下一帧cv2.waitKey(1)

使用imshow函数在名为"图像"的窗口中显示处理后的图像。

整个程序的核心在于利用HandDetector类提供的功能来实时检测和分析手部特征。这使得它能够应用于各种应用场景，如手势识别、游戏控制、无障碍交互等。通过实时更新图像并显示手部信息，用户可以直观地看到手部检测和分析的结果。

完成源码

# 导入所需库
from cvzone.HandTrackingModule import HandDetector
import cv2# 初始化摄像头以捕捉视频
# 通常 '0' 指内置摄像头
cap = cv2.VideoCapture(0)# 初始化 HandDetector 类并设置参数
detector = HandDetector(staticMode=False,  # 非静态模式，持续检测maxHands=2,         # 最多检测两只手modelComplexity=1,  # 手部识别模型复杂度detectionCon=0.5,   # 手部检测的最小置信度minTrackCon=0.5)    # 追踪的最小置信度# 实时从摄像头获取帧
while True:# 读取每一帧图像# 'success' 表示是否成功捕获，'img' 存储捕获的图像success, img = cap.read()# 在当前帧中寻找手部# 'draw' 参数决定是否在图像上绘制手部关键点和边界框# 'flipType' 翻转图像，便于某些检测操作hands, img = detector.findHands(img, draw=True, flipType=True)# 检查是否检测到手if hands:# 获取第一只手的信息hand1 = hands[0]           # 第一只手lmList1 = hand1["lmList"]  # 21个关键点坐标列表bbox1 = hand1["bbox"]      # 手部边界框坐标center1 = hand1['center']  # 手心中心点坐标handType1 = hand1["type"]  # 手型（"Left" 或 "Right"）# 计算第一只手抬起的手指数量fingers1 = detector.fingersUp(hand1)print(f'H1 = {fingers1.count(1)}', end=" ")  # 输出抬起手指的数量# 定位食指和中指指尖tipOfIndexFinger = lmList1[8][0:2]tipOfMiddleFinger = lmList1[12][0:2]# 计算并绘制食指与中指指尖间的距离length, info, img = detector.findDistance(tipOfIndexFinger, tipOfMiddleFinger, img, color=(255, 0, 255), scale=5)# 检查是否有第二只手if len(hands) == 2:# 获取第二只手的信息hand2 = hands[1]lmList2 = hand2["lmList"]bbox2 = hand2["bbox"]center2 = hand2['center']handType2 = hand2["type"]# 计算第二只手抬起的手指数量fingers2 = detector.fingersUp(hand2)print(f'H2 = {fingers2.count(1)}', end=" ")# 定位第二只手的食指指尖tipOfIndexFinger2 = lmList2[8][0:2]# 计算并绘制两只手食指指尖间的距离length, info, img = detector.findDistance(tipOfIndexFinger, tipOfIndexFinger2, img, color=(255, 0, 0), scale=10)print()  # 打印换行，提高输出可读性# 显示处理后的图像cv2.imshow("图像", img)# 保持窗口打开，等待1毫秒后显示下一帧cv2.waitKey(1)

好了，这篇文章就介绍到这里，喜欢的小伙伴感谢给点个赞和关注，更多精彩内容持续更新~~
关于本篇文章大家有任何建议或意见，欢迎在评论区留言交流！

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/bicheng/8388.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

苹果平板HOME键成历史，全面屏时代到来？2024平板电脑市场趋势分析

苹果平板HOME键成历史，全面屏时代到来？2024平板电脑市场趋势分析

近期苹果公司在“放飞吧”发布会上推出了新款iPad Pro和iPad Air平板电脑，并下架了最后一款带有实体Home按键的iPad 9。这一变化标志着Home键在苹果iPad产品线中成为了历史，引起了不少网友的怀念和感慨。 与此同时，今年3月线上平板电脑市场迎…
阅读更多...
【驱动】I2C读写时序

【驱动】I2C读写时序

1、I2C总线 I2C使用两条线在主控制器和从机之间通信，SCL(串行时钟线)和SDA(串行数据线)，这两条线需接5~10欧上拉电阻，总线空闲空闲时，SCL和SDA处于高电平，I2C总线标准模式速度可以达到100K/S，快速模式可以达到400K/S。 2、状态 I2C总线有四种状态：空闲、启动、忙碌、…
阅读更多...
Unity与C#的关系

Unity与C#的关系

第一，我们首先需要知道Unity与C#的关系是什么？ 第二，我们要明白为什么Unity会使用C#，而不是C？ 第三，我们需要知道Unity是怎么使用C#的？ 第一点： 先说结论：C#是Unity用…
阅读更多...
LabVIEW波浪发电平台浮筒取能效率数据采集系统

LabVIEW波浪发电平台浮筒取能效率数据采集系统

LabVIEW波浪发电平台浮筒取能效率数据采集系统 随着化石能源的逐渐减少以及能源价格的上升，寻找可替代的、可再生的、清洁的能源成为了世界各国的共识。波浪能作为一种重要的海洋能源，因其巨大的潜力和清洁性，近年来受到了广泛关注。开发了一…
阅读更多...
Blender修改器

Blender修改器

修改器 Modifier，对模型进行修改，相当于一个函数。 修改器图标是界面右下角的扳手样式 每个修改器的顶部都有如下样式，从左到右分别为：展开/折叠，修改器类型，修改器名称，编辑模式按钮&#xff…
阅读更多...
TCP三次握手四次挥手 UDP

TCP三次握手四次挥手 UDP

TCP是面向链接的协议，而UDP是无连接的协议 TCP的三次握手 三次传输过程是纯粹的不涉及数据，三次握手的几个数据包中不包含数据内容。它的应用层，数据部分是空的，只是TCP实现会话建立，点到点的连接 TCP的四次挥手 第四…
阅读更多...
Python生成文学编程风格文档库之pycco使用详解

Python生成文学编程风格文档库之pycco使用详解

概要 Pycco是一个Python库，用于生成文学编程风格的文档。它受到了Docco（一个快速生成源代码文档的工具）的启发，并通过解析源代码旁边的注释来创建一个美观的文档页面，使代码的解释与代码本身并排显示。 安装 安装Pycco非常简单，可以通过Python的包管理器pip进行安装： …
阅读更多...
vue3与js的router基本使用方式

vue3与js的router基本使用方式

title: vue3与js的router基本使用方式 tags: vue3js abbrlink: ‘57270957’ date: 2024-04-17 18:54:47 第一步快捷引入的别名 使用路由需要大量在src文件中引用所需要的地址，并且组件中也需要很多的包的引用，将快速跳转到src这一文件的步骤进行简化操…
阅读更多...
Redis实际应用中的解决方案

Redis实际应用中的解决方案

Redis缓存使用问题 1数据一致性 分析一下几种方案： 1：先更新缓存，再更新数据库 2：先更新数据库，在更新缓存 3：先删除缓存，后更新数据库 4：想更新数据库，后删除缓存 …
阅读更多...
前端 Android App 上架详细流程 （Android App）

前端 Android App 上架详细流程 （Android App）

1、准备上架所需要的材料 先在需要上架的官方网站注册账号。提前把手机号，名字，身份证等等材料准备好，完成开发者实名认证；软著是必要的，提前准备好，软著申请时间比较长大概需要1-2周时间才能下来&#xf…
阅读更多...
需求文档怎么写？

需求文档怎么写？

1. 导言 我也来个导言: 写这篇博客的目的就是来解答一下下面几个问题： 需求文档怎么写？需求文档都应该包含哪些内容？怎样才算一个合格的需求文档？ 产品需求文档（Product requriement document）&#xff…
阅读更多...
全网首发亲测有用：python免费将chatgpt机器人接入个人微信（同时支持钉钉、QQ 以及别的语言模型如文心一言等）

全网首发亲测有用：python免费将chatgpt机器人接入个人微信（同时支持钉钉、QQ 以及别的语言模型如文心一言等）

一、获得免费chatgptAPI https://github.com/chatanywhere/GPT_API_free?tab=readme-ov-file 点击这个就可以获取一个免费的CHATGPT API key 或者觉得不够用的话，也可以付费购买在里面，看着价格很便宜，个人没有买过 tips： 转发API无法直接向官方接口api.openai.com发起…
阅读更多...
笔试强训Day20 动态规划 模拟

笔试强训Day20 动态规划 模拟

经此一役小红所向无敌 题目链接&#xff1a;A-经此一役小红所向无敌_牛客小白月赛37 (nowcoder.com) 思路&#xff1a; 水题 直接跟思路即可。 AC code&#xff1a; #include<iostream> using namespace std; typedef long long LL; LL a1,a2,b1,b2,t1,t2,sum; int m…
阅读更多...
专题五_位运算(3)

专题五_位运算(3)

目录 137. 只出现一次的数字 II 解析 题解 面试题 17.19. 消失的两个数字 解析 题解 137. 只出现一次的数字 II 137. 只出现一次的数字 II - 力扣&#xff08;LeetCode&#xff09; 解析 注意这里指的是比特位上的01来进行统计的 题解 class Solution { public:int sin…
阅读更多...
深入理解分布式事务⑧ ----＞MySQL 事务的实现原理 之 MySQL 事务流程（MySQL 事务执行流程 和 恢复流程）详解

深入理解分布式事务⑧ ----＞MySQL 事务的实现原理 之 MySQL 事务流程（MySQL 事务执行流程 和 恢复流程）详解

目录 MySQL 事务的实现原理 之 MySQL 事务流程&#xff08;MySQL 事务执行流程 和 恢复流程&#xff09;详解MySQL 事务流程1、MySQL 事务执行流程1-1&#xff1a;MySQL 事务执行流程如图&#xff1a; 2、MySQL 事务恢复流程2-1&#xff1a;事务恢复流程如下图&#xff1a; MyS…
阅读更多...
基于V4L2框架的摄像头从上层到底层开发

基于V4L2框架的摄像头从上层到底层开发

文章目录 一、V4L2应用开发1、识别摄像头2、查看摄像头设备的能力3、查看支持视频格式4、设置视频格式5、申请帧缓冲6、启动采集7、出队取一帧图像8、入队归还帧缓冲9、停止视频采集10、退出释放资源 二、V4L2框架源码分析1、struct video_device2、struct v4l2_device *v4l2_d…
阅读更多...
C#核心之面向对象-继承

C#核心之面向对象-继承

面向对象-继承 文章目录 1、继承的基本规则1、基本概念2、基本语法3、示例4、访问修饰符的影响5、子类和父类的同名成员 2、里氏替换原则1、基本概念2、is和as3、基本实现 3、继承中的构造函数1、基本概念2、父类的无参构造函数3、通过base调用指定父类构造 4、万物之父和装箱拆…
阅读更多...
关于ESP32下载的几个小问题

关于ESP32下载的几个小问题

文章目录 一、没有收到串口数据二、vscode使用jtag烧录失败 在使用esp32的时候&#xff0c;下载遇到了这么几个小问题&#xff0c;写一下解决方法。 一、没有收到串口数据 报错如下&#xff1a; 这是在使用arduino下载的时候出现的错误&#xff1a;A fatal error occurred: …
阅读更多...
c++多线程2小时速成

c++多线程2小时速成

简介 c多线程基础需要掌握这三个标准库的使用&#xff1a;std::thread,std::mutex, andstd::async。 1. Hello, world #include <iostream> #include <thread>void hello() { std::cout << "Hello Concurrent World!\n"; }int main() {std::th…
阅读更多...
Web Component fancy-components

Web Component fancy-components

css-doodle 组件库 fancy-components 组件库使用 yarn add fancy-components使用&#xff1a; import { FcBubbles } from fancy-components new FcBubbles() //要用哪个就new哪个 new 这里可能会报错eslink,eslintrc.js中处理报错 module.exports {rules: {no-new: off} …
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023