openCV实现拖拽虚拟方块

一、项目效果:

在这里插入图片描述

二、核心流程:

  1. openCV读取视频流、在每一帧图片上画一个矩形。
  2. 使用mediapipe获取手指关键点坐标。
  3. 根据手指坐标位置和矩形的坐标位置,判断手指点是否在矩形上,如果在则矩形跟随手指移动。

三、代码流程:

环境准备:

python: 3.8.8
opencv: 4.2.0.32
mediapipe: 0.8.10.1

注:

  • opencv版本过高或过低可能出现一些如摄像头打不开、闪退等问题,python版本影响opencv可选择的版本。
  • pip install mediapipe 后可能导致openCV无法正常使用,卸了重新下载,习惯了就好。

1. 读取摄像头视频,画矩形:

import cv2
import time
import numpy as np# 调用摄像头 0 默认摄像头 
cap = cv2.VideoCapture(0)# 初始方块数据
x = 100
y = 100
w = 100
h = 100# 读取一帧帧照片
while True:# 返回frame图片rec,frame = cap.read()# 镜像frame = cv2.flip(frame,1)# 画矩形 cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 255), -1)# 显示画面cv2.imshow('frame',frame)# 退出条件if cv2.waitKey(1) & 0xFF == ord('q'):breakcap.release()
cv2.destroyAllWindows() 

运行这段代码,摄像头打开,我们会惊讶地看到自己英俊的脸庞,且左上角有个100*100的紫色矩形。

2. 导入mediapipe处理手指坐标

pip install mediapipe

此时可能出现一些问题,比如openCV突然用不了了,没关系,卸载了重新下

mediapipe详细信息:Hands - mediapipe (google.github.io)

在这里插入图片描述

在这里插入图片描述

简单来说,它会返回给我们21个手指关键点的坐标,即它在视频画面的位置比例( 0~1 ),我们乘以对应画面的宽高,就能得到手指对应的坐标了。

本次用到食指和中指指尖,也就是8号和12号。

2.1 配置一些基础信息:

import cv2
import time
import numpy as np
import mediapipe as mpmp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.handshands =  mp_hands.Hands(static_image_mode=True,max_num_hands=2,min_detection_confidence=0.5)

2.2 在处理每一帧图像时,加入:

frame.flags.writeable = Falseframe = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 返回结果results = hands.process(frame)frame.flags.writeable = Trueframe = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)

当我们在视频流中读取每一帧图片时,将其从BGR转为RGB供给mediapipe生成的hands对象读取,它会返回这张图片中手指关键点的信息,我们只需要继续对其作画,画在每一帧图片上。

# 如果结果不为空if results.multi_hand_landmarks:# 遍历双手(根据读取顺序,一只只手遍历、画画)for hand_landmarks in results.multi_hand_landmarks:mp_drawing.draw_landmarks(frame,hand_landmarks,mp_hands.HAND_CONNECTIONS,mp_drawing_styles.get_default_hand_landmarks_style(),mp_drawing_styles.get_default_hand_connections_style())

2.3 至此步骤完整代码

import cv2
import time
import numpy as np
import mediapipe as mpmp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.handshands =  mp_hands.Hands(static_image_mode=True,max_num_hands=2,min_detection_confidence=0.5)# 调用摄像头 0 默认摄像头 
cap = cv2.VideoCapture(0)# 方块初始数组
x = 100
y = 100
w = 100
h = 100# 读取一帧帧照片
while True:# 返回frame图片rec,frame = cap.read()# 镜像frame = cv2.flip(frame,1)frame.flags.writeable = Falseframe = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 返回结果results = hands.process(frame)frame.flags.writeable = Trueframe = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)# 如果结果不为空if results.multi_hand_landmarks:# 遍历双手(根据读取顺序,一只只手遍历、画画)# results.multi_hand_landmarks n双手# hand_landmarks 每只手上21个点信息for hand_landmarks in results.multi_hand_landmarks:mp_drawing.draw_landmarks(frame,hand_landmarks,mp_hands.HAND_CONNECTIONS,mp_drawing_styles.get_default_hand_landmarks_style(),mp_drawing_styles.get_default_hand_connections_style())# 画矩形 cv2.rectangle(frame, (x, y), (x + w, y + h), (255, 0, 255), -1)# 显示画面cv2.imshow('frame',frame)# 退出条件if cv2.waitKey(1) & 0xFF == ord('q'):breakcap.release()
cv2.destroyAllWindows() 

此时我们运行看一下还挺有意思的:

在这里插入图片描述

3. 位置计算

我们这个实验要求拖动方块,那肯定也有不拖动的时候,因此不妨根据上一步获取食指(8)中指(12)指尖的位置,如果这俩离得近,我们就在他与方块重合的时候,根据手指的位置改变方块的坐标。

在这里插入图片描述

完整代码:

首先配置环境

在这里插入图片描述

代码

import cv2
import time
import math
import numpy as np
import mediapipe as mp# mediapipe配置
mp_drawing = mp.solutions.drawing_utils
mp_drawing_styles = mp.solutions.drawing_styles
mp_hands = mp.solutions.hands
hands =  mp_hands.Hands(static_image_mode=True,max_num_hands=2,min_detection_confidence=0.5)# 调用摄像头 0 默认摄像头 
cap = cv2.VideoCapture(0)# cv2.namedWindow("frame", 0)
# cv2.resizeWindow("frame", 960, 640)# 获取画面宽度、高度
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))# 方块初始数组
x = 100
y = 100
w = 100
h = 100L1 = 0
L2 = 0on_square = False
square_color = (0, 255, 0)# 读取一帧帧照片
while True:# 返回frame图片rec,frame = cap.read()# 镜像frame = cv2.flip(frame,1)frame.flags.writeable = Falseframe = cv2.cvtColor(frame, cv2.COLOR_BGR2RGB)# 返回结果results = hands.process(frame)frame.flags.writeable = Trueframe = cv2.cvtColor(frame, cv2.COLOR_RGB2BGR)# 如果结果不为空if results.multi_hand_landmarks:# 遍历双手(根据读取顺序,一只只手遍历、画画)# results.multi_hand_landmarks n双手# hand_landmarks 每只手上21个点信息for hand_landmarks in results.multi_hand_landmarks:mp_drawing.draw_landmarks(frame,hand_landmarks,mp_hands.HAND_CONNECTIONS,mp_drawing_styles.get_default_hand_landmarks_style(),mp_drawing_styles.get_default_hand_connections_style())# 记录手指每个点的x y 坐标x_list = []y_list = []for landmark in hand_landmarks.landmark:x_list.append(landmark.x)y_list.append(landmark.y)# 获取食指指尖index_finger_x, index_finger_y = int(x_list[8] * width),int(y_list[8] * height)# 获取中指middle_finger_x,middle_finger_y = int(x_list[12] * width), int(y_list[12] * height)# 计算两指尖距离finger_distance = math.hypot((middle_finger_x - index_finger_x), (middle_finger_y - index_finger_y))# 如果双指合并(两之间距离近)if finger_distance < 60:# X坐标范围 Y坐标范围if (index_finger_x > x and index_finger_x < (x + w)) and (index_finger_y > y and index_finger_y < (y + h)):if on_square == False:L1 = index_finger_x - xL2 = index_finger_y - ysquare_color = (255, 0, 255)on_square = Trueelse:# 双指不合并/分开on_square = Falsesquare_color = (0, 255, 0)# 更新坐标if on_square:x = index_finger_x - L1y = index_finger_y - L2# 图像融合 使方块不遮挡视频图片overlay = frame.copy()cv2.rectangle(frame, (x, y), (x + w, y + h), square_color, -1)frame = cv2.addWeighted(overlay, 0.5, frame, 1 - 0.5, 0)# 显示画面cv2.imshow('frame',frame)# 退出条件if cv2.waitKey(1) & 0xFF == ord('q'):breakcap.release()
cv2.destroyAllWindows() 

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/749263.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

MySQL 读写分离中的过期读问题及其解决方案

MySQL读写分离是一种常见的数据库架构优化手段&#xff0c;通过将读操作分散到多个从库&#xff0c;以减轻主库的压力&#xff0c;提高系统的响应速度和并发能力。然而&#xff0c;这种架构下会出现“过期读”问题&#xff0c;即由于主从之间数据同步存在延迟&#xff0c;导致从…

【系统架构师】-第3章-信息系统基础知识

1、信息系统的基本功能 输入&#xff1a;决定于系统所要达到的目的及系统的能力和信息环境的许可存储&#xff1a;存储各种信息资料和数据的能力处理&#xff1a;数据处理工具&#xff0c;利用OLAP、DM&#xff08;数据挖掘&#xff09;技术输出&#xff1a;保证最终实现最佳的…

qml 触摸事件

一.qml 触摸事件讲解 QML触摸事件是通过信号和槽机制实现的&#xff0c;在QML中&#xff0c;触摸事件通常使用MouseArea或MultiPointTouchArea元素来处理。 QML中的触摸事件处理背后原理是基于信号和槽机制&#xff0c;当用户与界面交互时&#xff0c;如触摸屏幕&#xff0c;相…

AI人员入侵识别摄像机

AI人员入侵识别摄像机是一种智能监控设备&#xff0c;利用人工智能技术辨认并报警可能的入侵行为。这种摄像机利用深度学习算法实时分析监控画面&#xff0c;识别出普通行人和潜在入侵者之间的差异&#xff0c;从而更准确地预警可能发生的安全事件。 该摄像机通过对比数据库中存…

springboot项目学习-瑞吉外卖(1)

第一天任务如下&#xff1a; 建立基本架构完成登录、退出功能 注意&#xff1a;本博客没有使用网上教程里的mybatis-plus&#xff0c;使用的是mybatis&#xff1b;数据库连接池也没有使用教程里的druid&#xff0c;使用的是spring自带的连接池 基本架构 common包&#xff1a;存…

Xml文件解析

Xml文件解析 在Python中解析XML文件通常使用标准库中的xml.etree.ElementTree模块&#xff0c;或者使用第三方库如lxml。下面将分别介绍使用这两种方法来解析XML文件。 使用xml.etree.ElementTree解析XML文件 xml.etree.ElementTree是Python的内置库&#xff0c;用于解析XML文…

【Linux进程状态】

提示&#xff1a;文章写完后&#xff0c;目录可以自动生成&#xff0c;如何生成可参考右边的帮助文档 目录 前言 一、直接谈论Linux的进程状态 看看Linux内核源代码怎么说 1.1、R状态 -----> 进程运行的状态 1.2、S状态 -----> 休眠状态(进程在等待“资源”就绪) 1.3、T状…

奇怪的比赛(Python,递归,状态压缩动态规划dp)

目录 前言&#xff1a;题目&#xff1a;思路&#xff1a;递归&#xff1a;代码及详细注释&#xff1a; 状态压缩dp&#xff1a;代码及详细注释&#xff1a; 总结&#xff1a; 前言&#xff1a; 这道题原本是蓝桥上的题&#xff0c;现在搜不到了&#xff0c;网上关于此题的讲解…

echo,date,bc命令详解

文章目录 echo&#xff0c;date&#xff0c;bc命令详解echo(输出文本)date(显示日期的命令)date命令的--date选项date命令 bc(高精度计算器) echo&#xff0c;date&#xff0c;bc命令详解 echo(输出文本) echo命令是一个常用的Shell命令&#xff0c;用于在终端上输出文本。它…

Python爬虫:原理与实战

引言 在当今的信息时代&#xff0c;互联网上的数据如同浩瀚的海洋&#xff0c;充满了无尽的宝藏。Python爬虫作为一种高效的数据抓取工具&#xff0c;能够帮助我们轻松地获取这些数据&#xff0c;并进行后续的分析和处理。本文将深入探讨Python爬虫的原理&#xff0c;并结合实战…

企业的数据治理如何评估

在数字化时代&#xff0c;企业对数据的管理和利用已经成为了一个关键的竞争力。通过有效的数据治理&#xff0c;企业能够更好地理解、分析和应用数据&#xff0c;从而提升决策的准确性和效率。然而&#xff0c;要构建一个高效可靠的数据管理体系&#xff0c;并进行评估&#xf…

acp认证考试费用多少?

2023年阿里云大数据ACP认证费用为1200元。请注意&#xff0c;此费用涵盖一次考试机会&#xff0c;若未能通过考试&#xff0c;需要重新缴费才能再次参加考试。 二、考试方式与地点 阿里云大数据ACP认证考试采用线上或线下考试方式。无论你身在何处&#xff0c;都可以方便地参…

Docker环境快速搭建RocketMq

window上面安装&#xff1a; 1.Namesrv docker pull rocketmqinc/rocketmq创建C:/docker/rocketmq/data/namesrv/logs:/root/logs C:/docker/rocketmq/data/namesrv/store:/root/store 目录 namesrv: docker run -d --restartalways --name rmqnamesrv -p 9876:9876 -v C:/do…

kkview远程控制: 内网远程桌面控制软件

内网远程桌面控制软件&#xff1a;高效、安全的远程管理方案 在信息技术日新月异的今天&#xff0c;内网远程桌面控制软件已成为许多企业和个人用户不可或缺的工具。这类软件允许用户通过内部网络&#xff0c;实现对其他计算机的远程访问和控制&#xff0c;从而大大提高工作效…

LLM大语言模型(七):部署ChatGLM3-6B并提供HTTP server能力

目录 HighLight 部署ChatGLM3-6B并开启HTTP server能力 下载embedding模型bge-large-zh-v1.5 HTTP接口问答示例 LLM讲了个尴尬的笑话~ HighLight 将LLM服务化&#xff08;如提供HTTP server能力&#xff09;&#xff0c;才能在其上构建自己的应用。 部署ChatGLM3-6B并开启…

[Windows] Win11 常用快捷键

文章目录 &#x1f680; [Windows] Win11 常用快捷键&#x1f310; Windows 操作系统&#x1f525; Windows 11 &#x1f310; Windows 11 快捷键概览&#x1f525; 基本快捷键&#x1f525; 窗口快捷键&#x1f525; 功能快捷键 &#x1f4dd; 小结 &#x1f680; [Windows] W…

工欲善其事,必先利其器,Markdown和Mermaid的梦幻联动(2)

该文章Github地址&#xff1a;https://github.com/AntonyCheng/typora-notes/tree/master/chapter03-mermaid 在此介绍一下作者开源的SpringBoot项目初始化模板&#xff08;Github仓库地址&#xff1a;https://github.com/AntonyCheng/spring-boot-init-template & CSDN文…

C#编程语言在软件开发中的深度应用与实践

C#编程语言在软件开发中的深度应用与实践 一、引言 C#是一种现代、通用、面向对象的编程语言&#xff0c;由微软公司开发&#xff0c;并作为.NET框架的主要编程语言。它广泛应用于桌面应用程序、游戏开发、Web服务和云计算等多个领域。本文将探讨使用C#进行软件开发的深层次思路…

QT6 界面中嵌入第三方程序中的窗口

本文描述QT6 界面中嵌入第三方程序中的窗口。 第三方程序也是用QT6编写。 QT的编译器版本都为QT6.2.4 MSVC2019 64 bit 第三方程序为QT写的能调试成功。但不是QT写的还不可以。 使用场景:将软件分成几个模块&#xff0c;多人写或者一个人先后写。 1.头文件 #ifndef PAREN…

数字航海与网络深渊:探索出海策略中的技术维度

在这个数字化加速的时代&#xff0c;"出海"已经成为企业寻求新机遇、拓展全球视野的关键行动。而在这一进程中&#xff0c;SOCKS5代理、代理IP、跨界电商、游戏技术以及网络安全构成了出海航程中的核心技术舵手。这些技术不仅是航行工具&#xff0c;更是深渊中的指南…