Unity Meta Quest 一体机开发(九):【手势追踪】通过录制抓取手势实现自定义抓取姿势

文章目录

  • 📕教程说明
  • 📕录制前的准备
  • 📕第一种录制方法(Hand Grab Pose Tool 场景)
    • ⭐在运行模式中确认录制
    • ⭐保存录制的手势,将物体做成 Prefab
    • ⭐在编辑阶段调整抓取手势
      • 🔍Fingers Freedom
      • 🔍调整录制手势的手指弯曲
      • 🔍隐藏预渲染的手势模型
  • 📕第二种录制方法(Hand Grab Pose Recorder 窗口)
    • ⭐选择用哪一只手录制
    • ⭐选择给哪一个物体录制抓取手势
    • ⭐在运行模式中确认录制
    • ⭐保存录制的手势
    • ⭐给物体加载录制的手势数据
    • ⭐在编辑阶段调整抓取手势
  • 📕生成镜像手势
  • 📕生成姿势相同,不同缩放的手势

此教程相关的详细教案,文档,思维导图和工程文件会放入 Spatial XR 社区。这是一个高质量 XR 社区,博主目前在内担任 XR 开发的讲师。此外,该社区提供教程答疑、及时交流、进阶教程、外包、行业动态等服务。

社区链接:
Spatial XR 高级社区(知识星球)
Spatial XR 高级社区(爱发电)

在这里插入图片描述


📕教程说明

这篇教程将会介绍如何录制可抓取物体的抓取手势。

配置一个基本的玩家物体可以参考前几期教程:https://blog.csdn.net/qq_46044366/article/details/134097455

系列教程专栏:https://blog.csdn.net/qq_46044366/category_12118293.html

配套的视频链接:
9.通过录制手部动作,实现自定义VR抓取动作

​电脑操作系统:Windows 11

使用的 VR 设备:Meta Quest 3(Quest 系列都适用)

使用的 Unity 版本:2021.3.5 LTS (这里推荐使用 2021 及以上的 LTS 版本)

Meta XR SDK 版本:v57

官方文档:https://developer.oculus.com/documentation/unity/unity-gs-overview/

录制抓取手势文档:
https://developer.oculus.com/documentation/unity/unity-isdk-creating-handgrab-poses/


📕录制前的准备

需要给物体添加碰撞体,刚体 Rigidbody 和 Grabbable 脚本。(这期教程会先介绍录制没有物理效果的物体的抓取手势,所以我先把碰撞体的 Is Trigger 勾选上,把刚体的 Use Gravity 取消掉,实际上,在录制抓取手势的时候最好先取消物体的物理效果,这样物体能够固定住,方便我们录制)

在这里插入图片描述


📕第一种录制方法(Hand Grab Pose Tool 场景)

借助 Interaction SDK 中的 Hand Grab Pose Tool 场景(在 v57 中位于 Asset/Oculus/Interaction/Samples/Scenes/Tools 下)

在这里插入图片描述

在这里插入图片描述

注:录制时必须要在 Unity 运行模式下,并且要通过 Oculus Link 有线串流。

⭐在运行模式中确认录制

在这里插入图片描述

在做好物体的前置准备后,我们就可以点击 Unity 的运行按钮进入运行模式,用一只手去抓取物体摆出抓取姿势,然后用另一只手去按场景中桌子上的按钮,按下后等3秒,就会录制好抓取手势,物体上会渲染出一个抓取手势的手部模型。

在这里插入图片描述

然后物体身上会多出一个 HandGrabInteractable 子物体,该子物体身上有一个 HandGrabPose 子物体,HandGrabPose 物体记录了录制的抓取手势数据。

⭐保存录制的手势,将物体做成 Prefab

在这里插入图片描述

我们需要把录制好抓取手势的物体制作成 Prefab 预制体,将它拖到 Assets 下文件夹下的任意一个位置或者子文件夹,然后再退出运行模式。Prefab 会记录保存我们在运行模式下对物体做出的更改。

退出运行模式后,我们就可以把保存的 Prefab 拖到场景中,此时物体就具备了刚刚录制抓取的手势。

⭐在编辑阶段调整抓取手势

在这里插入图片描述
在这里插入图片描述

🔍Fingers Freedom

我们可以点击物体身上的 HandGrabPose 子物体,调整 HandGrabPose 脚本上的 Fingers Freedom 参数:

在这里插入图片描述

每根手指会有三个参数可以选择:
在这里插入图片描述

如果选择了 Locked,在手部呈现出抓取手势后,虚拟的手指姿态会被固定住,无法跟随现实中的手指弯曲,除非取消抓取。

如果选择了 Constrained,在手部呈现出抓取手势后,虚拟的手指可以跟随现实的手指向外弯曲,而不能继续向内弯曲。

如果选择了 Free,虚拟手指可以跟随现实手指自由弯曲。

🔍调整录制手势的手指弯曲

在这里插入图片描述

点击 HandGrabPose 物体,可以看到渲染的抓取手势模型关节上有蓝色或者紫色的圈,我们可以去调整这些圈的旋转角度来调整手势关节的旋转角度。

🔍隐藏预渲染的手势模型

此时,如果我们运行程序,会发现预渲染的手势模型会一直存在。如果要隐藏它,我们可以隐藏或者删除 HandGrabPose 物体上的子物体:

在这里插入图片描述

不过,如果我们用鼠标选中了 HandGrabPose 物体,还是会渲染出手势模型的。但是不去选中这个物体就看不到手势模型了。

📕第二种录制方法(Hand Grab Pose Recorder 窗口)

点击 Unity 编辑器菜单栏中的 Oculus/Interaction/Hand Grab Pose Recorder:

在这里插入图片描述

然后会跳出一个窗口,之后我们就根据窗口上的步骤进行配置:

在这里插入图片描述

如果使用这种录制方式,我们可以在任意场景中进行

⭐选择用哪一只手录制

窗口中的第一个参数需要传入一个 Hand 脚本。Hand 脚本在玩家物体上的 RightHand 和 LeftHand 子物体上:

在这里插入图片描述
在这里插入图片描述
假如我选择用右手进行录制,那么我就可以将场景中的 RightHand 物体拖到 Hand Grab Pose Recorder 窗口中的 Hand 变量上,它会自动识别物体身上的 Hand 脚本:

在这里插入图片描述

⭐选择给哪一个物体录制抓取手势

接下来我们将场景中需要录制抓取手势的物体拖到录制窗口中,前提是这个物体身上添加了刚体组件:
在这里插入图片描述

⭐在运行模式中确认录制

接下来,我们点击 Unity 的运行按钮进入到运行模式,用之前我们选择录制抓取手势的手摆出抓取物体的姿势,我们可以用鼠标点击窗口中的 Record HandGrabPose 确认录制抓取手势,或者将鼠标光标移到 Hand Grab Pose Recorder 窗口,双击一下进入到 Focus 状态,然后按下键盘的空格键确认录制

在这里插入图片描述
录制成功后物体身上会渲染出抓取手势的模型。

⭐保存录制的手势

在这里插入图片描述
点击 Hand Grab Pose Recorder 窗口中的 Save To Collection 对抓取手势的数据进行保存,然后退出运行模式。

⭐给物体加载录制的手势数据

退出运行模式后,选中物体,点击 Hand Grab Pose Recorder 窗口中的 Load From Collection:

在这里插入图片描述

然后这个物体身上会多出一个 HandGrabInteractable 子物体,记录了录制过的抓取手势。

⭐在编辑阶段调整抓取手势

这一步和第一种方法中的调整方法是一样的,这种录制方式是没有隐藏预渲染的手势模型这一步。

📕生成镜像手势

我们可以点击 HandGrabInteractable 物体上的 HandGrabInteractable 脚本的 Create Mirrored HandGrabInteractable:

在这里插入图片描述

比如我使用右手录制抓取手势,那么就能够快速生成左手的镜像抓取手势。

在这里插入图片描述

📕生成姿势相同,不同缩放的手势

在这里插入图片描述

调整 HandGrabInteractable 脚本上 Scale Hand Grab Poses 下的滑动条修改抓取手势的缩放大小,然后点击 Add HandGrabPoseKey 按钮就能快速生成相应缩放大小的手势。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/205183.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

德国进口高速主轴电机在机器人上的应用及选型方案

随着机器人技术的日新月异,高速主轴电机在机器人领域的应用也日趋广泛。德国进口的SycoTec高速主轴电机,以其高转速、高精度、高刚度的特点,在机器人的切割、铣削、钻孔、去毛刺等加工应用中发挥着关键作用。 一、高速主轴电机的特点 SycoT…

微信机器人接口开发

简要描述: 设置http回调地址 请求URL: http://域名地址/setHttpCallbackUrl POST 请求头Headers:(别忘了传) Content-Type:application/jsonAuthorization:login接口返回 参数: 参数名必…

了解Linux网络配置

本章主要介绍网络配置的方法。 网络基础知识 查看网络信息 图形化界面修改 通过配置文件修改 命令行管理 11.1 网络基础知识 一台主机需要配置必要的网络信息,才可以连接到互联网。需要的配置网络信息包括IP、 子网掩码、网关和 DNS。 11.1.1 IP 地址 在计算机…

1.10 C语言之外部变量与作用域

1.10 C语言之外部变量与作用域 一、外部变量概述二、练习 一、外部变量概述 我们说,函数(不管是main函数还是其他函数)内部定义的变量,其作用范围都只在函数内部,我们把这些变量叫做自动变量或者局部变量。除了局部变…

嵌入式工程师校招经验与学习路线总结

前言:不知不觉2023年秋招已经结束,作者本人侥幸于秋招中斩获数十份大差不差的OFFER,包含:Top级的AIGC,工控龙头,国产MCU原厂,医疗器械,新能源车企等。总而言之,秋招总体情…

HarmonyOS开发工具DevEco Studio的下载和安装

一、DevEco Studio概述 一、下载安装鸿蒙应用开发工具DevEco Studio 开发鸿蒙应用可以从鸿蒙系统上运行第一个程序Hello World开始。 为了得到这个Hello World,你需要得到这个Hello World的源代码,源代码是用人比较容易看得懂的计算机编程语言规范写的…

leetcode做题笔记1466. 重新规划路线

n 座城市,从 0 到 n-1 编号,其间共有 n-1 条路线。因此,要想在两座不同城市之间旅行只有唯一一条路线可供选择(路线网形成一颗树)。去年,交通运输部决定重新规划路线,以改变交通拥堵的状况。 路…

排序:直接选择排序

直接选择排序: 本质: 直接选择排序的本质就是在数组中进行遍历挑选出最大的元素,讲最大的元素放到对应的位置后,再次选出次大的位置,而后又放到对应的位置..........................直到数组成为一个有序序列。 优…

Leetcode刷题笔记题解(C++):LCR 121. 寻找目标值 - 二维数组

思路:从左小角或者右上角开始遍历,假设右上角开始遍历,如果当前值大于目标值则列-1;如果当前值小于目标值则行1,以此遍历来查找目标值;注意col和row的选取 class Solution { public:bool findTargetIn2DPl…

异常检测 | 基于孤立森林(Isolation Forest)的数据异常数据检测(结合t-SNE降维可视化)

异常检测 | MATLAB实现基于孤立森林的数据异常检测 目录 异常检测 | MATLAB实现基于孤立森林的数据异常检测效果一览基本介绍程序设计参考资料 效果一览 基本介绍 Matlab实现基于孤立森林(Isolation Forest)的数据异常数据检测可视化(完整源码和数据) 基于孤立森林(…

状态机的练习:按键控制led灯

设计思路: 三个按键控制led输出。 三个按键经过滤波(消抖),产生三个按键标志信号。 三个led数据的产生模块(流水,跑马,闪烁模块),分别产生led信号。 这六路信号(三路按键信号&am…

SpringBoot 注入RedisTemplat 启动报错

需求 因为需要限制部门内多个人员同一时间操作同一批客户的需求,考虑下决定用Redis滑动窗口实现自过期以及并发校验。 问题 新建了个Redis工具类封装RedisTemplat 操作,到启动时却发现无法正常启动,报错注入错误。 The injection point has…

SpringBoot集成系列--ElasticJob

文章目录 一、集成步骤1、添加 ElasticJob 的依赖2、配置 ElasticJob3、定义Job 二、ElasticJob-UI三、Elastic-Job分片理解四、原理 一、集成步骤 1、添加 ElasticJob 的依赖 引入相关依赖到pom.xml <!-- Elastic-Job --> <dependency><groupId>org.apac…

Liunx Centos 防火墙操作

liunx centos 防火墙 查看防火墙状态 systemctl status firewalld查看已经开放的端口 firewall-cmd --list-ports添加端口3306 firewall-cmd --zonepublic --add-port3306/tcp --permanent重启防火墙 firewall-cmd --reload数据库开放账号可以外网登陆 mysql -u root -p …

JavaSE语法之五:数组的定义与使用(超详解!!!)

文章目录 一、数组的概念1. 什么是数组2. 数组的创建及初始化3. 数组的使用3.1 数组中元素的访问3.2 遍历数组 二、数组是引用类型1. 初始JVM的内存分布2. 基本类型变量与引用变量的区别3. 引用变量4. 认识null 三、数组的应用场景1. 保存数据2. 作为函数的参数2.1 参数传基本类…

Cheat Engine修改器检测方案

在游戏安全对抗过程中&#xff0c;有不少外挂的实现基于对游戏内存模块进行修改&#xff0c;这类外挂通常会使用「内存修改器」。 据FairGuard游戏安全数据统计&#xff0c;在游戏面临的众多安全风险中&#xff0c;修改器的占比高达16% 。如此高的占比&#xff0c;修改器的危害…

血糖仪_智能便携式血糖检测仪定制_基于联发科MTK8788血糖仪方案

糖尿病早期通常没有明显的症状&#xff0c;因此很难自己意识到自己已经进入高血糖状态。而且&#xff0c;到医院进行检查需要挂号、门诊和排队等步骤&#xff0c;不仅费时费力&#xff0c;对于父母来说&#xff0c;频繁去医院检查是不现实的&#xff0c;也不舍得这样做。因此&a…

maven-assembly-plugin 自定义打包

我想把input文件夹给打包进去 pom文件 <build><plugins><plugin><groupId>org.apache.maven.plugins</groupId><artifactId>maven-assembly-plugin</artifactId><executions><execution><!-- 配置执行器 --><i…

vue2 百度地图实现 车在线路上移动 BMap、BMapGL

文章目录 效果BMap 实现vue2 中BMap实现vue2 中使用BMapGL实现 参考文章&#xff1a; 百度地图API实时画出动态运行轨迹&#xff08;一条行驶轨迹&#xff09;&#xff0c;车头实时指向行驶方向&#xff0c;设置角度偏移 下文中可能用到的图片统一放在上面&#xff0c;自取。 …

Halcon threshold_sub_pix (Operator)

read_image(Image,fabrik) threshold_sub_pix(Image,Border,35) dev_display(Border)Image是输入的原始图像&#xff0c;Threshold是设定的阈值&#xff0c;Width和Height是像素值计算区域的大小&#xff0c;ThresholdedRegion是经过分割后得到的二值化结果。 在对图像进行二值…