Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置(上)

Hololens 2应用开发系列(2)——MRTK基础知识及配置文件配置

  • 一、前言
  • 二、MRTK基础知识
    • 2.1 MRTK概述
    • 2.2 MRTK运行逻辑
    • 2.3 MRTK配置文件介绍
    • 2.4 MRTK服务
  • 三、配置文件使用
    • 3.1 总配置文件
    • 3.2 相机配置
    • 3.3 其他配置
  • 参考文献

一、前言

在前面的文章中,我们已学习了使用MRTK在Unity中设置混合现实场景并进行程序模拟,其中,对于检查器中MRTK的各项配置大家可能还难以捉摸。虽然微软官方为我们提供了一些使用教程,但内容却缺乏对项目的针对性,使我们在了解过程中,难以确定某些设置是否是我们所需要的,这样设置是否正确。因此本文在介绍这些配置之前,先对MRTK的基础知识进行讲解,然后再对具体配置进行介绍。下面,让我们开始吧。
MRTK

二、MRTK基础知识

2.1 MRTK概述

MRTK是一个由微软公司驱动的统一、跨平台、支持AR/MR/VR设备开发的框架。它支持如Hololens、HTC、Oculus等多种设备,并添加了多种对不同XR插件的支持,如OpenXRWindows XRARCore XR等,各个XR SDK对应着不同类型的设备和平台,在Unity编辑器的项目设置中,我们可以在选择指定平台后找到其对应的XR插件,如下图所示。
XR SDK
具体来说,MRTK本身提供了一系列预构建的组件和服务,包括输入系统、交互对象、空间感知、UI元素以及演示场景等,但它并不直接处理底层XR平台的具体实现细节,比如硬件驱动通信或操作系统级的接口调用,而XR SDK则是专门用来整合和管理特定XR功能的软件开发套件,它们通常提供更底层的API来访问和控制硬件的功能,例如眼动追踪、手势识别、空间定位等。不同的XR SDK针对不同的硬件平台进行优化,以确保应用程序能够充分利用各个平台的独特功能。针对HoloLens 2我们通常使用OpenXR来进行项目的编写和构建。如需针对其他平台配置MRTK,请参考微软官方文档。
MRTK利用Unity配置MR应用的所有功能特性,需要我们使用配置文件Profiles对这些功能进行管理,通过配置文件,我们不仅可以定制所有功能,还可以替换掉默认的功能执行方式来执行自己的逻辑。·

2.2 MRTK运行逻辑

区分于Unity对象管理和生命周期控制的核心逻辑以及程序设计的核心逻辑(通过继承MonoBehaviour类依靠对象的事件函数编写应用,或使用单例模式控制共享运行组件),为保障AR/MR应用对全局内容和全部生命周期的控制,MRTK把所有需要共享运行的组件改成了服务(Service),构建了一个服务容器,对上提供服务,对下执行具体实现,大大提高了整体框架的灵活性和可扩展性。参考MRTK2体系结构概述,其体系架构如下图所示。
MRTK体系架构
MRTK有多个核心服务,其互相配合或独立运行,全部共享相同的生命周期——启动、注册、更新和卸载,该生命周期与Unity的MonoBehaviour生命周期不同。MRTK对象(即之前提到的MixedRealityToolkit对象)用于管理其服务的生命周期和运行,此对象可确保程序开始时,服务的启动和初始化按预定义的顺序进行。
在结构的最上层,MRTK采用事件驱动,通过MixedRealityToolkit对象内挂载的Unity对象函数,处理来自Unity分发的事件消息,实现Unity消息与MRTK服务之间的通信,确保数据从低层级通过事件处理函数向高层级之间的流通。

2.3 MRTK配置文件介绍

MRTK通过使用配置文件定义应用程序的功能和其适用的目标设备,因此,错误的配置文件可能会导致程序在指定设备上无法运行。MRTK有一个总体的配置文件,该配置文件是一个可编程对象,用于存储全局数据,同时其又包含了许多子配置文件的定义,形成了一个配置文件树,与此对应的,在配置面板(选中MixedRealityToolkit对象后,Inspector检查器中会自动添加MixedRealityToolkit的配置面板)上我们不难发现,每一个标签页面都有其相关的配置文件选择,如下图所示。
MRTK配置文件介绍
配置文件指导了MRTK的运行有哪些功能,这些功能大都以服务形式提供,因此,配置文件的正确使用很关键。在了解这些配置文件之前,请先行继续了解MRTK的服务基础知识。

2.4 MRTK服务

MRTK中的服务可分为三类:原生服务扩展服务数据提供者。MRTK负责协调处理服务间的交互,确保服务得到所需的事件消息(AwakeInitializeUpdateDestroy等)。MRTK的服务通过服务容器进行管理,服务容器的实现通过MixedRealityServiceRegistry类,它是服务的所有者,原生服务扩展服务都必须先在它上面注册才能使用。
原生服务顾名思义,是MRTK官方的服务类型,它提供了混合现实的核心功能服务,包含相机(Camera)输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 七个模块。如果用户希望定义自己的服务处理逻辑,可继承BaseService或实现IMixedRealityService接口,以正确地被MixedRealityServiceRegistry服务容器管理。由开发人员创建的服务都称为扩展服务,MRTK在配置面板上提供了可视化的服务创建向导,后续将对其进行详细介绍。
数据提供者向特定服务(输入、空间感知)提供支持,所有数据提供者都需要实现IMixedRealityDataProvider接口,同时必须在服务配置文件中配置才能在MRTK中使用。

三、配置文件使用

微软官方为我们提供了配置文件配置指南,每个项目都需要根据项目功能、目标设备等进行配置。下面是针对Hololens 2设备配置文件的详细介绍。

3.1 总配置文件

MRTK的总配文件在配置面板的最上端,提供了若干默认配置。参考微软文档配置文件,其中,DefalutLeapMotionConfigurationProfile是用于配置手部追踪的特定配置文件,OpenXRConfigurationProfile是与OpenXR兼容设备的一个配置文件,OpenXR是一个由Khronos Group维护的开放标准,旨在简化和统一跨增强现实(AR)和虚拟现实(VR)平台的应用开发过程。而以Obsolete开头的,是已过时的配置文件,通常用于Unity 2019以前版本。
针对HoloLens设备,DefaultMixedRealityToolkitConfigurationProfile是一个通用配置文件,它未针对任何特定用例进行优化,可同时适用于HoloLens第一代和第二代设备。如果想要使用更适合其他平台的更高性能/具体的设置,可选择DefaultHoloLens2ConfigurationProfile或针对HoloLens1的DefaultHoloLens1ConfigurationProfile
总配置文件
DefaultHoloLens2ConfigurationProfile配置文件与通用配置文件DefaultMixedRealityToolkitConfigurationProfile之间的主要区别是启用了眼动追踪和视线输入模拟,而禁用了边界系统、传送系统等功能。
为了确保默认配置的有效性,MRTK锁定了默认配置文件的修改,因此我们需要通过Clone按钮来新建和定制自己的配置文件。
默认情况下,配置文件均位于项目根目录的Assets\MixedRealityToolkit.Generated\CustomProfiles文件夹中,您可在该目录找到针对您项目生成的配置文件。

3.2 相机配置

相机配置文件定义了所使用的渲染相机参数,该配置文件由主配置文件管理,在配置前,首先要确保相机系统的开启,即Enable Camera System被勾选。然后Camera System Type选择默认即可,它是MRTK预定的基础的摄像机系统类型,MRTK提供的默认类实现是MixedRealityCameraSystem,这块只有一种选项,暂时无需纠结,微软官方也尚未对其进行解释(如果您找到了相关说明感谢在文章下方分享并评论)。然后,根据需求选择所需的配置文件,Clone即可。此时,配置面板出现如下相机设置内容。
在这里插入图片描述
Camera Settings Providers相机设置提供程序负责处理与混合现实应用中的相机相关的设置和行为,它是为了处理不同混合现实平台和设备特定的相机设置需求而设计的,以增强不同的MR头戴式设备的不同的光学参数、渲染要求和立体视觉实现方式下的跨平台兼容性,并对镜头畸变、空间感知等进行优化。并非所有平台都需要相机设置提供程序。如果没有与运行应用程序的平台兼容的提供程序,Microsoft 混合现实工具包将应用基本默认值。同时,我们也可以针对自己的平台创建相机设置提供程序,详细可参考这篇文章。对于HoloLens 2应用开发,我们选择其默认的配置即可。
Display Setting显示设置是相机运用时的一些配置设置,包含Opaque(不透明的,针对VR)和Transparent(透明的,针对MR)两组设置,对于HoloLens 2,我们只需设置Transparent内容即可。其中包含近平面/远平面(元素渲染的最近最远距离,以为单位,建议为0.1和50)、清除标志(绘制过程中或帧刷新时内容,对于VR,此值设置为Skybox, 对于MR,设置为Color)、背景色(如果清除标志未设置为 Skybox,则将显示背景色属性)和图形质量
关于更多相机系统的概述,请参考微软官方文档相机系统概述 — MRTK2及其同级目录下的文件。

3.3 其他配置

除了前面提到的相机(Camera)配置,还包含输入(Input)边界(Boundary)传送(Teleport)空间感知(Spatial Awareness)诊断(Diagnostics)场景(Scene System) 等内容,而文章不宜过长,接下来的博客内容中,我将对其进行介绍。其中,**输入(Input)**尤为重要,MRTK所面对的输入错综复杂,除了前面提到的输入模拟外,还有实际的手势、语音、手柄、控制器等多种类型的输入设备,很多功能也建立在其之上,同时,我们也可以创建自己的输入。
在接下来的专栏中,我将用一篇文章详细全面地介绍输入配置的相关内容,感谢大家持续关注!!!

参考文献

[1] 汪祥春.HoloLens 2开发入门精要:基于Unity和MRTK[M]. 北京:清华大学出版社,2021.
[2] MRTK2-unity开发文档[EB/OL].https://learn.microsoft.com/zh-cn/windows/mixed-reality/mrtk-unity/mrtk2,2022.

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/715664.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用 Docker 部署 Answer 问答平台

1)介绍 GitHub:https://github.com/apache/incubator-answer Answer 问答社区是在线平台,让用户提出问题并获得回答。用户可以发布问题并得到其他用户的详细答案、建议或信息。回答可以投票或评分,有助于确定有用的内容。标签和分…

Ps:历史记录面板

Ps菜单:窗口/历史记录 Window/History 历史记录 History面板提供了对图像编辑过程中所进行更改的深入控制,可以让用户回溯并查看每一步操作,从而允许用户轻松撤销错误或比较不同的编辑效果。 ◆ ◆ ◆ 常用操作方法与技巧 “历史记录”面板…

CentOS7设置虚拟机语言为中文

1.查看本地安装的语言 locale -a 是一个Linux命令,用于列出系统中可用的所有区域设置(locales)它包含了各种语言和地区的不同设置。 打开终端(右键open terminal)输入 locale -a 查看本地安装的语言: 其中z…

一些可以访问gpt的方式

1、Coze扣子是新一代 AI 大模型智能体开发平台。整合了插件、长短期记忆、工作流、卡片等丰富能力,扣子能帮你低门槛、快速搭建个性化或具备商业价值的智能体,并发布到豆包、飞书等各个平台。https://www.coze.cn/ 2、https://poe.com/ 3、插件阿里…

EasyRecovery16电脑硬盘数据恢复软件功能详解

在数字化时代,人们在日常生活和工作中越来越依赖于电脑和移动设备。不管是个人用户还是企业,数据的重要性都不言而喻。然而,数据丢失和损坏的风险也随之增加,因此,数据恢复软件的需求也日益增长。 EasyRecovery 16是一…

【打工日常】使用docker部署在线Photopea用于linux下替代ps

一、Photopea介绍 linux没有ps适配,对于有时候工作来说确实不方便,我找了很久,才找到了一款功能可以跟ps接近的在线软件,使用docker部署就可以了。它是ps的最佳替代品之一,其界面几乎与ps相同,只不过它是在…

Springboot+vue的医药管理系统(有报告)。Javaee项目,springboot vue前后端分离项目。

演示视频: Springbootvue的医药管理系统(有报告)。Javaee项目,springboot vue前后端分离项目。 项目介绍: 采用M(model)V(view)C(controller)三层…

云轴科技ZStack与华东师范大学共建产教融合基地

近日,上海云轴信息科技有限公司(云轴科技ZStack)与华东师范大学上海国际首席技术官学院宣布,共同打造产教融合基地,以促进人才培养与产业需求的全方位融合。这一举措旨在深化教育与产业的合作关系,培养更多…

实战 | 使用YOLOv8图像分割实现路面坑洞检测(步骤 + 代码)

导 读 本文主要介绍使用YOLOv8图像分割实现路面坑洞检测(步骤 代码)。 背 景 如上图所示,现实生活中路面坑洞对车辆和驾驶员安全来说存在巨大隐患,本文将介绍如何使用YoloV8图像分割技术来检测路面坑洞,从而提示驾…

计算机网络|Socket

文章目录 Socket并发socket Socket Socket是一种工作在TCP/IP协议栈上的API。 端口用于区分不同应用,IP地址用于区分不同主机。 以下是某一个服务器的socket代码。 其中with是python中的一个语法糖,代表当代码块离开with时,自动对s进行销毁…

JS:原型与原型链(附带图解与代码)

一、原型 写在前面: 任何对象都有原型。 函数也是对象,所以函数也有原型。 1.什么是原型 在 JavaScript 中,对象有一个特殊的隐藏属性 [[Prototype]],它要么为 null,要么就是对另一个对象的引用,该对象…

什么是片内片间均匀性?

均匀性在芯片制程的每一个工序中都需要考虑到,包括薄膜沉积,刻蚀,光刻,cmp,离子注入等。较高的均匀性才能保证芯片的产品与性能。那么片内和片间非均匀性是什么?如何计算?有什么作用呢&#xff…

递归与递推(蓝桥杯 c++)

目录 题目一&#xff1a; 代码&#xff1a; 题目二: 代码&#xff1a; 题目三&#xff1a; 代码&#xff1a; 题目四&#xff1a; 代码&#xff1a; 题目一&#xff1a; 代码&#xff1a; #include<iostream> #include<cstring> using namespace std; int …

node.js最准确历史版本下载

先进入官网:Node.js https://nodejs.org/en 嫌其他博客多可以到/release下载:Node.js,在blog后面加/release https://nodejs.org/en/blog/release/ 点击next翻页,同样的道理

设计模式-结构型模式-外观模式

外观模式&#xff08;Facade&#xff09;&#xff0c;为子系统中的一组接口提供一个一致的界面&#xff0c;此模式定义了一个高层接口&#xff0c;这个接口使得这一子系统更加容易使用。[DP] 首先&#xff0c;定义子系统的各个组件接口和具体实现类&#xff1a; // 子系统组件接…

2、事件机制、DOM操作、jquery对尺寸操作、jquery添加和删除

一、事件机制 1、事件源.事件类型(事件处理程序) $(this)中的this不能加引号 $(#box).click(function () {$(this).css(background-color,blue)//点击颜色变为蓝色 })2、事件源.on/bind(事件类型&#xff0c;事件处理程序) $("#box").on(dbclick,function () {$(…

适配器模式在微服务的巧妙应用

适配器模式&#xff08;Adapter Pattern&#xff09;是一种结构型设计模式&#xff0c;它允许不兼容的接口之间可以一起工作。适配器模式通常用于将一个类的接口转换成客户端期望的另一种接口&#xff0c;从而使原本因接口不兼容而不能一起工作的类可以一起工作。 适配器模式的…

使用Haproxy搭建Web群集

Hapraxy是目前比较流行的一种群集调度工具&#xff0c;同类群集调度工具有很多&#xff0c;如LVS 和Nginx。相 比较而言&#xff0c;LVS.性能最好&#xff0c;但是搭建相对复杂:Nginx的 upstream 模块支持群集功能&#xff0c;但是对群集节 点健康检查功能不强&#xff0c;性能…

基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的番茄成熟度检测系统(Python+PySide6界面+训练代码)

摘要&#xff1a;开发番茄成熟度检测系统对于提高农业产量和食品加工效率具有重大意义。本篇博客详细介绍了如何利用深度学习构建一个番茄成熟度检测系统&#xff0c;并提供了完整的实现代码。该系统基于强大的YOLOv8算法&#xff0c;并结合了YOLOv7、YOLOv6、YOLOv5的对比&…

腾讯云幻兽帕鲁服务器使用Linux和Windows操作系统,对用户的技术要求有何不同?

腾讯云幻兽帕鲁服务器使用Linux和Windows操作系统对用户的技术要求有何不同&#xff1f; 首先&#xff0c;从操作界面的角度来看&#xff0c;Windows操作系统相对简单易操作&#xff0c;适合那些偏好使用图形化界面操作的用户。而Linux操作系统则需要通过命令行完成&#xff0…