Unity Apple Vision Pro 开发(三):visionOS 应用形态

文章目录

  • 📕教程说明
  • 📕常用名词解释
  • 📕visionOS 空间类型
    • ⭐Shared Space 共享空间
    • ⭐Full Space/Immersive Space 独占空间
  • 📕visionOS 渲染框架
  • 📕Unity 开发 visionOS 应用的不同模式
    • ⭐**窗口模式**
    • ⭐VR 模式
    • ⭐MR 模式
  • 📕总结

此教程相关的详细教案,文档,思维导图和工程文件会放入 Spatial XR 社区。这是一个高质量 XR 开发者社区,博主目前在内担任 XR 开发的讲师。该社区提供专人答疑、完整进阶教程、从零到一项目孵化保姆服务、投资|融资对接、工程文件下载等服务。

社区链接:
SpatialXR社区:完整课程、项目下载、项目孵化宣发、答疑、投融资、专属圈子

在这里插入图片描述


📕教程说明

这期教程我将介绍使用 visionOS 的应用形态,以及 Unity 是如何适配 visionOS 的。掌握了相关的知识点后,我们就能明白能在苹果头显中开发什么类型的应用,每一种类型在开发的时候有哪些限制,能够利用上什么特性。

视频讲解:
https://www.bilibili.com/video/BV1XS421d7rK


📕常用名词解释

Metal:苹果系统的底层图形 API,负责渲染。

ARKit:苹果的 AR 框架,提供了跟踪、检测和姿态估计等核心功能。

RealityKit:基于 ARKit 的一套更高层的框架。拥有 3D 引擎来处理AR应用的渲染,物理,动画等效果。【AR+3D渲染】渲染的底层也是基于 Metal,但是提供了更高层的封装。


📕visionOS 空间类型

在这里插入图片描述

⭐Shared Space 共享空间

在这里插入图片描述

不同的 2D 窗口和 3D 应用能够在空间中一起运行。打开头显默认进入的就是共享空间。

高级版的程序多开:共享空间中的所有应用由 RealityKit 渲染。

交互方式:眼睛注视+Pinch 捏合手势(Pinch:捏合拇指和食指),近距离 Poke,近距离 Pinch

在这里插入图片描述

应用载体:Window 窗口和 Volume 体积分别装载平面窗口和 3D 应用。其中 3D 应用都是被包裹在了一个立方体的范围内。

在这里插入图片描述

⭐Full Space/Immersive Space 独占空间

  • 应用单独占据整个空间,会隐藏共享空间中的其他应用,然后整个空间只显示这个应用。类比电脑,电脑屏幕上可以显示多个窗口,对应共享空间;也可以一个应用全屏显示,对应独占空间。只不过现在这些应用被搬到了三维空间中,并且既可以有 2D 窗口,也可以有 3D 模型。独占空间中整个空间都是应用载体,也可以存放窗口或体积类型的内容。
  • 能够使用 ARKit 的功能(共享空间无法使用)。例:
    1. 手势追踪获取手部骨骼数据。用法:手部与虚拟物体碰撞,手势识别。
    2. 获取到房间的网格数据。用法:实现虚拟物体与现实物体之间的碰撞。
    3. 平面识别。
    4. 图片识别。
    5. 物体跟踪。
    6. 头部跟踪。

应用沉浸度:

在这里插入图片描述
在这里插入图片描述

📕visionOS 渲染框架

两种渲染方式。

RealityKit:一般用于渲染 Shared Space 和 Full Space 下的 Passthrough 模式【现实环境+虚拟内容】

CompositorServices:使用底层的 Metal 图形 API 和 ARKit 相关的环境感知等能力,来做渲染的合成。其他引擎的渲染能够基于这套 API 将自己渲染的内容适配到 visionOS 上,因此在渲染时能保留自己的渲染管线。
visionOS 1.0 时期一般用于渲染 Full Space下 的 Fully Immersive 模式(VR)。其他的游戏引擎开发 visionOS 的 VR 应用就是使用这种渲染方式。

visionOS 2.0 时期也支持 Full Space 下的 Passthrough 模式。

Full Space 下的渲染框架图:

在这里插入图片描述


📕Unity 开发 visionOS 应用的不同模式

窗口模式

Unity 里渲染的画面会显示在空间中的一个平面窗口中,使用 Metal 渲染。无需使用 Unity Pro 许可证和 XR 开发工具包,只需适配眼手交互的输入。

在这里插入图片描述

⭐VR 模式

显示完全虚拟的环境。渲染由 Unity 引擎完成,底层适配了苹果的 CompositorSevices,使用 Metal 渲染。使用 XR 开发工具包进行开发,和传统的 VR 开发方式类似。

在这里插入图片描述

⭐MR 模式

现实环境中添加虚拟内容。分为 Shared 模式(对应 Shared Space)和 Exclusive 模式(对应 Full Space)。使用 PolySpatial 工具包进行开发,Unity 不负责渲染,而是把渲染相关的东西转换成 RealityKit 能够理解的东西,最终交给 Realitykit 处理渲染。在 Unity 支持了 visionOS 2.0 之后开发 Full Space 下的 MR 应用也能使用 Metal 渲染,能使用 Unity 自己的渲染管线。

在这里插入图片描述


📕总结

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/35195.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

PostgreSQL 高级SQL查询(三)

1. JOIN 操作 1.1 内连接(INNER JOIN) 内连接用于返回两个表中存在匹配关系的记录。基本语法如下: SELECT columns FROM table1 INNER JOIN table2 ON table1.column table2.column;例如,从 users 表和 orders 表中检索所有用…

Python数据分析-电信客户流量预测与分析

一、背景介绍 研究背景:在快速发展和高度竞争的电信行业中,客户流失已成为运营商面临的主要挑战之一。电信服务的普及和用户选择的多样性使得保持客户忠诚度变得越来越困难。在这种背景下,准确预测客户流失并采取相应措施,对于运…

KVM配置嵌套虚拟化

按照以下步骤启用、配置和开始使用嵌套虚拟化,默认情况下禁用该功能,要启用它,请在宿主机物理机上进行配置。在centos stream 9和ubuntu 22部署kvm默认支持虚拟机嵌套虚拟化。 1、英特尔 1.1检查嵌套虚拟化在您的主机系统上是否可用 $cat /sys/module/kvm_intel/paramete…

深入理解Java中的Collectors(Stream流)

引言 在 Java 的 Stream API 中,Collectors 是一个非常强大的工具类,它提供了许多静态方法,用于将 Stream 的元素收集到集合、字符串或其他类型的结果中。使用 Collectors,我们可以轻松地进行数据聚合和转换操作。 文章目录 引言…

【threejs】火焰特效制作

2024-06-26 08-57-16火焰 shader 来源 //shadertory:https://www.shadertoy.com/view/ctVGD1//shadertory:https://www.shadertoy.com/view/ml3GWs 代码 import { DoubleSide, ShaderChunk, ShaderMaterial } from "three";export default fu…

4、广告-考核标准

在程序化广告中,评估广告效果是衡量广告活动成功与否的关键。本章将详细介绍广告效果的定义、层次和评估方法,并提供中文名词与英文名词的一一对应。 一、广告效果的定义(Definition of Advertising Effectiveness) 广告效果是指…

华为OD机试【高矮个子排队】(java)(100分)

1、题目描述 现在有一队小朋友,他们高矮不同,我们以正整数数组表示这一队小朋友的身高,如数组{5,3,1,2,3}。 我们现在希望小朋友排队,以“高”“矮”“高”“矮”顺序排列,每一个“高”位置的小朋友要比相邻的位置高或…

利用BFS解决每个零售店到仓库最短距离之和问题

1、题目 矩阵中有3种类型:0仓库,-1障碍,1零售店。现在每个零售店要去距离它最近的仓库取货物,请计算出所有零售店到最近仓库距离之和,假设矩阵中每个单元格之间距离为1。如果遇到障碍物,则表示无法通过。可…

图神经网络实战(15)——SEAL链接预测算法

图神经网络实战(15)——SEAL链接预测算法 0. 前言1. SEAL 框架1.1 基本原理1.2 算法流程 2. 实现 SEAL 框架2.1 数据预处理2.2 模型构建与训练 小结系列链接 0. 前言 我们已经学习了基于节点嵌入的链接预测算法,这种方法通过学习相关的节点嵌…

决策树回归原理详解及Python代码示例

决策树回归原理详解 决策树回归(Decision Tree Regression)是一种非参数监督学习方法,它使用树形结构来对目标变量进行预测。与线性回归模型不同,决策树回归不需要预先假设数据的分布形式,因此能够很好地处理非线性和高…

2024年上半年软件设计师上午真题及答案解析

1.在计算机网络协议五层体系结构中,( B )工作在数据链路层。 A.路由器 B.以太网交换机 C.防火墙 D.集线器 网络层:路由器、防火墙 数据链路层:交换机、网桥 物理层:中继器、集线器 2.软件交付之后&#xff…

数据可视化期末考试(编程)

1.KNN 1.新增数据的分类 import pandas as pd # 您的原始数据字典 data { 电影名称: [电影1, 电影2, 电影3, 电影4, 电影5], 打斗镜头: [10, 5, 108, 115, 20], 接吻镜头: [110, 89, 5, 8, 200], 电影类型: [爱情片, 爱情片, 动作片, 动作片, 爱情片] } …

uni-app uni-data-picker级联选择器无法使用和清除选中的值

出现问题&#xff1a; 使用点击右边的叉号按钮无法清除已经选择的uni-data-picker值 解决办法&#xff1a; 在uni-app uni-data-picker使用中&#xff0c;要添加v-model&#xff0c;v-model在官网的示例中没有体现&#xff0c;但若不加则无法清除。 <uni-data-picker v-m…

OpenAI用GPT-4o打造癌症筛查AI助手;手机就能检测中风,准确率达 82%!中国气象局发布AI气象大模型...

AI for Science 企业动态速览—— * 皇家墨尔本大学用 AI 检测患者中风&#xff0c;准确率达 82% * OpenAI 用 GPT-4o 模型打造癌症筛查 AI 助手 * 中国气象局发布 AI 气象大模型风清、风雷、风顺 * AI 药企英矽智能&#xff1a;小分子抑制剂已完成中国 IIa 期临床试验全部患者…

GPT-5智能新纪元的曙光

在美国达特茅斯工程学院周四公布的采访中&#xff0c;OpenAI首席技术官米拉穆拉蒂被问及GPT-5是否会在明年发布&#xff0c;给出了肯定答案并表示将在一年半后发布。穆拉蒂在采访中还把GPT-4到GPT-5的飞跃描述为高中生到博士生的成长。 这一爆炸性的消息&#xff0c;震动了整体…

linux下进度条的实现

目录 一、代码一版 1.processbar.h 2.processbar.c 3.main.c 二、代码二版 1.processbar.h 2.processbar.c 3.main.c 三、改变文字颜色 一、代码一版 使用模块化编程 1.processbar.h #include<stdio.h> #define capacity 101 //常量使用宏定义 #define style…

Perl文件句柄深度解析:掌握文件操作的核心

Perl中的文件句柄是进行文件输入输出操作的关键。它们提供了一种机制&#xff0c;允许Perl脚本打开文件、读写数据、定位文件指针&#xff0c;以及关闭文件。理解文件句柄的使用对于编写高效的Perl脚本至关重要。本文将深入探讨Perl文件句柄的概念、使用方法和最佳实践。 1. 文…

【Pytorch使用教程】torch.backends.cudnn.benchmark = True的作用

在 PyTorch 中,设置 torch.backends.cudnn.benchmark = True 是一种优化深度学习应用程序性能的方法,特别是当你有固定输入大小的时候。 解释 CuDNN:CUDA Deep Neural Network library(CuDNN)是 NVIDIA 提供的一个 GPU 加速库,用于深度神经网络。PyTorch 在底层使用 Cu…

代码随想录——买股票的最佳时机Ⅱ(Leecode122)

添加链接描述 贪心 局部最优&#xff1a;手机每天的正利润 全局最优&#xff1a;求最大利润 class Solution {public int maxProfit(int[] prices) {int res 0;for(int i 1; i < prices.length; i){res Math.max(prices[i] - prices[i - 1], 0);}return res;} }

【计算机视觉】mmcv库详细介绍

文章目录 MMVC库概览特点和优势主要组件应用案例示例一:数据加载和处理示例二:模型训练和验证MMVC库概览 MMCV 是一个用于计算机视觉研究的开源库,它为各种视觉任务提供了底层的、高度优化的 API。该库涵盖了从数据加载到模型训练的各个方面,广泛应用于开源项目,如 MMDet…