使用MTVerseXR SDK实现VR串流

1、概述​

MTVerseXR SDK 是摩尔线程GPU加速的虚拟现实（VR）流媒体平台，专门用于从远程服务器流式传输基于标准OpenXR的应用程序。MTVerseXR可以通过Wi-Fi和USB流式将VR内容从Windows服务器流式传输到XR客户端设备, 使相对性能低的VR客户端可以使用高性能图形服务器的渲染能力。

2、环境准备​

MTVerseXR SDK包括服务器驱动程序、客户端SDK和示例客户端应用程序。Windows上运行的服务端和VR头盔内的应用程序共同实现了Windows系统（边缘云）的SteamVR与VR头盔客户端的连接。

2.1 MTVerseXR 服务器驱动​

运行平台要求

  • 系统：x86 CPU + Windows10

  • 显卡：摩尔线程MTT S80, MTT S70, 驱动程序 v240.50或更新版本

  • 软件：SteamVR

  • 基于OpenXR的Windows VR应用

2.2 MTVerseXR 客户端SDK​

客户端SDK目前只支持Android系统。包含头文件、Android so库文件和资源文件，通过AAR的方式提供。

3、服务器驱动安装和启动​

  1. 安装SteamVR：
    • 下载并安装Steam
    • 在Steam中安装SteamVR
  2. 安装运行时库
    • 下载并安装vc_redist.x64.exe
  3. 安装Vulkan驱动:
    • 依次运行 VulkanRT-1.3.261.1-Installer.exe 和 VulkanSDK-1.3.261.1-Installer.exe 安装Vulkan
    • 链接如下：
      https://sdk.lunarg.com/sdk/download/1.3.261.1/windows/VulkanRT-1.3.261.1-Installer.exe
      https://sdk.lunarg.com/sdk/download/1.3.261.1/windows/VulkanSDK-1.3.261.1-Installer.exe
  4. 安装 MTVerseXR驱动:
    • 以管理员权限运行 MTVerseXRSetup-v1.0.0.exe 安装程序；
    • 按照安装向导的步骤进行安装，在最后一页，记得勾选“注册驱动”。如果未勾选注册驱动，可以通过以管理员权限运行安装目录下的 driver_install.bat 文件来完成注册；
    • 重启计算机
  5. 启动SteamVR
    • 确认MTVerseXR驱动启用， 查看SteamVR 【设置】-【启动/关闭】-【管理加载项】-【MTXR_VHMD】选项是开启状态(如果【设置】页面没有【启动/关闭】，点击【设置】页面的左下角【高级设置】下方的【显示】)

4、客户端开发指南​

基于Client SDK 开发App的C++部分大致框架如下：

int main() {MySetupGLES3-2MySetupXRSessionMySetupDeviceDesc(&ddesc);MySetupCallbacks(&callbacks);MySetupReceiverDesc(&rdesc, ddesc, callbacks)MTXRCreateReceiver();MTXRConnect();while (!*exiting*) {MyPlatformEventHandling();if (client_state < connected) {MyRenderConnectionProgress();}else if (client_state == connected) {UpdateTrackingState();MTXRFetchFrame()MTXRRenderFrame(framesFetched);MTXRReleaseFrame()}else {MyHandleDisconnect();exiting = true;}}MTXRDestroyReceiver()
}

请注意，此处的UpdateTrackingState是伪代码中更新位姿回调的占位符。在UpdateTrackingState中，可以处理头盔、手柄的位姿和手柄事件，保存最新的位姿信息，在回调中更新。

Java部分需要在Activity的onCreate中调用MTXRClient.init 初始化客户端SDK组件。
SDK同时提供了工具类MTXRServerDiscover和MTXRUSB。其中MTXRServerDiscover用于探测局域网中的MTVerseXR Server，MTXRUSB用于打开USB配件模式的文件描述句柄，具体参考示例代码。

4.1 引用SDK包​

在app的gradle中添加aar依赖。

手动或者使用gradle脚本解压aar文件后，在CMakeLists或者Android.mk中引用SDK的头文件和so文件。解压后头文件的路径为assets\include， so的路径为jni\arm64-v8a。

4.2 初始化​

Java部分的初始化：

  • 在App MainActivity的onCreate中调用 MTXRClient.init 完成。
protected void onCreate(Bundle savedInstanceState) {setContentView(R.layout.xr);// 初始化MTXRClientMTXRClient.init(getBaseContext());// do super first, as that sets up some native things.super.onCreate(savedInstanceState);boolean usMic = false;enableMicrophone(usMic);……
}

C++部分初始化：

  1. OpenGLES 3.2上下文环境初始化（SDK目前仅支持OpenGLES环境下的显示，版本要求>=3.2）；
  2. OpenXR Sessioin环境初始化（非必须通过OpenXR）；
  3. 获取设备相关参数填充MTXRReceiverDesc的成员变量，包括：显示分辨率、刷新率、音频接收状态等；
  4. 设置MTXRClientCallbacks中需要的回调函数，包括GetTrackingState（必须实现以同步最新的位姿和手柄输入）和GetHapticCallback（手柄震动反馈）；
  5. 调用MTXRCreateReceiver 创建Receiver对象，用于和服务器端通信的重要对象；
  6. 调用 MTXRConnect（Wifi连接）或者MTXRConnectUSB（USB连接） 连接服务器。
void XRScene::Start(const std::string& serverIp, int fd, bool enableMic) {m_desc.deviceDesc.posePollFreq = 0;m_desc.clientCallbacks.GetTrackingState = [](void *context, MTXRVRTrackingState *trackingState) {reinterpret_cast<XRScene*>(context)->GetTrackingState(trackingState);};m_desc.clientCallbacks.ReceiveMicrophoneData = NULL;m_desc.clientCallbacks.GetHapticCallback = [](void* context, MTXRHapticFeedback *haptic) {XRScene* that = reinterpret_cast<XRScene*>(context);if (NULL != that->m_haptic_callback && NULL != that->m_context) {that->m_haptic_callback(that->m_context, haptic);}};……m_desc.deviceDesc.receiveAudio = true;m_desc.clientContext = this;m_desc.requestedVersion = MTXR_VERSION_DWORD;m_desc.deviceDesc.sendAudio = enableMic;if (enableMic) {m_desc.clientCallbacks.ReceiveMicrophoneData = [](void* context, unsigned char* data, int size)->bool {return reinterpret_cast<XRScene*>(context)->ReceiveMicrophoneData(data, size);};}MTXRError ret = MTXRCreateReceiver(&m_desc, &m_receiver);if (MTXRError_Success == ret) {if (fd > 0) {MTXRConnectUSB(m_receiver, fd);} else {MTXRConnect(m_receiver, serverIp.c_str());}}
}

4.3 主循环​

MTVerseXR客户端App的主循环中需要根据当前的状态做出不同的行为。

  • Receiver未创建：显示一些交互UI，比如服务器的IP地址，让用户可以选择不同的连接方式。

  • 未连接到服务器：显示加载提示，告知用户正在连接服务器。

  • 成功连接到服务器：开始接收服务器传输的音视频数据。

  • 有可用的视频帧：判断当前是否有可用的视频帧，根据结果显示最新的视频或者缓存的视频帧。

  • 连接断开：用户主动断开连接后，应用需要清理相关资源。

渲染服务器视频流步骤:

  1. 获取可用视频帧：调用MTXRFetchFrame获取当前可用视频数据。
void XRScene::BeginFrame(int64_t predictedDisplayTime, const MTXRVRTrackingState& pose, const std::vector<XrView>& xrViews, bool showPerfUI) {{std::lock_guard<std::mutex> guard(m_poseLock);m_xrState = pose;}……m_xrFrame = std::make_shared<MTXRFramesFetched>();MTXRFetchFrame(m_receiver, m_xrFrame.get(), predictedDisplayTime, 0);
}

  1. 渲染视频帧：MTXRFetchFrame成功后，调用MTXRRenderFrame显示当前最新视频帧，否则跳过绘制或者显示之前的缓存。注意需要在激活GLES 3.2上下文环境的渲染线程中调用。
void XRScene::RenderFrame(const XrCompositionLayerProjectionView &layerView, int viewId) {MTXRPosef pose;pose.position = {layerView.pose.position.x, layerView.pose.position.y, layerView.pose.position.z};pose.orientation = {layerView.pose.orientation.x, layerView.pose.orientation.y, layerView.pose.orientation.z, layerView.pose.orientation.w};MTXRFovf fov = {layerView.fov.angleLeft, layerView.fov.angleRight, layerView.fov.angleUp, layerView.fov.angleDown};MTXRRenderFrame(m_receiver, m_xrFrame.get(), viewId == 0 ? MTXRFrameMask_Left : MTXRFrameMask_Right, &pose, &fov);
}void RenderView(int viewID,XrTime predictedDisplayTime,std::shared_ptr<XRScene> xrScene,const XrCompositionLayerProjectionView &layerView,const XrSwapchainImageBaseHeader *swapchainImage,int64_t swapchainFormat) override {glBindFramebuffer(GL_FRAMEBUFFER, m_swapchainFramebuffer);const XrSwapchainImageOpenGLESKHR* swapchainImageGLES = reinterpret_cast<const XrSwapchainImageOpenGLESKHR *>(swapchainImage);const uint32_t colorTexture = swapchainImageGLES->image;glViewport(static_cast<GLint>(layerView.subImage.imageRect.offset.x),static_cast<GLint>(layerView.subImage.imageRect.offset.y),static_cast<GLsizei>(layerView.subImage.imageRect.extent.width),static_cast<GLsizei>(layerView.subImage.imageRect.extent.height));glFrontFace(GL_CW);glCullFace(GL_BACK);glDisable(GL_CULL_FACE);glEnable(GL_DEPTH_TEST);const uint32_t depthTexture = GetDepthTexture(colorTexture);glFramebufferTexture2D(GL_FRAMEBUFFER, GL_COLOR_ATTACHMENT0, GL_TEXTURE_2D, colorTexture, 0);glFramebufferTexture2D(GL_FRAMEBUFFER, GL_DEPTH_ATTACHMENT, GL_TEXTURE_2D, depthTexture, 0);// Clear swapchain and depth buffer.glClearColor(BackgroundColor[0], BackgroundColor[1], BackgroundColor[2], BackgroundColor[3]);glClearDepthf(1.0f);glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT | GL_STENCIL_BUFFER_BIT);if (xrScene) {xrScene->RenderFrame(layerView, viewID);}glBindFramebuffer(GL_FRAMEBUFFER, 0);// Swap our window every other eye for RenderDocstatic int everyOther = 0;if ((everyOther++ & 1) != 0) {ksGpuWindow_SwapBuffers(&window);}
}

  1. 释放视频帧：绘制完成后，需要调用MTXRReleaseFrame通知MTVerseXR SDK内部释放和回收视频资源。
void XRScene::EndFrame() {MTXRReleaseFrame(m_receiver, m_xrFrame.get());m_xrFrame = nullptr;
}

4.4 资源清理​

退出客户端应用前，需要调用MTXRDestroyReceiver释放MTVerseXR的相关资源。

note

相关安装包、源码可以通过开发者社区下载：MTVerseXR SDK | 摩尔线程开发者)

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/pingmian/55689.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

15分钟学 Python 第38天 ：Python 爬虫入门（四）

15分钟学 Python 第38天 ：Python 爬虫入门（四）

Day38 : Python爬虫异常处理与反爬虫机制 章节1&#xff1a;异常处理的重要性 在爬虫开发过程中&#xff0c;网络请求和数据解析常常会遭遇各种异常。正确的异常处理可以提高程序的稳定性&#xff0c;避免崩溃&#xff0c;并帮助开发者快速定位问题。 章节2&#xff1a;常见…
阅读更多...
18710 统计不同数字的个数(升级版)

18710 统计不同数字的个数(升级版)

### 思路 为了快速判断某个数字是否在之前出现过&#xff0c;我们可以使用一个布尔数组来记录每个数字是否已经出现过。由于题目中给出了数字的范围&#xff08;0 < ai < 200000&#xff09;&#xff0c;我们可以开一个大小为200001的布尔数组来记录每个数字的出现情况。…
阅读更多...
网络编程（15）——服务器如何主动退出

网络编程（15）——服务器如何主动退出

十五、day15 服务器主动退出一直是服务器设计必须考虑的一个方向&#xff0c;旨在能通过捕获信号使服务器安全退出。我们可以通过asio提供的信号机制绑定回调函数即可实现优雅退出。 之前服务器的主函数如下 #include "CSession.h" #include "CServer.h"…
阅读更多...
ASP.NetCore---I18n（internationalization）多语言版本的应用

ASP.NetCore---I18n（internationalization）多语言版本的应用

文章目录 0.实现的效果如下1.创建新项目I18nBaseDemo2.添加页面中的下拉框3.在HomeController中添加ChangeLanguage方法4.在Progress.cs 文件中添加如下代码&#xff1a;5. 在progress.cs中添加code6.添加Resource资源文件7.在页面中引用i18n的变量8. 重启项目&#xff0c;应该…
阅读更多...
录屏达人必备！四款神器助你轻松搞定一切

录屏达人必备！四款神器助你轻松搞定一切

录屏&#xff0c;一个既简单又实用的技能&#xff0c;不仅能帮助我们记录下电脑上的精彩瞬间&#xff0c;还能在需要的时候进行演示。是不是觉得特别棒呢&#xff1f;今天&#xff0c;我就来给大家分享一下如何轻松地录屏&#xff0c;并推荐四款非常实用的录屏工具。 一、如何录…
阅读更多...
力扣hot100--链表

力扣hot100--链表

链表 1. 2. 两数相加 给你两个 非空 的链表&#xff0c;表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的&#xff0c;并且每个节点只能存储 一位 数字。 请你将两个数相加&#xff0c;并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外&#xff…
阅读更多...
网络学习第二篇

网络学习第二篇

认识网关和路由器 这里大家先了解一下什么三层设备。 三层设备 三层设备是指在网络架构中能够工作在第三层&#xff08;网络层&#xff09;的设备&#xff0c;通常包括三层交换机和路由器。这些设备可以根据IP地址进行数据包的转发和路由选择&#xff0c;从而在不同的网络之间…
阅读更多...
JVM Class类文件结构

JVM Class类文件结构

国庆节快乐 2024年10月2日17:49:22 目录 前言 magic 数 文件版本 使用JClassLib观察class文件 一般信息 接口 常量池 字段 方法 常量池计数器 常量池 类型 CONSTANT_Methodref_info CONSTANT_Class_info 类型结构总表 访问标志 类索引, …
阅读更多...
【DataSophon】DataSophon1.2.1 整合Zeppelin并配置Hive|Trino|Spark解释器

【DataSophon】DataSophon1.2.1 整合Zeppelin并配置Hive|Trino|Spark解释器

目录 ​一、Zeppelin简介 二、实现步骤 2.1 Zeppelin包下载 2.2 work配置文件 三、配置常用解释器 3.1配置Hive解释器 3.2 配置trino解释器 3.3 配置Spark解释器 一、Zeppelin简介 Zeppelin是Apache基金会下的一个开源框架&#xff0c;它提供了一个数据可视化的框架&am…
阅读更多...
影视cms泛目录用什么程序？苹果cms二次开发泛目录插件

影视cms泛目录用什么程序？苹果cms二次开发泛目录插件

影视CMS泛目录一般使用的程序有很多种&#xff0c;&#xff08;maccmscn&#xff09;以下是其中几种常见的程序&#xff1a; WordPress&#xff1a;WordPress是一个非常流行的开源内容管理系统&#xff0c;可以通过安装一些插件来实现影视CMS泛目录功能。其中&#xff0c;一款常…
阅读更多...
基于H3C环境的实验——OSPF

基于H3C环境的实验——OSPF

目录 实验设备和环境 实验设备 实验环境 实验记录 1、单区域 OSPF基本配置 步骤1:搭建实验环境并完成基本配置 步骤2:检查网络连通性和路由器路由表。 步骤3:配置OSPF 步骤4:检查路由器OSPF邻居状态及路由表 实验设备和环境 实验设备 三台路由器、两台PC、电源线、两…
阅读更多...
Kubernetes中部署ELK Stack日志收集平台

Kubernetes中部署ELK Stack日志收集平台

1 、ELK概念 ELK是Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称。市面上也被成为Elastic Stack。其中： Elasticsearch是一个基于Lucene、分布式、通过Restful方式进行交互的近实时搜索平台框架。像类似百度、谷歌这种大数据全文搜索引擎的场景都可以使用Elas…
阅读更多...
【Spring】@RequestMapping、@RestController和Postman

【Spring】@RequestMapping、@RestController和Postman

文章目录 1.RequestMapping 注解介绍2. RequestMapping 使用3. RequestMapping 是 GET 还是 POST 请求&#xff1f;GET 请求POST 请求指定 GET/POST 方法类型 2. Postman 介绍1. 创建请求2. 传参介绍1. 普通传参2. form-data3. x-www-form-urlencoded4. raw 1.RequestMapping 注…
阅读更多...
微积分复习笔记 Calculus Volume 1 - 2.2 The Limit of a Function

微积分复习笔记 Calculus Volume 1 - 2.2 The Limit of a Function

2.2 The Limit of a Function - Calculus Volume 1 | OpenStax
阅读更多...
MES 制造执行系统的国内外应用现状及国内应用案例

MES 制造执行系统的国内外应用现状及国内应用案例

【大家好&#xff0c;我是唐Sun&#xff0c;唐Sun的唐&#xff0c;唐Sun的Sun。一站式数智工厂解决方案服务商】 在当今制造业数字化转型的浪潮中&#xff0c;制造执行系统&#xff08;MES&#xff09;发挥着至关重要的作用。国内外的企业在 MES 系统的应用方面呈现出不同的特…
阅读更多...
【记录】PPT｜PPT 箭头相交怎么跨过

【记录】PPT｜PPT 箭头相交怎么跨过

众所周知&#xff0c;在PPT中实现“跨线”效果并非直接可行&#xff0c;这一功能仅存在于Visio中。然而&#xff0c;通过一些巧妙的方法&#xff0c;我们可以在PPT中模拟出类似的效果。怎么在PPT中画交叉但不重叠的线-百度经验中介绍了一种方法&#xff0c;而本文将介绍一种改进…
阅读更多...
Stable Diffusion绘画 | 签名、字体、Logo设计

Stable Diffusion绘画 | 签名、字体、Logo设计

第1步&#xff0c;使用 PS&#xff08;小白推荐使用 可画&#xff09;准备一个 512*768 的签名、字体、Logo图片&#xff1a; 第2步&#xff0c;来到模型网站&#xff0c;搜索&#x1f50d;关键词“电商”&#xff0c;找到一款喜欢的 LoRA&#xff1a; 第3步&#xff0c;选择一…
阅读更多...
《CTF 特训营》：网络安全竞赛的进阶指南

《CTF 特训营》：网络安全竞赛的进阶指南

在网络安全领域日益受到重视的今天&#xff0c;CTF&#xff08;Capture The Flag&#xff09;竞赛作为一种检验和提升网络安全技能的方式&#xff0c;受到了越来越多爱好者的关注。而《CTF 特训营》这本书&#xff0c;无疑是一本帮助读者深入了解 CTF 竞赛的优秀读物。 一、书籍…
阅读更多...
简单花20分钟学会top 命令手册 （linux上的任务管理器）

简单花20分钟学会top 命令手册 （linux上的任务管理器）

1. 介绍 top 是一个常用的 Linux 命令行工具&#xff0c;用于实时监视系统资源和进程的运行情况。用户可以通过 top 命令查看系统的 CPU 使用率、内存占用情况、进程列表等重要信息&#xff0c;帮助快速了解系统运行状态并进行性能监控。该工具可以认为相当于windows上的任务管…
阅读更多...
《系统架构设计师教程（第2版）》第17章-通信系统架构设计理论与实践-07-通信网络构建案例分析

《系统架构设计师教程（第2版）》第17章-通信系统架构设计理论与实践-07-通信网络构建案例分析

文章目录 1. 高可用网络构建分析1.1 网络接入层高可用性设计1.1.1 高可用接入层特征1.1.2 接入汇聚层的方式1&#xff09;倒U 形接法(组网模型一)2&#xff09;U 形接法(组网模型二)3&#xff09;矩形接法(组网模型三&#xff09;4&#xff09;三角形接法(组网模型四) 1.2 网络…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023