【iOS ARKit】3D 视频

      在AR 中播放视频也是一种常见的需求,如在一个展厅中放置的虚拟电视上播放宣传视频,或者在游戏中为营造氛围而设置的虚拟电视视频播放,或者在识别的2D个人名片上播放自我介绍视频,因视频具有静态图像无法比拟的综合信息展示能力,采用视频比单纯使用图像表达上更充分,本节我们将学习如何在AR场景中播放视频。

      在 AR场景中播放视频与在普通应用中播放视频有很多相同之处,但也有很多不一样的地方,在RealityKit 中播放视频,也同样使用 AVFoundation 流媒体框架,但需要将视频作为动态的纹理映射到虚拟物体表面,基本流程如图 11-4所示。

    使用 AVFoundation 流媒体框架播放视频使用到两个最基本的对象:AVPlayeritem 和AVPlayer。其中 AVPlayerItem 为流媒体资源管理对象,它负责管理视频的基本信息和状态,如视频长度、当前状态、缓存进度等,每一个 AVPlayerItem 对象对应一个视频资源;AVPlayer 为视频播放控制操作对象,控制视频的播放、暂停、还原等。

     在理解 RealityKit 播放视频的原理与流程后,就可以编写出视频播放代码,为更好地组织代码,新建一个 VideoPlayController 类管理视频播放相关代码,如下代码所示。

//
//  VideoPlayController.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/3/22.
//import AVFoundation
import Foundation
import RealityKitpublic class VideoPlayController {private var playing = falseprivate var avPlayer: AVPlayer?private var avPlayerItem: AVPlayerItem?private var avPlayerLooper: AVPlayerLooper?private var videoMaterial: VideoMaterial?public var material: Material? { videoMaterial }private func createAVPlayer(_ named: String, withExtension ext: String) -> AVPlayer? {guard let url = Bundle.main.url(forResource: named, withExtension: ext) else {return nil}let avPlayer = AVPlayer(url: url)return avPlayer}private func createVideoPlayerItem(_ named: String, withExtension ext: String) -> AVPlayerItem? {guard let url = Bundle.main.url(forResource: named, withExtension: ext) else {return nil}let avPlayerItem = AVPlayerItem(asset: AVAsset(url: url))return avPlayerItem}init?(_ named: String, withExtension ext: String, useLooper: Bool = false) {playing = falselet player: AVPlayer?if useLooper {let playerItem = createVideoPlayerItem(named, withExtension: ext)guard let avPlayerItem = playerItem else { return nil }let queuePlayer = AVQueuePlayer()avPlayerLooper = AVPlayerLooper(player: queuePlayer, templateItem: avPlayerItem)self.avPlayerItem = avPlayerItemplayer = queuePlayer} else {player = createAVPlayer(named, withExtension: ext)}avPlayer = playerguard let avPlayer = player else { return nil }avPlayer.actionAtItemEnd = .pauseavPlayer.pause()videoMaterial = VideoMaterial(avPlayer: avPlayer)videoMaterial?.controller.audioInputMode = .spatial//if(avPlayerItem?.status == AVPlayerItem.Status.readyToPlay){}NotificationCenter.default.addObserver(self, selector: #selector(VideoDidReachEndNotificationHandler(_:)), name: NSNotification.Name.AVPlayerItemDidPlayToEndTime, object: avPlayer.currentItem)}public func reset() {guard let avPlayer = self.avPlayer else { return }avPlayer.pause()avPlayer.seek(to: .zero)playing = false}public func sceneUpdate() {guard playing, let avPlayer = avPlayer else { return }if avPlayer.timeControlStatus == .paused {avPlayer.seek(to: .zero)avPlayer.play()}}public func enablePlayPause(_ enable: Bool) {playing = enableguard let avPlayer = self.avPlayer else { return }if playing, avPlayer.timeControlStatus == .paused {avPlayer.play()} else if !playing, avPlayer.timeControlStatus != .paused {avPlayer.pause()}}@objc func VideoDidReachEndNotificationHandler(_ notification:NSNotification){print("播放完了")}deinit {NotificationCenter.default.removeObserver(self)}}

     在代码中,首先根据是否需要循环播放可在构造函数中分别使用 AVPlayer 或者AVPlayerLooper 构建视频播放控制器,然后设置视频播放完毕后的状态,最后利用视频资源作为材质创建VideoMaterial 对象。除此之外,在代码中还新建了几个控制视频播放的方法以便调用。

    代码中设置了视频播放时音频的播放方式,RealityKit 在播放视频时允许其音频以几种不同的方式播放,音频播放方式由 AudioResource. InputMode 枚举描述,具体如下表所示。

枚举值

描述

nonSpatial

不考虑声源位置与方向,以背景音乐方式播放音频

spatial

3D音效,考虑声源的位置与方向

ambient

只考虑声源的方向,不考虑声源位置,声音音量不会出现随距离变化的特性

     在代码中,我们也对视频播放完毕事件进行了处理,需要注意的是,播放视频时的事件处理方式与 RealityKit 中其他事件处理方式有些不一样,播放视频的事件使用了 AVFoundation 中更一般的事件机制,具体支持事件及一般处理方法可参阅AVFoundation 相关资料。

注意⚠️视频播放完毕事件只有在视频以不循环播放类型播放时才会触发,另外,添加的事件监听应当在不需要时移除,如本例中在析构函数中移除。

     除了可以播放本地视频资源,AVFoundation 也支持通过 HTTP 或者 HTTPS播放网络流媒体资源,但需要注意的是,网络视频资源加载受网速、网络连接等因素影响,具有不确定性,在视频播放之前,务必先检查当前视频资源的可用性,如代码清单11-4中第49行的注释一样,以防止出现不可预知的问题(播放网络视频资源通常应当先缓冲,确保资源在播放前可用)。

     视频加载并转换成视频材质之后,就可以像普通材质一样使用,示例代码如下所示。

//
//  Video3DView.swift
//  ARKitDeamo
//
//  Created by zhaoquan du on 2024/3/26.
//import SwiftUI
import ARKit
import RealityKit
import Combinestruct Video3DView: View {static var arView:ARView!var body: some View {Video3DViewContainer().overlay(VStack{Spacer()HStack{Button(action:{Video3DView.arView.playOrPause()}) {Text("播放/暂停").frame(width:120,height:40).font(.body).foregroundColor(.black).background(Color.white).opacity(0.6)}.offset(y:-30).padding(.bottom, 30)Button(action: {Video3DView.arView.reset()}) {Text("重播").frame(width:120,height:40).font(.body).foregroundColor(.black).background(Color.white).opacity(0.6)}.offset(y:-30).padding(.bottom, 30)}Spacer().frame(height: 40)}).navigationTitle("3D视频").edgesIgnoringSafeArea(.all)}
}
var videoPlayController : VideoPlayController!
struct Video3DViewContainer:UIViewRepresentable {func makeUIView(context: Context) -> some ARView {let arView = ARView(frame: .zero)let config = ARWorldTrackingConfiguration()config.planeDetection = .horizontalVideo3DView.arView = arViewarView.session.run(config)arView.createVideoPlane()return arView}func updateUIView(_ uiView: UIViewType, context: Context) {}}var play = false;
extension ARView{func createVideoPlane(isLoop: Bool = false){videoPlayController  = VideoPlayController("video2", withExtension: "mp4", useLooper:false)guard let vPlayController = videoPlayController,let planeMaterial = videoPlayController.material else {return}let planeAnchor = AnchorEntity(plane:.horizontal)let boxMesh = MeshResource.generatePlane(width: 0.2, height: 0.4, cornerRadius: 0)let boxEntity = ModelEntity(mesh: boxMesh,materials: [planeMaterial])boxEntity.generateCollisionShapes(recursive: false)planeAnchor.addChild(boxEntity)self.scene.addAnchor(planeAnchor)self.installGestures(.all,for:boxEntity)}func playOrPause(){play = !playvideoPlayController.enablePlayPause(play)}func reset(){videoPlayController.reset()videoPlayController.enablePlayPause(true)}}

 RealityKit 播放视频的效果如下图所示。

   

图 11-5 在 RealityKit 中播放视频效果图     

     通过本节的学习,我们知道了在 RealityKit 中播放视频实际上是使用了动态纹理映射的方式,VideoMaterial 与其他所有的材质类型一样,可以使用到任何物体表面、平面、曲面上,由于目前 RealityKit并不支持Shader,所以我们可以使用视频材质作为替代方案实现诸如发光、闪烁、描边等特效,更简单地使用 VideoMaterial的代码如下所示。

let planeAnchor = AnchorEntity(plane:. horizontal)
let planeMesh = MeshResource. generatePlane(width: 0. 3, height: 0.2, cornerRadius:0)
let asset = AVURIAsset (url: Bundle. main. url (forResource: "video",withExtension: "mp4")! )
let playerItem = AVPlayerIten(asset:asset)
let player = AVPlayer ( )
let planeEntity = ModelEntity(mesh: planeMesh, materials: [VideoMaterial (aPlayer:player) ])
player. replaceCurrentItem(with: playerItem)
player. play()
planeEntity. generateCollisionShapes(recursive: false)
planeAnchor. addChild(planeEntity)
self. scene. addAnchor (planeAnchor)

        在进行 AR 体验共享时,视频材质与其他材质一样,可以自动进行同步及播放,无须开发人员进行额外处理,在可播放视频格式类型方面,AVFoundation 支持的视频格式其都支持。

具体代码地址:GitHub - duzhaoquan/ARkitDemo

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/786122.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

NoSQL(非关系型数据库)之Redis

目录 一、 关系型数据库与非关系型数据库 1.1 关系型数据库 1.2 非关系型数据库 1.3 区别 1.3.1 数据存储方式不同 1.3.2 扩展方式不同 1.4 非关系型数据库产生背景 二、 Redis简介 2.1 Redis概述 2.2 Redis优点 2.3 Redis为什么这么快? 总结 一 数据流…

23种设计模式的概念

一、设计模式的来源 设计模式(Design Pattern)是前辈们对代码开发经验的总结,是解决特定问题的一系列套路。它不是语法规定,而是一套用来提高代码可复用性、可维护性、可读性、稳健性以及安全性的解决方案。 1995 年,…

华为数通方向HCIP-DataCom H12-821题库(多选题:241-260)

第241题 [RTAospf100 [RTA-ospf-100]silent-intefaceGigabitEthernet 1/0/0上面是路由器RTA的部分配置,对于此部分的配置描述,正确的是: A、接口gigabitethemet 1/0/0的直连路由仍然可以发布出去 B、无法与该接口的直连邻居形成邻居关系 C、禁止接口gigabi tethemet 1/0/0发…

vscode 自用的一些配置

目录 1,修改默认配置1,关闭预览模式2,取消自动定位到左侧边栏 2,自定义快捷键1,手动定位到左侧边栏2,关闭其他3,其他常用快捷键 3,插件1,和 git 相关的GitlensGit Histor…

C++ 2024-4-1 作业

#include <iostream> using namespace std;class A { public:int a;A(int a):a(a){cout<<"A的有参构造"<<endl;} }; class B:virtual public A { public:int b;B(int a,int b):A(a),b(b){cout<<"B的有参构造"<<endl;} }; cl…

用Wireshark解码H.264

H264&#xff0c;你不知道的小技巧-腾讯云开发者社区-腾讯云 这篇文章写的非常好 这里仅做几点补充 init.lua内容&#xff1a; -- Set enable_lua to false to disable Lua support. enable_lua trueif not enable_lua thenreturn end-- If false and Wireshark was start…

华为云RDS for Mysql入门与配置

华为云RDS for MySQL支持混合SSD实例&#xff0c;它结合了华为云容器、本地SSD盘和高速云盘。 优势&#xff1a; 主备实例提供故障自动切换和手动切换&#xff0c;业务中断时间为秒级&#xff0c;以及异地灾难备份&#xff0c;最大程度上在出现故障的情况下保障整个数据库集群…

适用于智能断路器、新能源汽车充电枪锁、电动玩具、电磁门锁等的直流电机驱动芯片D6289ADA介绍

应用领域 适用于智能断路器&#xff08;家用或工业智能空开&#xff09;、新能源汽车充电枪锁、电动玩具、电磁门锁、自动阀门等的直流电机驱动。 功能介绍 D6289ADA是一款直流马达驱动芯片&#xff0c;它有两个逻辑输入端子用来控制电机前进、后退及制动。该电路具有良好的抗干…

天池医疗AI大赛[第一季] Rank8解决方案[附TensorFlow/PyTorch/Caffe实现方案]

团队成员&#xff1a;北京邮电大学 模式识别实验室硕士研究生 今年5月&#xff0c;参加了天池医疗AI大赛&#xff0c;这次比赛是第一次参加此类的比赛&#xff0c;经过接近半年的比赛&#xff0c;终于10月落下帷幕&#xff0c;作为第一次参加比赛&#xff0c;能在接近3000支队…

计算矩阵中0的个数

在MATLAB中&#xff0c;计算矩阵中0的个数可以通过多种方法实现。最直接的方法之一是使用find函数或者逻辑运算符结合sum函数。以下是几种计算矩阵中0的个数的方法&#xff1a; 方法1&#xff1a;使用find函数 % 假设A是你的矩阵 A [1 0 3; 4 5 0; 7 8 9];% 计算矩阵中0的个…

标定系列——预备知识-OpenCV中矫正相关函数(十二)

标定系列——预备知识-OpenCV中矫正相关函数&#xff08;十二&#xff09; 说明记录 说明 记录了OpenCV中的矫正相关函数的使用 记录

ubuntu 使用 apt 安装、卸载 mysql

安装 mysql 更新 apt 列表 apt-get upgrade安装 mysql apt-get install mysql-server启动和关闭 mysql # 启动: service mysql start# 重启: service mysql restart # 关闭: service mysql stop登录数据库&#xff0c;修改 root 账号密码 mysql -uroot -p# 不用输入任何…

Can‘t connect to server on ‘localhost‘ (10061)

问题&#xff1a;电脑关机重启后&#xff0c;连接不上mysql了&#xff0c;报错信息如下&#xff1a;2002 - Cant connect to server on localhost (10061)解决办法&#xff1a;很大的原因是mysql服务没有启动&#xff0c;需要你重启一下mysql&#xff1a; 以管理员的身份运行cm…

安卓Glide加载失败时点击按钮重新加载图片

需求 假设此时已经用load指定一个url: String&#xff0c;又用into指定了一个img: ImageView开始加载&#xff0c;但是网络突然中断&#xff0c;导致图片加载失败。在这种情况下&#xff0c;想要通过点击一个Button重新加载。 Glide.with(context).load(url).placeholder(loa…

从PDF到高清图片:一步步学习如何转换PDF文件为高清图片

引言 PDF文件是一种便携式文档格式&#xff08;Portable Document Format&#xff09;&#xff0c;最初由Adobe Systems开发&#xff0c;用于在不同操作系统和软件之间保持文档格式的一致性。PDF文件通常包含文本、图片、图形等多种元素&#xff0c;并且可以以高度压缩的方式存…

VScode 集成终端设置默认打开当前文件夹 mac系统

一.快捷键设置 搜索 openInIntegratedTerminal 如图&#xff1a; 二.设置cmd 默认打开位置 点击设置 搜索 ntegrated:cwd 如下图&#xff1a; 三.查看ip 快捷指令&#xff1a; ipconfig getifaddr en0

ubuntu 20.04 SD 卡分区类型 msdos 改为 GPT 的方法

前言 默认 SD 卡分区是 FAT32 格式&#xff0c;为了用于嵌入式Linux ext4 文件系统&#xff0c;需要改为 ext4 文件系统&#xff0c;但是SD 卡分区类型默认是 msdos 类型&#xff0c;也就是 MBR 类型&#xff0c;不是 GPT 类型。 烧写 ext4 分区表&#xff0c;或者使用 ubuntu…

linxu tensorflow-1.13.1 C++动态库编译

1、版本要求 版本 Python 版本 编译器 编译工具 tensorflow-1.13.1 2.7、3.3-3.6 GCC 4.8 Bazel 0.19.2 tensorflow-1.12.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 tensorflow-1.11.0 2.7、3.3-3.6 GCC 4.8 Bazel 0.15.0 tensorflow-1.10.0 …

SpringBoot中Bean注册

Bean注解 Springboot中默认扫描启动类所在的包及其子包。 比如这里的DemoApplication是启动类&#xff0c;那么spring boot默认扫描com.example.demo这个包。 Controller、Service、Repository这三个注解是Component的衍生注解&#xff0c;它们经常会被添加到Controller层、Se…

什么是EDM邮件推广营销?

电子邮件作为最古老的互联网沟通工具之一&#xff0c;凭借其无可比拟的直达性、个性化潜力与高投资回报率&#xff0c;始终占据着企业营销策略的核心地位。随着人工智能技术的革新应用&#xff0c;云衔科技以其前瞻视野与深厚技术底蕴&#xff0c;倾力打造了一站式智能EDM邮件营…