【ARFoundation学习笔记】2D图像检测跟踪

在这里插入图片描述


写在前面的话

本系列笔记旨在记录作者在学习Unity中的AR开发过程中需要记录的问题和知识点。主要目的是为了加深记忆。其中难免出现纰漏,更多详细内容请阅读原文以及官方文档。

汪老师博客


文章目录

  • 2D图像检测
    • 创建一个图像检测工程
    • 图像追踪的禁用和启用
    • 多图像追踪
    • 运行时参考图像库
    • 运行时添加参考图


2D图像检测

在ARFoundation中,图像跟踪系统依据参考图像库中的图像信息尝试在周围环境中检测到匹配的2D图像并跟踪。在接下来的学习中我们将会提到一些术语:

  • Reference Image(参考图像),识别2D图像的过程中,实际上是一个特征值对比的过程。AR Foundation将从摄像头中获取的图像信息与参考图像库的图像特征值信息进行对比,而存储在参考图像库中的用于对比的图像就是Reference Image。
    一旦对比成功,真实环境中的图像就会与参考图像库的参考图像建立对应关系,并且同时检测真实2D图像的姿态信息。

  • Reference Image Library(参考图像库),参考图像库存储了用于对比的参考图像,每一个图像跟踪程序都必须有一个参考图像库。
    在参考图像库中存储的实际是参考图像的特征值信息而不是原始图像,这有助于提高对比速度和增强检测系统的鲁棒性(耐操性,即在异常下依旧运行的能力)(想象一下如果用原始图像进行检测,那么则需要在像素空间上对图像进行对比,对像素的实时检测太消耗资源了!因此如果将图像映射到特征空间使用特征值检测将会方便很多!小到图像检测,大到人工智能都运用了这个原理!)。
    参考图像库越大,图像对比就越慢,因此参考图像库的图像不要超过1000张。

  • Provider(算法提供方),由于AR Foundation是基于底层SDK的图像追踪的API之上的,因此它只提供一个图像检测的接口,具体的图像识别算法由Provider提供。


创建一个图像检测工程

在ARFoundation中,图像跟踪的操作分为两步:

  1. 建立一个参考图像库
  2. 建立一个AR Tracked Image Manager组件,并将需要实例化的Prefab挂载在Tracked Image Prefab上

在这里插入图片描述
按上述步骤,在Unity中新建一个工程,第一步建立一个参考图像库,首先在Project窗口中的ImageLib文件夹下点击鼠标右键并依次选择Create->XR->Reference Image Library新建一个参考图像库,并命名为RefImageLib,如图所示。

在这里插入图片描述
选择新建的RefImageLib参考图像库,为其添加一些参考图像

属性描述
Name一个标识参考图像的名字,这个名字在做图像对比时没有作用,但在比对匹配成功后我们可以通过参考图像名字获知是哪个参考图像,参考图像名字是可以重复的,因为在跟踪时,跟踪系统还会给每一个参考图像一个referenceImage.guid值,这个值是唯一的。
Specify Size这是个可选值,为加速图像检测识别过程,一些底层SDK要求提供一个2D待检测图像的物理尺寸,所以如果要设置,这个值一定会是一个大于0的长宽值对,当一个值发生变化时,Unity会根据参考图像的比例自动调整另一个值。
Keep Texture at Runtime一个默认的纹理,这个纹理可以用于修改Prefab的外观。

在这里插入图片描述

为了实现图像追踪,我们需要选择挂载Trackable的对应Manager在AR Session Origin上,这里我们选择AR Tracked Image Manager。挂载参考图像库和生成预制体,并设定最大可跟踪的动态图像数。

注意:ARFoundation中的图像跟踪是一个非常消耗CPU性能的任务,因此不要设定过多的动态图像追踪数量。
此外,动态图像追踪和底层SDK的算法有很大关系,因此使用时应当阅读对应平台的SDK资料。ARFoundation目前也不支持动态添加参考图像。

在这里插入图片描述
(由于SDK的生成设置,生成的模型方向反了,这只能在模型内部调整朝向来解决)


图像追踪的禁用和启用

    void SetAllImagesActive(bool value){foreach (var img in mARTrackedImageManager.trackables)img.gameObject.SetActive(value);}

与平面检测开启和关闭类似,图像追踪的禁用和启用也相当简单,只需对Trackable的gameObject进行SetActive即可。


多图像追踪

在这里插入图片描述

在上图中不难发现,AR Tracked Image Manager中能够生成的预制体只有一个,如果我们想要实现多图像追踪,并生成多个预制体该如何实现呢?

默认的,AR foundation可以对同一个图像进行多个虚拟对象的实例化,但是只能实例化我们在Manager上挂载的那一类Prefab,也就是只能对一类图像进行多个对象的实例化,例如只识别SPIDER的图像或者CAT的图像,而不能同时识别二者。然而实际应用中我们更希望对多类图像都进行识别和实例化,如何能够实现?

挂载一个新的Tracked Image Manager?这个方案是不行的,因为同类的Manager在AR程序中只会实例化一个(单例模式),这是为了防止多个同类Manager同时存在造成追踪混乱。

如果不能实例化多类虚拟对象,这将极大的限制跟踪图像的实际应用,所以为了实例化多类虚拟对象,我们只能动态的修改Tracked Image Prefab属性。

经过测试,我们发现在ARFoundation中,AR Tracked Image Manager组件在trackedImagesChanged事件触发之前就已经实例化了虚拟对象,因此如果在捕获到第一个需要实例化Prefab的图像时,动态的替换Manager中的Prefab为下一个需要实例化的Prefab即可。

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.XR.ARFoundation;public class MultiImageTracking : MonoBehaviour
{ARTrackedImageManager ImgTrackedmanager;public GameObject[] ObjectPrefabs;private void Awake(){ImgTrackedmanager = GetComponent<ARTrackedImageManager>();}private void OnEnable(){ImgTrackedmanager.trackedImagesChanged += OnTrackedImagesChanged;}void OnDisable(){ImgTrackedmanager.trackedImagesChanged -= OnTrackedImagesChanged;}void OnTrackedImagesChanged(ARTrackedImagesChangedEventArgs eventArgs){foreach (var trackedImage in eventArgs.added){OnImagesChanged(trackedImage.referenceImage.name);}// foreach (var trackedImage in eventArgs.updated)// {//     OnImagesChanged(trackedImage.referenceImage.name);// }}private void OnImagesChanged(string referenceImageName){if (referenceImageName == "Spider"){           ImgTrackedmanager.trackedImagePrefab = ObjectPrefabs[1];Debug.Log("Tracked Name is .." + referenceImageName);Debug.Log("Prefab Name is .." + ImgTrackedmanager.trackedImagePrefab.name);}if (referenceImageName == "Cat"){ImgTrackedmanager.trackedImagePrefab = ObjectPrefabs[0];}}
}

上述代码中,我们提前准备好了一个预制件的数组,并在Image Tracked Manager可用时为其注册了一个事件,一旦可追踪图像产生变化,我们就设定可追踪图像为下一个目标,并同时更新预制件。但这个方法也有弊端,那就是我们对预制件的生成只能顺序地执行。

因此改变思路,我们需要在随机检测到参考图像时生成对应的预制件,因此则需要动态地替换当前需要产生的预制件的目标:

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using UnityEngine.XR.ARFoundation;public class MultiImageTracking : MonoBehaviour
{ARTrackedImageManager ImgTrackedManager;private Dictionary<string, GameObject> mPrefabs =  new Dictionary<string, GameObject>();private void Awake(){ImgTrackedManager = GetComponent<ARTrackedImageManager>();}void Start(){        mPrefabs.Add("Cat", Resources.Load("Cat") as GameObject);mPrefabs.Add("Spider", Resources.Load("Spider") as GameObject);}private void OnEnable(){ImgTrackedManager.trackedImagesChanged += OnTrackedImagesChanged;}void OnDisable(){ImgTrackedManager.trackedImagesChanged -= OnTrackedImagesChanged;}void OnTrackedImagesChanged(ARTrackedImagesChangedEventArgs eventArgs){foreach (var trackedImage in eventArgs.added){OnImagesChanged(trackedImage);}// foreach (var trackedImage in eventArgs.updated)// {//     OnImagesChanged(trackedImage.referenceImage.name);// }}private void OnImagesChanged(ARTrackedImage referenceImage){Debug.Log("Image name:"+ referenceImage.referenceImage.name);Instantiate(mPrefabs[referenceImage.referenceImage.name], referenceImage.transform);}
}

在上述代码中,我们用字典提前存储了对应模型的键值对。如果图像信息变化,检测所有当前追踪的图像,并在当检测到参考图像名称的模型时就生成对应的预制件。

为了实现代码所描述功能,我们还要完成两项工作,第一项工作是将Prefabs放到Resources文件夹中方便动态加载,第二项工作是保证mPrefabs中的key与RefImageLib参考图像库中的参考图像名一致。至此,我们已实现自由的多图像多模型功能。


运行时参考图像库

在前文中使用参考图像库的时候,我们提前为库编辑好了检测的参考图内容。但有时我们想要动态的创建参考图像库。由于AR Tracked Image Manager在启动时其参考图像库不能为null值,我们可以使用下列代码动态添加AR Tracked Image Manager和参考图像库。

trackImageManager = gameObject.AddComponent<ARTrackedImageManager>();
trackImageManager.referenceLibrary = trackImageManager.CreateRuntimeLibrary(runtimeImageLibrary);
trackImageManager.maxNumberOfMovingImages = 2;
trackImageManager.trackedImagePrefab = prefabOnTrack;
trackImageManager.enabled = true;

参考图像库可以是XRReferenceImageLibrary或者RuntimeReferenceImageLibrary类型,XRReferenceImageLibrary可以在Editor编辑器中创建,但不能在运行时修改,不过在运行时XRReferenceImageLibrary会自动转换成RuntimeReferenceImageLibrary。(XR参考图像库就是我们之前在创建时使用的图像库类型,在运行时该类型会自动转换为Runtime参考图像库)

使用下列代码将XR参考图像库转为Runtime参考图像库

XRReferenceImageLibrary serializedLibrary = ...
RuntimeReferenceImageLibrary runtimeLibrary = trackedImageManager.CreateRuntimeLibrary(serializedLibrary);

使用提前准备好的XR图像参考库也可以在运行时来动态转换:

[SerializeField]
XRReferenceImageLibrary[] mReferenceImageLibrary;
private int currentSelectedLibrary = 0;
private ARTrackedImageManager trackImageManager;public void SetReferenceImageLibrary(int selectedLibrary = 0)
{trackImageManager.referenceLibrary = trackImageManager.CreateRuntimeLibrary(mReferenceImageLibrary[selectedLibrary]);mLog.text = System.String.Format("切换参考图像库{0}成功!",selectedLibrary);
}

运行时添加参考图

一些底层SDK支持在运行时动态添加新的参考图像到参考图像库,目前ARCore与ARKit都支持在运行时添加参考图像。要检测是否支持添加参考图(或者任意某功能),我们可以对描述符进行检测:

if (trackedImageManager.descriptor.supportsMutableLibrary)

如果SDK支持在运行时动态添加参考图,那么使用该功能时需要将RuntimeReferenceImageLibrary转为MutableReferenceImageLibrary再使用,如果需要在运行时创建全新的参考图像库,也可以使用无参的CreateRuntimeLibrary()方法,然后将其转换为MutableRuntimeReferenceImageLibrary使用:

var library = trackedImageManager.CreateRuntimeLibrary();
if (library is MutableRuntimeReferenceImageLibrary mutableLibrary)
{// 添加图像到参考图像库
}

在运行时动态添加参考图像是一个计算密集型任务,因为需要提取参考图像的特征值信息,这大概需要花费几十毫秒时间,因此需要很多帧才能完成添加,为防止同步操作造成应用卡顿,可以利用Unity Job系统(一个安全的无锁多线程系统)异步处理这种操作。

使用Job定义一个添加图像的异步方法:

public static JobHandle ScheduleAddImageJob(this MutableRuntimeReferenceImageLibrary library, Texture2D texture, 
string name, float? widthInMeters,JobHandle inputDeps = null)

使用JobHandle作为返回值,我们可以检查任务是否完成。通常再使用完毕后应当销毁JobHandle以避免性能开销。我们可以使用该方法同时添加多个参考图像到参考图像库中,即使当前的参考图像库正在追踪图像或是处于使用中也没关系。

动态添加参考图像对图像有一些特定要求。
第一要求图像可读写,因为添加图像时需要提取图像特征值信息
第二要求图像格式必须为应用平台上支持的格式,通常选择RGB 24bit或者RGBA 32bit格式。这个需要在图像的import setting中设置,如图所示:

在这里插入图片描述

经过测试,动态添加参考图像对图像编码格式也有要求,通常只支持JPG、PNG格式

Hint
如果作为动态添加的参考图像没有启用Read/Write Enable,编译时将提示The texture must be readable to be used as the source for a reference image;
如果所选定的格式平台不支持,编译时将提示The texture format ETC_RGB4 is not supported by the current image tracking subsystem。

1[SerializeField]
2private Text mlog;
3[SerializeField]
4private Button addImageButton;
56[SerializeField]
7private GameObject prefabOnTrack;
89private Vector3 scaleFactor = new Vector3(0.2f, 0.2f, 0.1f);
1011private XRReferenceImageLibrary runtimeImageLibrary;
1213private ARTrackedImageManager trackImageManager;
1415[SerializeField]
16private Texture2D AddedImage;
1718void Start()
19{
20.    trackImageManager = gameObject.AddComponent<ARTrackedImageManager>();
21.    trackImageManager.referenceLibrary = trackImageManager.CreateRuntimeLibrary  (runtimeImageLibrary);
22.    trackImageManager.maxNumberOfMovingImages = 2;
23.    trackImageManager.trackedImagePrefab = prefabOnTrack;
24.    trackImageManager.enabled = true;
25.    trackImageManager.trackedImagesChanged += OnTrackedImagesChanged;
26.    addImageButton.onClick.AddListener(() => StartCoroutine(AddImageJob(AddedImage)));
27}
2829void OnDisable()
30{
31.    trackImageManager.trackedImagesChanged -= OnTrackedImagesChanged;
32}
3334public IEnumerator AddImageJob(Texture2D texture2D)
35{
36yield return null;
3738try
39{
4041MutableRuntimeReferenceImageLibrary mutableRuntimeReferenceImageLibrary =   trackImageManager.referenceLibrary as MutableRuntimeReferenceImageLibrary;
42var jobHandle = mutableRuntimeReferenceImageLibrary.ScheduleAddImageJob  (texture2D, "Spider", scaleFactor.x);
4344while (!jobHandle.IsCompleted)
45{
46new WaitForSeconds(0.5f);
47}
48.       mlog.text = "添加图像成功!";
49}
50catch (System.Exception e)
51{
52.       mlog.text = e.Message;
53}
54}
5556void OnTrackedImagesChanged(ARTrackedImagesChangedEventArgs eventArgs)
57{
58foreach (ARTrackedImage trackedImage in eventArgs.added)
59{
60.       trackedImage.transform.Rotate(Vector3.up, 180);
61}
6263foreach (ARTrackedImage trackedImage in eventArgs.updated)
64{
65.       trackedImage.transform.Rotate(Vector3.up, 180);
66}
67}

在上述代码中,当检测图像改变的事件触发,就会对追踪图像进行旋转。在点击按钮后开启一个协程,在其中开辟一个Job线程为MutableRuntimeReferenceImageLibrary动态的添加参考图。使用jobHandle.IsCompleted来检测该Job的成功状态。

这里需要注意的是,我们使用了Unity Job系统,目前该系统已作为一个Package单独列出来了,因此需要使用Package Manager添加Burst包。Burst包依赖于NDK,所以还需要正确设置Unity中的NDK路径,如Unity 2019.3.0.6b需要NDK r19包。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/158162.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

快来瞧瞧这样制作出来的电子画册,还便于分享宣传呢!

说起电子画册制作&#xff0c;很多人都不知道从何入手。与传统纸质画册相比&#xff0c;电子画册最大的优点是便于传阅&#xff0c;通过微信、QQ等社交平台都能进行转发和分享。而且内容的排版基本上和纸质画册一致&#xff0c;不同的是&#xff0c;无论图片还是文字都可以赋予…

【数据结构算法(二)】链表总结

&#x1f308;键盘敲烂&#xff0c;年薪30万&#x1f308; 目录 普通单向链表 双向链表 带哨兵的链表 环形链表 ⭐双向带头带环链表的实现⭐ ⭐链表基础OJ⭐ 普通单向链表 结点结构&#xff1a;只有val 和 next指针 初始时&#xff1a;head null; 双向链表 指针&…

16.添加脚注footnote

在 LaTeX 中&#xff0c;您可以使用 \footnote 命令来添加脚注&#xff0c;其中包含您想要引用的网址。同时&#xff0c;为了使网址在文本中可点击&#xff0c;您可以使用 hyperref 宏包。 首先&#xff0c;在文档导言部分添加 hyperref 宏包&#xff1a; \usepackage{hyperr…

jvs-智能bi(自助式数据分析)11.21更新功能上线

jvs智能bi更新功能 新增: 1.字段设置节点新增自定义时间格式功能&#xff1b; 自定义功能允许用户根据需要自定义日期和时间字段的显示格式&#xff0c;为用户提供了更大的灵活性和便利性 2.图表时间搜索条件新增向下兼容模式&#xff1b; 时间搜索条件的向下兼容模式允许用…

超级会员卡积分收银系统源码 会员卡+积分商城+收银功能+多门店系统 附带完整的搭建教程

线上线下的融合已经成为趋势。在这个过程中&#xff0c;会员卡积分收银系统成为了许多企业不可或缺的一部分。该系统以超级会员卡为基础&#xff0c;结合积分商城、收银功能以及多门店系统&#xff0c;为企业提供了一站式的解决方案&#xff0c;帮助企业实现线上线下会员一体化…

汽车托运汽车会产生公里数吗?

汽车托运&#xff0c;顾名思义就是把汽车放在板车上进行托运&#xff0c;既然是被托运&#xff0c;那为什么还会产生公里数呢?是被司机私用了吗?还是被当成租赁工具租借出去了呢? 其实不然&#xff0c;回到托运流程里&#xff0c;特别是大板车&#xff0c;我们的线路有很多需…

使用CSS渲染不同形状

本文只是用来记录自己遇到的图形 1.图形一 2.图形二 3.图形三 4.图形四 5.图形五

Windows安装Linux双系统教程

&#x1f4bb;Windows安装Linux双系统教程 &#x1f959;资源准备&#x1f354;启动盘制作&#x1f373;分区&#x1f32d;重启电脑&#x1f371;安装Ubuntu &#x1f959;资源准备 &#x1f4a1;下载ubuntu系统、refus启动盘制作程序&#x1f448; &#x1f4a1;一个U盘 &am…

定时器的使用

目录 前言 正文 1.方法 schedule(TimerTask task, Date time) 的测试 &#xff08;1&#xff09;执行任务的时间晚于当前时间(在未来执行)的效果 &#xff08;2&#xff09;线程TimerThread不销毁的原因 &#xff08;3&#xff09;使用 public void cancel() 方法实现 T…

手写promis(2)-- 链式编程篇

目录 链式编程 处理异常 和普通内容 链式编程---处理返回promise 链式编程---处理重复引用 链式编程--rejected 链式编程--处理padding状态 链式编程 处理异常 和普通内容 1.返回promise实例&#xff1a;在原本then方法里边创建新promise2.获取返回值&#xff1a;把原本…

基于安卓android微信小程序的小型企业人力资源管理系统-人事考勤app

运行环境 开发语言&#xff1a;Java 框架&#xff1a;ssm JDK版本&#xff1a;JDK1.8 服务器&#xff1a;tomcat7 小程序框架&#xff1a;uniapp 小程序开发软件&#xff1a;HBuilder X 小程序运行软件&#xff1a;微信开发者 项目介绍 基于微信小程序的小型企业人力资源管…

C语言基本算法之选择排序

目录 概要&#xff1a; 代码如下 运行结果如下 概要&#xff1a; 它和冒泡排序一样&#xff0c;都是把数组元素按顺序排列&#xff0c;但是方法不同&#xff0c;冒泡排序是把较小值一个一个往后面移&#xff0c;选择排序则是直接找出最小值&#xff0c;可以这个说&#xff…

Python+OpenCV裂缝面积识别系统(部署教程&源码)

1.研究背景与意义 随着科技的不断发展&#xff0c;计算机视觉技术在各个领域中得到了广泛的应用。其中&#xff0c;图像处理是计算机视觉中的一个重要分支&#xff0c;它通过对图像进行数字化处理&#xff0c;提取出其中的有用信息&#xff0c;为后续的分析和应用提供支持。而…

2023.11.22 -数据仓库

目录 https://blog.csdn.net/m0_49956154/article/details/134320307?spm1001.2014.3001.5501 1经典传统数仓架构 2离线大数据数仓架构 3数据仓库三层 数据运营层,源数据层&#xff08;ODS&#xff09;&#xff08;Operational Data Store&#xff09; 数据仓库层&#…

新生儿近视:原因、科普和注意事项

引言&#xff1a; 近年来&#xff0c;新生儿近视的发病率逐渐上升&#xff0c;引起了广泛关注。新生儿近视的原因复杂&#xff0c;可能受到遗传、环境和行为等多方面因素的影响。本文将深入解析新生儿近视的原因&#xff0c;提供相关科普知识&#xff0c;并为父母和监护人提供…

线性代数 - 几何原理

目录 序言向量的定义线性组合、张成空间与向量基线性变换和矩阵线性复合变换与矩阵乘法三维空间的线性变换行列式矩阵的秩和逆矩阵维度变换点乘叉乘基变换特征值和特征向量抽象向量空间 序言 欢迎阅读这篇关于线性代数的文章。在这里&#xff0c;我们将从一个全新的角度去探索线…

酒店预订订房小程序源码系统+多酒店入驻 功能齐全 附带完整的搭建教程

随着互联网的快速发展&#xff0c;越来越多的人选择通过在线预订平台预订酒店。为了满足这一需求&#xff0c;我们开发了这个酒店预订订房小程序源码系统。该系统基于先进的云计算技术和大数据分析&#xff0c;旨在为用户提供更加便捷、智能的酒店预订服务。 以下是部分代码示…

排序算法--选择排序

实现逻辑 ① 第一轮从下标为 1 到下标为 n-1 的元素中选取最小值&#xff0c;若小于第一个数&#xff0c;则交换 ② 第二轮从下标为 2 到下标为 n-1 的元素中选取最小值&#xff0c;若小于第二个数&#xff0c;则交换 ③ 依次类推下去…… void print_array(int a[], int n){f…

MySQL 数据库下载

1 最新版 MySQL :: Download MySQL Community Server 2 存档版本(Archived Versions)-历史版本 MySQL :: Download MySQL Community Server (Archived Versions) 3 下载(样例: zip 方式) tip1&#xff1a; 可以下载安装文件的方式&#xff0c;也可以使用压缩包方式&#xff…

健康饮酒进家庭,国台酒业与碧桂园服务集团达成战略合作

11月19日&#xff0c;碧桂园服务集团与国台酒业集团战略合作发布会暨“健康饮酒进家庭”项目启动仪式在广州举行。 广东省酒类行业协会创会会长朱思旭&#xff0c;广东省酒类行业协会会长彭洪&#xff0c;碧桂园服务集团总裁徐彬淮&#xff0c;碧桂园服务集团酒类业务总经理、广…