来源：VR村

增强现实系统的主要任务是进行真实世界和虚拟物体的无缝融合，需要解决真实场景和虚拟物体的合成一致性问题。为了确保真实世界和虚拟对象的无缝融合，根据Ronald Azuma对增强现实技术的定义，在AR应用系统开发中必须要解决好三大关键问题和三项关键技术。

01

增强现实

应用系统开发的三大关键问题

增强现实应用系统开发的三大关键问题是如何解决真实场景和虚拟物体在几何、光照和时间方面的一致性问题。几何一致性是解决虚拟对象和真实场景在空间中的一致性，是最基本的要求；光照一致性是虚实融合场景真实感绘制的要求；时间一致性是实现实时交互的要求。在三大问题中，几何一致性和时间一致性是研究光照一致性的前提，因为只有高效、实时恢复场景的几何表示，才能进行精确的光照恢复，才能够得到具有强烈真实感的融合效果。

02

增强现实

应用系统开发的三大关键技术

根据Ronald Azuma提出的增强现实的定义，增强现实应用系统开发的三大关键技术可总结为三维注册技术、虚实融合显示技术以及人机交互技术。为了解决好增强现实应用系统开发中面临的三大关键问题，必须解决好三大关键技术。

（1）三维注册技术

三维注册技术是实现移动增强现实应用的基础技术，也是决定移动增强现实应用系统性能优劣的关键，因此三维注册技术一直是移动增强现实系统研究的重点和难点。其主要完成的任务是实时检测出摄像头相对于真实场景的位姿状态，确定所需要叠加的虚拟信息在投影平面中的位置，并将这些虚拟信息实时显示在屏幕中的正确位置，完成三维注册。

注册技术的性能判断主要有三个标准：实时性、稳定性和鲁棒性。

目前基于移动终端的移动增强现实系统的研究中主要采用以下几种注册方式：基于计算机视觉、基于硬件传感器的以及混合注册方法，如图所示：

图：移动增强现实三维注册技术分类

基于计算机视觉的注册算法：主要是指利用计算机视觉获取真实场景的信息后，经过图像处理方面的知识来识别和跟踪定位真实场景的过程。基于计算机视觉的注册算法又分为基于传统标志的注册算法和基于自然特征点无标志注册算法。

基于硬件传感器的注册算法：传统增强现实系统的硬件传感器跟踪技术主要包括惯性导航系统、全球定位系统（GPS）、电磁、光学或超声波位置跟踪器等。其中惯性导航系统的主要问题是被跟踪物体的角度及位置的跟踪误差会随时间增长而不断增大，漂移较大，设备的体积重量也较大；GPS定位误差较大，在室内、峡谷或其他复杂地形的情况下GPS信号经常无法正常接收；电磁、光学或超声波位置跟踪器采用发射和接收的工作方式来进行跟踪，使用场合固定，范围有限。

而在维修诱导、教育培训等应用领域，匹配精度要求比较高，较大的注册误差将破坏用户对周围环境的正确感知，改变用户在真实环境中动作的协调性。因此要实现精确的增强现实三维注册，必须要有高精度的跟踪设备。移动终端上一般常用的硬件传感器有陀螺仪、速度传感器、磁场传感器、方向传感器等。这种注册方法容易受到环境的干扰，注册不精确。

混合注册方法：Dularch和Mavor曾得出结论，由于系统的不精确性和系统延时方面的限制，目前单一的跟踪技术不可能很好的解决增强现实应用系统的方位跟踪问题。因此采用混合跟踪的方法对增强现实系统进行跟踪注册也是国内外著名大学和科研机构人员研究的方向。混合跟踪注册算法主要是为了达到更加精确的注册结果，将基于计算机视觉的注册算法与基于硬件传感器的注册算法相结合。

（2） 虚实融合显示技术

目前，增强现实系统实现虚实融合显示的主要设备一般分为：头盔显示式、手持显示式以及投影显示式等。

头盔显示式被广泛应用于增强现实系统中，用于增强用户的沉浸感。按照实现原理大致分为光学透视式和视频透视式两类，分别如图所示。光学透视式增强现实系统具有简单、分辨率高、没有视觉偏差等优点，但它同时也存在着定位精度要求高、延迟匹配难、视野相对较窄和价格高等缺陷。视频透视式增强现实系统采用的基于视频合成技术的穿透式HMD(Video See-through HMD)，利用摄像机采集到的真实环境的视频信息与计算机生成的三维虚拟信息相融合，从而加强用户对真实世界数据信息的认知能力。

图：头盔显示器分类

手持显示式一般多指手机、平板电脑等移动终端设备的显示器，他们具有较高的便携性的优点，可以随时随地使用，而且手持式显示设备具有可触控的特点，便于进行人机交互的设计。

投影式显示是将生成的虚拟对象信息直接投影到需要融合的真实场景中的一种增强显示技术。投影式显示能够将图像投影到大范围场景中，但是投影设备体积庞大，比较容易受到光照变化影响，适合于室内场景使用，但不适合室外大场景。

 虚实融合场景显示研究的主要问题有两个方面：

一是如何完成真实场景和虚拟对象信息的融合叠加，二是如何解决融合过程中虚拟对象信息延迟的现象。

对于光学透视式头盔显示器，用户可以实时地看到周围真实环境中的情景，而对真实场景进行增强的虚拟对象信息要经过一系列的系统延时后才能显示到头盔显示器上。当用户的头部或周围景象、物体发生变化时，系统延时会使增强信息在真实环境中发生“漂移”现象。而采用视频透视式显示方式的话可以在一定程度上解决这样的问题。开发人员可以通过程序来控制视频显示和虚拟对象信息的显示频率，可以达到实时性的需求并且缓解甚至杜绝“漂移”的现象。本文研究的是基于移动终端的增强现实技术， 某种程度上跟视频透视式类似，但是手持式显示能看到的场景更加广阔，只是沉浸感不如视频透视式头盔显示强烈。

（3） 自然人机交互技术

增强现实系统交互技术是指将用户的交互操作输入到计算机后，经过处理将交互的结果通过显示设备显示输出的过程。

目前增强现实系统中的交互方式主要有三大类：外接设备、特定标志以及徒手交互。

外接设备：如鼠标键盘，数据手套等。传统的基于PC机的增强现实系统习惯采用键盘鼠标进行交互。这种交互方式精度高、成本低，但是沉浸感较差。另外一种是借助数据手套、力反馈设备、磁传感器等设备进行交互，这种方式精度高，沉浸感较强，但是成本也相对较高。随着可穿戴增强现实系统的发展，语音输入装置也成为增强现实系统的交互方式之一，而且在未来具有很大的发展前景。

特定标志：标志可以通过事先进行设计。通过比较先进的注册算法，可以使标志具有特殊的含义，当用户看到标志之后就知道该标志的含义。因此基于特定标志进行交互能够使用户清楚明白操作步骤，降低学习成本。这种方式沉浸感要稍高于传统外接设备。

徒手式交互：一种是基于计算视觉的自然手势交互方式，需要借助复杂的人手识别算法。首先在复杂的背景中把人手提取出来，再对人手的运动轨迹进行跟踪定位，最后根据手势状态、人手当前的位置和运动轨迹等信息估算出操作者的意图并将其正确映射到相应的输入事件中。这种交互方式沉浸感最强，成本低，但算法复杂，精度不高，容易受光照等条件的影响。另外一种主要是针对移动终端设备。现如今移动终端的显示设备都具有可触碰的功能，甚至可支持多点触控。因此可以通过触碰屏幕来进行交互。目前几乎所有的移动应用都采用这种交互方式。 

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”