【分享】基于集成成像的悬浮光场3D显示系统

摘要: 悬浮显示技术是一种非常具有发展前景的显示技术,它可以将图像显示在空中,给观看者带来沉浸感和临场感的体验。目前国内悬浮3D显示技术研究还处于初级阶段。文章提出基于集成成像的悬浮3D显示系统,系统由集成成像3D显示器、半透半反镜和逆反光膜组成;分析了集成成像3D显示的工作原理和逆反光膜的悬浮显示原理。将集成成像3D显示技术与基于逆反光膜的悬浮显示技术相结合,集成成像3D显示器发出的光线经过半透半反镜的反射到达逆反光膜,逆反光膜将光线以入射的角度进行反射并重建出3D图像,在实现3D图像悬浮显示的同时也解决了集成成像3D图像深度反转的问题,但是3D图像的亮度被大幅度的降低。系统为悬浮3D显示提供新的理论依据,为解决集成成像3D图像深度反转提供新的方法。

关键词:悬浮3D显示;逆反光膜;集成成像;深度反转

引言

悬浮3D显示技术是一种非常具有发展前景的显示技术,它可以将3D图像显示在空中,在一定程度上提升3D图像的立体感,给观看者带来具有沉浸感和临场感的3D体验,在医疗、教育、军事和娱乐等方面具有广阔的应用前景。悬浮3D显示技术由悬浮显示技术和裸眼3D显示技术两部分组成。

悬浮显示技术可以将图像显示在空中,可以提升图像的立体感。目前实现悬浮显示技术的方式有很多种,日本大阪大学提出采用水雾作为承接介质[1],将投影图像投射在水雾中实现悬浮显示,这种设计一般应用于大尺寸显示场景,由于水雾的密度不均匀,不稳定导致图像的分辨率很低。韩国首尔大学提出采用凸透镜将集成成像3D显示器生成的3D图像进行悬浮[2],该系统实现悬浮显示的原理简单,能够实现悬浮显示的基本效果,但是由于凸透镜的限制导致悬浮图像的观看视视场角小,凸透镜作为悬浮器件结构单一,像差抑制能力很差。日本宇都宫大学提出采用逆反射膜作为悬浮器件[3],采用二维LED阵列作为发光源,生成悬浮的平面图像。日本早稻田大学提出采用二面角反射镜阵列作为悬浮器件[4],搭建了观看视角为90°的悬浮显示系统,该系统有效的扩大了悬浮图像的观看视角。国内在悬浮显示方面也有大量的研究,如东超科技研制了负折射平板透镜,它可以将物体发出的发散光线在空中进行再次重新汇聚实现悬浮显示。像航科技研制了微通道矩阵光波导平板,开发了无接触电梯按键等悬浮显示设备。

裸眼3D显示技术可以分为光栅3D显示、集成成像3D显示、全息3D显示和体3D显示等。由于集成成像3D显示可以提供全彩色、全视差、无视疲劳、无需佩戴设备且数据量小等优势被认为是目前最具有发展前景的3D显示技术之一[5-7]。集成成像3D显示技术被Lippmann于1908年提出[8]。但是集成成像3D显示目前仍然存在观看视角小,分辨率低、景深浅、深度反转等问题亟待解决。其中,深度反转问题严重制约了集成成像3D显示技术的发展。

1931年,Ives通过实验发现了Lippmann提出的集成成像技术具有深度反转的问题,并提出了两步记录法来解决深度反转的问题[9],该方法把集成成像3D显示器重建出来的3D图像重新作为物体,再利用一个微透镜阵列进行第二步记录,这样再次重建出的3D图像就具有正确的深度关系。1978年,Y.Igarish等提出了计算机生成集成成像,利用计算机来完成无深度反转的集成成像记录[10]。1988年,L.Yang等提出使用两层传导屏来解决深度反转问题[11],其结构与两步记录法相似。1998年,J.Arai等采用具有梯度折射率的微透镜阵列进行记录[12],以及J.Seo等采用负微透镜阵列,都同样解决了深度反转问题。日本广播协会的Okano 等提出通过将每个单元图像绕其中心旋转180°来显示深度位置正确的三维场景[14],但是再现的三维图像中心深度平面只能位于透镜阵列后方,无法实现浮动显示。韩国首尔大学提出使用全息微透镜阵列光学元件的相位共轭重构技术[15],其本质上是将单元图像翻转180°,只是实现方式不同,只能用虚模式集成成像显示。西班牙瓦伦西亚大学提出一种智能深度翻转算法[16,17],能够同时实现深度翻转效应消除和集成成像采集参数到显示参数的匹配。通过总结不难发现解决集成成像3D图像深度反转的方法可以分为基于光学器件和基于计算机算法两类。除了在深度反转问题上的研究之外,国内四川大学在集成成像3D显示的多视区显示[18]和集成成像3D显示器光线高利用率[19]方面进行了研究。

2016年日本宇都宫大学将基于逆反射膜作为悬浮器件的悬浮显示技术与集成成像3D显示技术相结合[20],搭建了悬浮光场3D显示系统。该系统将集成成像3D显示器重建的3D图像悬浮在空中,有效增强了3D图像的立体感。2017年中国科学技术大学提出了基于两片逆反射膜的悬浮3D显示系统[21],该系统有效的提升了3D图像的悬浮深度和有效观看视区。2018年北京邮电大学采用自由曲面反射镜与集成成像3D显示技术结合[22],搭建了悬浮3D显示系统。该系统有效的降低了由于透镜畸变引起的图像失真问题,重建出大悬浮深度和高质量的悬浮3D图像。

本文研究基于集成成像的悬浮光场3D显示系统,该系统由集成成像3D显示器、半透半反镜和逆反光膜组成;分析了集成成像3D显示的工作原理和逆反光膜的悬浮显示原理;将集成成像3D显示技术与基于逆反光膜的悬浮显示技术相结合,解决了集成成像3D图像深度反转的问题,并实现了3D图像的悬浮显示。

1 基本原理

基于集成成像的悬浮3D显示系统的工作原理如图1所示,该系统由集成成像3D显示器、半透半反镜和逆反光膜组成。集成成像3D显示器由2D显示屏和微透镜阵列组成。传统集成成像3D显示存在深度反转的问题,这是由于集成成像3D图像的获取过程和3D图像的重建过程是镜像对称的,通过微透镜阵列获取得到的微图像阵列加载在2D显示屏中,通过微透镜阵列重建出3D图像I。3D图像I的深度是反转的,3D图像I中“立方体"位于“圆柱体"的左上方。集成成像3D显示器发出的光线经过半透半反镜的反射到达逆反光膜,这些光线在经过逆反光膜的反射沿原来的路径进行通过半透半反射镜在空中重建出3D图像II。集成成像3D显示器发出的光线经过逆反射膜的反射将3D图像悬浮在空气中,并且对3D图像的深度再次进行反转,3D图像II中“立方体"位于“圆柱体"的左下方。该系统使集成成像3D显示生成的图像悬浮在空中,并且对3D图像的深度进行校正。

图片

1.1集成成像3D显示的基本原理

集成成像包括3D数据获取和3D图像重建两个过程。集成成像的3D数据获取过程如图2(a)所示,该过程利用一个微透镜阵列对3D场景进行成像,并把图像记录到位于微透镜阵列焦平面上的感光成像器件上。微透镜阵列上的每个透镜元从不同的位置和方向记录下3D场景的部分信息,每个透镜元下对应生成的图像被称为图像元。把微透镜阵列上所有透镜元下生成的图像元记录到一起生成微图像阵列。集成成像3D图像的重建过程如图2(b)所示,该过程利用与3D数据获取过程中的微透镜阵列具有相同参数的微透镜阵列来重建3D图像。把微图像阵列呈现在2D显示屏上,2D显示屏上微图像阵列发出的光线经过微透镜阵列的成像功能,根据光路可逆原理在空间中重建出3D图像。在早期的实验中采用针孔阵列来替代微透镜阵列,也可以实现集成成像3D数据的获取和3D图像的重建。

集成成像3D数据获取过程3D场景发出的光线被微透镜阵列获取。在集成成像3D图像重建过程中,2D显示屏上微图像阵列发出的光线经过微透镜阵列在空间中重建出3D图像,3D数据的获取和3D图像的重建过程是镜像对称的,在原3D场景中“立方体"位于“圆柱体"的左上方,在重建的3D图像中“立方体”位于“圆柱体“的右上方。因此导致重建3D图像的深度是反转的。

图片

1.2基于逆反光膜悬浮显示的工作原理

基于逆反光膜悬浮显示的工作原理图如图3所示。3D场景发出的光线经过半透半反镜的反射到达逆反光膜,光线在逆反光膜上进行两次反射之后,出射光线与入射逆反光膜时的光线是平行的,出射光线透过半透半反镜在空间中重建出3D图像,这样观看者就可以观看到悬浮在空气中的3D图像。

图片

逆反光膜是由多个微三面直角棱镜排列组成,为了方便分析,这里只讨论单个三面直角棱镜的成像原理,三面直角棱镜有三个等腰直角边为a的三角形组成,并且三面直角棱镜的内壁是镜面反射的,三面直角棱镜的成像原理如图4所示。设光线沿ST方向入射经T、Q、R点反射后,由RS曚方向出射,设A1、A2、A3、A4分别为ST、TQ、QR和RS的单位矢量,反射面AOB、BOC和COA的法线单位矢量分别可以表示为

n1=-k                     (1)

n2=-i                     (2)

n3=-j                     (3)

射向反射面AOB的入射光线A1的单位矢量可表示为

A1=-li-mj-nk              (4)

式中,l、m、n为光线A1在x、y、z轴上的方向数,且l、m和n之间的关系可以表示为

l2+m2+n2=1               (5)

光线A1经AOB面反射后射向反射面BOC,反射光线A2单位矢量可由矢量反射定律决定,因此反射光线A2单位矢量可表示为

A2=A1-2(A1·k)k=-li-mj+nk        (6)

光线A2射向BOC后的反射光线A3的单位矢量可表示为

A3=A2-2(A2 · i)i=li-mj+nk       (7)

光线A3射向COA反射后的光线经A4的单位矢量可表示为

A4=A3-2(A3·j)j=li+mj+nk       (8)

通过对比式(4)和(8)可知,入射光线与出射光线在x、y、z轴上的方向数都没有发生变化,只是矢量方向发生变化,这说明入射光线和出射光线是平行的,但是光线的传播方向是相反的。

图片

根据以上分析可知,3D场景发出的光线经过半透半反镜的反射到达逆反光膜,逆反光膜可以将光线沿原路进行返回在空间中重建出3D图像,并且重建图像的深度是反转的。由于逆反光膜是基于光线的反射成像,没有光轴也没有焦距,因此3D场景与重建的3D图像的尺寸是1:1的。

1.3 基于逆反光膜的悬浮3D显示原理

基于逆反光膜解决集成成像3D图像深度反转的工作原理如图5所示。将集成成像3D显示重建的3D图像替代了原来的3D场景。集成成像3D显示器重建出3D图像I,3D图像I发出的光线经过半透半反镜的反射到达逆反光膜,光线经过逆反光膜的反射在半透半反镜前再次重建出3D图像Ⅱ。由于逆反光膜生成的图像与3D场景是1:1大小的,并且在深度上是反转的。因此经过逆反射膜重建的3D图像Ⅱ与集成成像3D显示器重建的3D图像I是等大的、镜像对称的,并且3D图像Ⅱ与3D图像I在深度上是反转的。集成成像3D显示器重建的3D图像I与原3D场景在深度上反转的。如图2所示,在3D场景中“立方体"位于“圆柱体"的左上方,经过集成成像3D显示重建的3D图像I中,“立方体"位于“圆柱体"的右上方,深度上是反转的。将集成成像3D显示器平放,重建的3D图像I中“立方体"位于“圆柱体"的左上方,经过逆反射膜的再次成像重建出3D图像Ⅱ,在3D图像Ⅱ中“立方体"位于“圆柱体"的左上方,因此集成成像3D显示的深度被得到校正。观看者看到的3D图像Ⅱ的深度与原3D场景的深度是一致的。

图片

2D显示屏上的微图像阵列与微透镜阵列精密耦合重建出3D图像,2D显示屏发出的光线被微透镜阵列进行调制,使显示屏发出的光线被控制在3D图像的观看视角内,如图6所示。根据集成成像3D图像的看视角公式θ=2arctan(p/2g),其中p为微透镜阵列的节距,g为微透镜阵列到显示屏之间的距离,可知3D图像的观看视角为11.5°。2D显示屏与微透镜阵列之间的缝隙用黑色材料进行封装使显示屏发出的光线不会直接到达半透半反镜和逆反光膜,避免了其它串扰光线对3D图像的影响。

图片

假设理想状态下显示屏发出的光线全部经过微透镜阵列,并且不会被微透镜阵列吸收。光线经过半透半反镜时,有50%的光线到达逆反光膜。逆反光膜的反射效率≥90%,光线再次经过逆反光膜的反射,只有45%的光线沿入射时的方向进行反射。反射光线透过半透半反射镜被人眼看到,最终光线的利用率仅有22.5%,如图7所示。

图片

基于逆反光膜的集成成像悬浮光场3D显示,可以将集成成像3D显示器重建的3D图像进行悬浮,解决集成成像3D图像深度反转的问题,3D图像的观看视角不会受到影响,但是3D图像的亮度被大幅度的降低。

2 实验

基于集成成像的悬浮3D显示系统实验装置如图8所示,该系统由集成成像3D显示器、半透半反镜和逆反光膜组成。其中集成成像3D显示器由iPhone13Pro的手机屏来显示微图像阵列,显示屏幕的分辨率为2532暳1170,像素点尺寸为55.2毺m。采用的微透镜阵列中微透镜元的节距为1.5mm,焦距为7mm。

图片

在3Dmax中创建3D场景,3D场景包含“1"和“2"两个物体,“2"位于“1"的右前方。其中“1"位于虚拟相机阵列的聚焦面后5cm的位置,“2"位于虚拟相机阵列的聚焦面前5cm的位置,虚拟相机阵列聚焦在坐标系的零点,如图9所示。在3Dmax中创建虚拟相机阵列,获取不同位置的视差图,采用像素映射算法生成实验所需要的微图像阵列,如图10所示。

图片

图9创建3D场景获取微图像阵列

图片

图10微图像阵列

采用传统集成成像3D显示器重建的3D图像如图11所示。依次从左到右获取重建3D图像五个不同视点的视差图。在原3D场景中“2"位于“1"的右前方,根据遮挡关系,当从左到右观看原3D场景时,“1"和“2"之间的距离应该是依次减小。通过观察图10的实验结果,发现从左到右的观看重建的3D图像时,“1"和“2"之间的距离依次变大,因此传统集成成像3D显示器重建的3D图像存在深度反转的问题。

图片

图11传统集成成像3D显示效果

图片

图12基于集成成像的悬浮3D显示效果

基于集成成像的悬浮3D显示系统的3D显示效果如图12所示。依次从左到右获取重建3D图像五个不同视点的视差图。从左到右观看重建的3D图像时,“1"和“2"之间的距离依次减小,它们的遮挡关系与原3D场景的遮挡关系是一致的。因此,基于集成成像的悬浮3D显示系统可以有效的消除集成成像3D图像的深度反转问题,并且基于集成成像的悬浮3D显示系统可以将3D图像悬浮在空间中,实现3D图像悬浮显示。

3 结论

本文提出基于集成成像的悬浮3D显示系统,该系统由集成成像3D显示器、半透半反镜和逆反光膜组成。分析了集成成像3D显示的工作原理和逆反光膜的悬浮显示原理。逆反光膜可以将光线以入射的方向反射回去再次成像。因此将集成成像3D显示技术与基于逆反光膜的悬浮显示技术相结合,集成成像3D显示器发出的光线经过半透半反镜的反射到达逆反光膜,逆反光膜将光线以入射的角度进行反射并重新重建出3D图像,在实现3D图像悬浮显示的同时也解决了集成成像3D图像深度反转的问题,3D图像的观看视角不会受到影响,但是3D图像的亮度被大幅度的降。在接下来的研究中拟引入偏振光来提升3D图像的亮度。该系统为悬浮3D显示提供新的理论依据,为解决集成成像3D图像深度反转提供新的方法

文章来源:光学技术 第49卷 第4期

作者:徐秋云,陈小刚,郑益,芦鹏,陈迪,潘柏晓,陈杰,赵悟翔

声明:转载此文目的在于传递更多信息,仅供读者学习、交流之目的。文章版权归原作者所有,如有侵权,请联系删除。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/7429.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Cordova 12 Android 不支持 http 原因探索

最近在升级 Cordova 到最新版本,升级完成后发现无法请求网络,研究了两次最终发现解决方案。 发现控制台中有日志输出,提示当前是 https ,无法直接访问 http。 [INFO:CONSOLE(225)] "Mixed Content: The page at https://lo…

第11篇:创建Nios II工程之控制多个七段数码管

Q:DE2-115开发板上有8个七段数码管,如何用PIO IP并设计Nios II工程控制呢? A:基本思路:DE2-115上有8个7位七段数码管,而一个PIO最多可配置为32位,如此就可以添加2个PIO都配置为28位output。 Ni…

大数据掌控秘籍:一步步教你安装和驾驭Cloudera的无限潜力

Cloudera是一家提供大数据解决方案的公司,主要产品是Cloudera Enterprise,它是一个基于Apache Hadoop、Apache Spark和其他开源技术的大数据平台。Cloudera Enterprise提供了一个完整的大数据生态系统,包括数据存储、数据处理、数据分析和数据…

机器学习批量服务模式优化指南

原文地址:optimizing-machine-learning-a-practitioners-guide-to-effective-batch-serving-patterns 2024 年 4 月 15 日 简介 在机器学习和数据分析中,模型服务模式的战略实施对于在生产环境中部署和操作人工智能模型起着至关重要的作用。其中&…

Microsoft Edge手势

Microsoft Edge手势 手势操作向左返回向右前进向上向上滚动向下向下滚动先向下再向右关闭标签页先向左再向上重新打开已关闭的标签页先向右再向上打开新标签页先向右再向下刷新先向上再向左切换到左边标签页先向上再向右切换到右边标签页先向下再向左停止加载先向下再向右关闭…

【C++】C++ 中 的 lambda 表达式(匿名函数)

C11 引入的匿名函数,通常被称为 Lambda 函数,是语言的一个重要增强,它允许程序员在运行时创建简洁的、一次性使用的函数对象。Lambda 函数的主要特点是它们没有名称,但可以捕获周围作用域中的变量,这使得它们非常适合在…

如何快速学懂数学分析

学习数学分析或任何高等数学课程都需要时间和努力,因为这种类型的课程通常涉及复杂的概念和逻辑论证。以下是一些建议,可以帮助你更快速地理解数学分析: 1. 基础知识:确保你对微积分、高级代数和集合论等先决知识有扎实的理解。这…

Android中对MVC,MVP,MVVM架构的理解

博主前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住也分享一下给大家, 👉点击跳转到教程 以下是主流的对MVC,MVP,MVVM架构理解的图示 一、对于MVC架构的理解: 1、首先编写Model&#…

Python密码测试程序

下面是一个简单的 Python 密码测试程序,用于检查用户输入的密码是否符合一些基本的安全要求,如长度、包含字母和数字等。这个程序可以作为一个基本的密码验证器,你可以根据需要进行修改和扩展。 1、问题背景 我们正在编写一个程序&#xff0…

数据结构:线性表(详解)

线性表 线性表的知识框架: 线性表的定义: 线性表是具有相同数据类型的n(n > 0)个数据元素的有限序列,当n 0时线性表为一个空表。 若用L命名为线性表,则数据集合为L {a1,a2,…,an},其中a1称为表头元素&#xff0c…

vue3 setup标签使用总结

引入element-plus 在main.js中引用并且使用中文 顺便引入图标库const app createApp(App); // 生成的vue实例 已经存在不需要重复创建 ... import ElementPlus from "element-plus"; import zhCn from "element-plus/dist/locale/zh-cn.mjs"; // 中文 imp…

语音识别之线性频谱图

⚠申明: 未经许可,禁止以任何形式转载,若要引用,请标注链接地址。 全文共计3077字,阅读大概需要3分钟 🌈更多学习内容, 欢迎👏关注👀【文末】我的个人微信公众号&#xf…

从零开始搭建Springboot项目脚手架1:新建项目

1、技术栈 SpringBoot 3.2.5: 2、 新建项目 使用SpringInitializr 选择Lombok、Configuration Processor、Spring Web,同时IDEA也要安装Lombok插件 删除多余的Maven目录、Maven文件,把HELP.md改成README.md。 当然前提是已经安装好Maven和配…

力扣70 爬楼梯 C语言 动态规划 递归

题目 假设你正在爬楼梯。需要 n 阶你才能到达楼顶。 每次你可以爬 1 或 2 个台阶。你有多少种不同的方法可以爬到楼顶呢? 示例 1: 输入:n 2 输出:2 解释:有两种方法可以爬到楼顶。 1. 1 阶 1 阶 2. 2 阶 示例 2…

node 连接mysql操作mysql的工具类封装,node后端操作mySql、

一、工具类代码如下: /** Description: ------ node连接并操作mysql封装 ------* Creater: snows_l snows_l163.com* Date: 2023-04-12 15:38:57* LastEditors: snows_l snows_l163.com* LastEditTime: 2024-04-09 16:16:04* FilePath: /Website/Server/utils/conn…

Java多线程:常见的线程的创建方法及Thread类详解

目录 一.并发编程相关概念 线程与进程 多线程 Java中线程的状态 二.线程的创建方法 方法一:继承Thread类 方法二:实现Runnable接口 其他方法 三.Thread类详解 Thread常见构造方法 Thread常见属性 Thread常见方法 start() 与 run() sleep(…

Redis教程——主从复制

在上篇文章我们学习了Redis教程——管道,这篇文章学习Redis教程——主从复制。 主从复制 为了数据更加安全可靠,在实际的项目中,肯定是有多个Redis服务,主机Redis以写为主,从机Redis以读为主,当主机Redis…

长难句打卡5.7

In December 2010 America’s Federal Trade Commission (FTC) proposed adding a “do not track” (DNT) option to Internet browsers, so that users could tell advertisers that they did not want to be followed. 2010年12月,美国美国联邦贸易委员会(FTC)提…

在数字化转型的浪潮中,CBDB百数服务商如何破浪前行?

在信息化时代,传统咨询企业面临着数字化转型的挑战与机遇。如何利用数字化技术提升业务效率、增强客户黏性,成为了行业关注的焦点。云南析比迪彼企业管理有限公司(CBDB)作为云南地区的企业咨询服务提供商,率先与百数展…

Springai入门

一、概述 1.1发展历史 1.2大模型 大模型,是指具有大规模参数和复杂计算结构的机器学习模型。这些模型通常由深度神经网络构建而成,拥有数十亿甚至数千亿个参数。其设计目的在于提高模型的表达能力和预测性能,以应对更加复杂的任务和数据&…