从技术角度探讨:深度传感器行业有哪些发展机会

来源:仪商网

以前,我们一直认为传统相机将3D世界转换为2D图像,已可以满足我们对于图像的应用,而2D图像中丢失的三维似乎并不重要。

但随着计算机视觉(CV)的飞速发展以及与深度学习的结合,许多雄心勃勃的研究人员试图使机器通过摄像头更好地了解我们的世界,以便它们可以通过许多任务来增强人类的能力。其中最有意义的是找回2D图像中丢失的深度信息。

在如今诸多火爆的智能硬件中,如体感交互、远程遥控机器人、无人驾驶等场景里,CV发挥着重要作用,成功完成诸如手写识别,对象分类、辅助驾驶之类的工作。但是,当处理真实的3D世界时,CV就存在瓶颈。人类有两只眼睛,使我们能够自然地感知深度。但是,大多数CV应用程序都依靠一台摄像机来捕获和解释其周围的环境,难以获取深度信息。丢失的三维尺寸严重限制了CV的性能,可以说传感器的性能就是如今虚拟与现实世界之间的瓶颈。

深度传递关键信息——我们将需要深度感测和2D成像来捕获现实世界的全部信息。

深度传感器的三种技术

目前人们如果想探测环境深度信息,主要依赖于三种技术,分别是相机阵列, TOF(time of flight)技术,以及基于结构光的深度探测技术。

●结构光:

接收器使用激光光源投射目标物,检测反射目标物的变形,以基于几何形状计算深度图。它必须扫描整个平面以获得需要时间的深度图,因此它是非常准确的。但是,此方法对环境亮度敏感,因此通常仅在黑暗或室内区域使用。

●飞行时间(ToF):

ToF主要有两种方法。

第一个很简单:激光源发出一个脉冲,传感器检测到该脉冲在目标物体上的反射,以记录其飞行时间。知道了光的恒定速度后,系统可以计算出目标物体的距离。为了确保高精度,脉冲周期必须短,这导致较高的成本。另外,需要高分辨率的时间数字转换器,这会消耗很多功率。这种方法通常可以在高性能ToF传感器中找到。

计算时间的另一种方法是发出调制光源并检测反射光的相位变化。相变可以通过混合技术容易地测量。调制激光源比发出短脉冲更容易,并且混合技术比时间数字转换器更易于实现。此外,LED可用作调制光源来代替激光。因此,基于调制的ToF系统适合于低成本ToF传感器。

●相机阵列:

摄像头阵列方法使用放置在不同位置的多个摄像头来捕获同一目标的多个图像,并根据几何结构计算深度图。在计算机视觉中,这也称为“立体视图”。

最简单但最受欢迎的相机阵列是双相机,其中两个相机相隔一定距离以模仿人眼。对于空间中的每个点,在两个摄像机图像中的位置均出现可测量的差异。然后,通过基本几何来计算深度。

相机阵列的主要挑战是如何在多个图像中找到匹配点。匹配点搜索涉及复杂的CV算法。目前,深度学习可以帮助您找到准确度较高的匹配点,但是其计算成本很高。另外,有很多点很难找到匹配点。

例如,在上面的瓦格纳雕像的两个视图中,鼻子是最容易匹配的点,因为它的特征易于提取和比较。但是,对于面部的其他部分(尤其是面部无纹理的表面),很难找到匹配点。当两个相机图像的遮挡不同时,匹配会更加复杂。目前,相机阵列作为深度传感器的鲁棒性仍然是一个具有挑战性的问题。

三种深度感测技术的对比

●整体表现

对于深度感测,最重要的指标是深度精度。结构光具有最佳的深度精度性能,而相机阵列往往具有最大的深度误差。

就深度感测范围而言,结构光的范围最短,而ToF的范围取决于光源的发射功率。例如,智能设备可能只需要几米的距离,而自动驾驶汽车则需要几百米。同样,摄像机阵列的测量范围取决于两个摄像机之间的空间。对于常规摄像机阵列,最佳性能测量范围通常在10m左右,尽管也显示了某些具有极窄空间的特殊摄像机阵列可以在1m左右测量深度。

对于深度图分辨率,结构光的性能优于ToF,因为可以精确控制结构发光图案并精确捕获其反射图案。从理论上讲,摄像机阵列具有良好的分辨率,但这是基于两个图像中的完美点匹配。使用非理想的点匹配(如光滑表面)时,分辨率会降低。

最后,我们需要考虑对环境亮度的限制。结构光需要黑暗的环境,而ToF传感器由于快速发展的背景消除技术而可以承受更大范围的环境亮度。对于摄像机阵列,明亮的环境效果最佳。在黑暗的房间中,相机阵列捕获的图像会变得嘈杂,并且对比度变差,因此点匹配变得极为困难,从而导致深度估计不准确。

●成本

摄像机阵列的成本通常最低,其开发工作主要在软件方面。双摄像头解决方案已经广泛应用于许多智能设备和移动电话中。ToF传感器的成本适中,而结构光的成本最高。但是,随着ToF的批量生产,预计其成本在不久的将来会大大降低。

●可扩展性

通过展望这些技术的潜力,我们可以更好地利用它们来满足未来的需求。

ToF是半导体技术,并且具有最佳的可伸缩性。它的深度精度可以通过片上时间数字转换器/混合电路进行缩放,其深度图分辨率可以通过传感器尺寸进行缩放,其测量范围可以通过光源功率/调制方案进行缩放,并且其功耗可以通过用半导体技术扩展规模。

另一方面,结构光具有不错的可伸缩性。光学系统是结构光的关键组成部分,光学系统可以随着封装技术而扩展(尽管不如半导体快)。

最后,缩放摄像机阵列主要依赖于软件:我们将需要更好的算法来缩放其深度感应性能。它更像是一个数学问题,而不是工程问题,而改进硬件并没有太大帮助。即使使用分辨率更高的相机,点匹配问题仍然存在。

资料来源:德州仪器

建议仅使用结构光来执行生物识别任务,因为它具有最佳的深度精度。游戏应用需要中等深度分辨率和快速响应,因此ToF传感器似乎是最合适的。对于其他应用程序(包括定位,识别,测量和增强现实),所有技术都可以做到,但是某些技术比其他技术更适合特定的应用场景。例如,相机阵列可能最适合在需要深度测量范围的开放空间中的AR应用,而ToF传感器最适合可以控制环境亮度的室内AR.

深度传感器的应用

1. AR / VR:用于感知真实的3D环境并在虚拟世界中重建它们

深度信息对于VR / AR设备的人机交互也是必需的。设备必须准确响应用户的3D运动,因此肯定需要高性能的深度传感器。

例如,谷歌的Project Tango使用深度传感器来准确地测量实际环境,并通知其图形算法将虚拟内容放置在适当的位置。与Pokemon Go的AR模式相反,由于算法没有环境深度信息,因此用户经常可以看到Pokemon放置在不正确的位置。

2.机器人:用于导航,定位,地图绘制和避免碰撞

许多仓库已经利用了将物品从一个地方运输到另一个地方的全自动驾驶汽车。车辆自行行驶的能力需要深度感应,以便能够知道它在环境中的位置,其他重要事物的位置,最重要的是,它如何安全地从A移到B.类似地,任何用于拾取目的依赖于深度感应来了解目标对象在哪里以及如何获取它。

这些相同的应用对于任何自动驾驶汽车的成功都是必不可少的。实际上,目前无人驾驶汽车面临的最重大挑战之一是为汽车配备精确的深度传感器和CV系统,而不会大幅增加成本。这仍然是一个竞争激烈的市场,许多新创公司都在争夺领导地位。

3.面部识别:在防止欺诈的同时提高便利性

大多数人脸识别系统使用2D相机捕获照片并将其发送给算法来确定人的身份。但是,这存在很大的漏洞:糟糕的演员会欺骗系统,因为他们无法分辨是看到的是真实的3D面孔还是2D照片。为了使人脸识别安全,必须使用具有深度感应功能的3D相机。

除了阻止漏洞外,3D人脸建模还可以传达人脸的更多特征,以实现更准确的识别。

4.手势和接近检测:用于游戏,安全性等

飞行时间(ToF)深度传感器已被许多设备用于这些目的。在简单的实现方式中,深度传感器仅需要检测一个点的深度信息,例如用于手势检测的手或用于接近度检测的脸部。因此,具有简单的光学器件(和较窄的视场)的深度传感系统就足够了。随着手势检测的发展,使用了更复杂的深度感应系统,例如Microsoft的Kinect.

深度传感器的创业机会

在未来几年中,深度感应将成为一个巨大的市场。当前,深度感测中的许多技术仍有很大的改进空间,这可能是技术初创公司的机会。此外,初创公司可以尝试将当前的深度感应技术用于新兴应用。

1、深度感测技术与CV应用程序的结合

深度感测系统可以与当前的计算机视觉应用程序结合使用,以大大提高其性能并满足实际部署的需求。这也有助于减轻极端情况的影响——2D中的许多极端情况实际上可能是3D世界中的正常情况。

深度感测可以使CV算法执行我们生活中更重要的事情,其中一些甚至可以是破坏性的创新,从而创造更多的市场,例如面部识别。

2、ToF传感器——以合理的价格使用脉冲激光

当前,用于移动设备的ToF传感器通常使用低成本的基于调制的光源。如前所述,基于调制的光源具有范围模糊性,并且其性能通常不如脉冲激光器。脉冲激光器已经成功地用于LiDAR中,但其成本,功耗和尺寸仍然不适用于移动设备。

但是,LiDAR中的激光源最近发展很快。初创企业有可能将脉冲激光引入用于深度动态,性能至关重要的系统的移动式ToF传感器中,例如针对面向业务的电子市场领域的AR和VR.这些应用程序还可以提供很高的利润率,对于初创企业来说是一个理想的机会。

3、ToF传感器——改善LED性能

ToF传感器的另一端是对成本敏感的应用程序,例如IoT。

对于低成本设备,激光仍然太昂贵。LED可以在ToF传感器中用于低成本应用,但性能会下降。ToF传感器的LED性能问题可以在设备或系统级别解决。通过该装置,可以使用具有更高调制频率容量的新型LED.通过改进系统的模拟信号处理电路,重新配置系统(即使用LED阵列并组合结果)或通过实施一种新的深度评估算法。

4、ToF和结构光——提高亮度容限

环境亮度是ToF和结构光深度传感器的瓶颈。为了忍受来自环境的更多光,已经提出了几种背景消除技术。例如,在意法半导体(STMicroelectronics)生产的ToF传感器芯片中,还集成了环境光传感器和深度传感器像素,以估算来自环境光的干扰。其他一些公司也提出了信号处理(模拟和数字)中的背景消除算法。

但是这些解决方案并不完美。为ToF和结构光提供更好的背景消除仍然是深度传感技术中的一个悬而未决的问题。如果初创公司可以解决这个问题,那么它的价值将是巨大的,特别是对于背景消除而言,可以使结构的光深度感应系统在明亮的环境中工作。

5、摄像头阵列与ToF结合使用可实现高分辨率

尽管ToF传感器的分辨率较低,但相机阵列的分辨率较高,但存在匹配问题。但是,智能设备完全可能同时包含摄像头阵列和ToF传感器。相机阵列还可以用于深度感应以外的应用程序,例如智能对焦。可能会合并来自摄像机阵列和ToF传感器的信息,从而以高分辨率和良好的深度精度计算深度图。该深度传感系统的总成本甚至可能低于具有更高分辨率的ToF传感器。

这些只是带有深度传感器的新型计算机视觉应用的众多未来机会中的少数。到目前为止,绝大多数计算机视觉应用程序都涉及通过摄像机解释2D世界。借助深度传感器,我们为计算机提供了整个数据范围,极大地扩展了计算机能够执行的功能的可能性。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487274.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机二级vf上机试题,计算机二级VF上机模拟题

计算机二级VF上机模拟题一、基本操作题(共4小题,第1和2题是7分、第3和4题是8分)在考生文件夹下完成下列操作(在"成绩管理"数据库中完成):1、为"学生"表在"学号"字段上建立升序主索引,索引名和索引表达式均为学…

城市大脑全球标准,构建人类协同发展类脑智能支撑平台

21世纪以来,种种迹象表明诞生于1969年的互联网正在从网状结构向类脑模型演化。这种演化不但导致物联网、云计算、大数据、工业互联网、边缘计算、云机器人的产生,同时也使得谷歌大脑、百度大脑、阿里大脑、360安全大脑、腾讯超级大脑,城市大脑…

一场物理界和数学界永远不能停下的争论

来源:算法数学俱乐部数学和物理的搞笑差别一场物理界和数学界永远不能停下的争论: 数学系和物理系的学生有什么差别?数学系的学生学数学分析、复分析、实分析、泛函分析、数值分析、线性代数、抽象代数、概率论、集合论、数论、微分几何、微分…

Nature:麻省理工人造「巨型原子」问世,量子处理和量子通信合二为一

文章来源:nature在量子计算中,交互就是一切。量子计算机的主要挑战之一,就是如何让稍远距离的量子比特也能交互。一项发表于《自然》上的论文有了新的进展。一直以来,量子计算机都是一个神秘且「高大上」的存在。中国科学院院士潘…

神经网络与推荐系统初步简介

作者:一人 1.深度神经网络对于任何领域都是适用的 深度神经网络(Deep Neural Networks, DNN)在过去的数年已经在图像分类、语音识别、自然语言处理中取得了突破性的进展。在实践中的应用已经证明了它可以作为对于一种十分有效的技术手段应用…

18个顶级人工智能平台

来源:机器人小妹很多时候企业拥有重复,乏味且困难的工作流程,这些流程往往会减慢生产速度并增加运营成本。为了降低生产成本,企业别无选择,只能自动化某些功能以降低生产成本。通过数字化重复性任务,企业可…

计算机内部程序代码,计算机为什么能够读懂程序代码?

01 引子上一回,我们的主人公小A初次亮相,凭借基础的前后端理解,从技术实现的层面为我们剖析了微信扫码登录的原理和机制。可能很多人因此会好奇,小A到底是做什么的呢?为什么能够弄懂这些原理呢?其实&#x…

符号主义对深度学习的意义浅谈

来源:混沌巡洋舰符号主义人工智能经历过古典时期的专家系统阶段, 中期的知识图谱阶段, 和近期深度学习和符号主义的再次联姻。那么一个很重要的问题是符号主义为什么会复兴,它对当下的机器学习又有何意义?参考阅读&…

400多家单位、30余万科研人员,10多年奋斗!北斗卫星核心器件实现100%国产!(附:北斗研发建设历程​)...

来源:EETOP国务院新闻办公室8月3日上午10时举行新闻发布会,中国卫星导航系统管理办公室主任、北斗卫星导航系统新闻发言人冉承其介绍,工程建设提前半年完成,彰显中国速度。“北斗三号2009年11月启动建设。10余年来,工程…

深度学习败于“捷径”

来源:AI科技评论深度学习的未来在哪里?这一话题已经有过了无数讨论,大部分讨论都承认当前的深度学习还不是真正的智能,必须转向理解、常识。但是只看当前AI成功的案例,似乎还无法窥探理解。近日,来自多伦多…

互联网是由多个计算机相互连接而成,计算机网络

第一章:三类网络:电信网络有线电视网络计算机网络互联网基本特点:连通性共享计算机网络的组成:若干结点和连接这些结点的链路组成结点分类:计算机集线器交换机或路由器等互联网internet:泛指由多个计算机网…

ftp服务器PDF文件在线查看

曾做过电厂的项目,有一些功能需要和甲方的厂家对接,其中就有需要实现甲方ftp服务器上的PDF、JPG等文件的查看功能。就PDF文件为例,这里使用的是pdf插件,需要将参数通过链接发给ftp,获取到PDF文件,并在后端处…

从MEMS专利数量分析我国MEMS传感器产业现状

来源:传感器专家网MEMS传感器是采用微机械加工技术制造的新型传感器,是MEMS系统的重要分支。MEMS传感器以其优异的性能,如体积小、重量轻、成本低、功耗低、灵敏度高、可批量化生产、易于集成和实现智能化等特点,逐步取代传统机械…

配置手工模式链路聚合示例(交换机之间直连)

组网图形 图1 配置手工模式链路聚合组网图 手工模式链路聚合简介配置注意事项组网需求配置思路操作步骤配置文件 手工模式链路聚合简介 以太网链路聚合是指将多条以太网物理链路捆绑在一起成为一条逻辑链路,从而实现增加链路带宽的目的。链路聚合分为手工模式和LA…

知乎热议:科学网发布文章称「我国数学家证明 NP=P」,会带来怎样的影响?

来源:运筹OR帷幄2020年7月出版的《计算机科学》(中国计算机学会会刊)发表了国防科技大学教授、湘潭大学计算机学院特聘教授姜新文题为《哈密顿图判定问题的多项式时间算法》的论文,这标志着在数学和计算机科学领域中最为重要的难题…

2008r2服务器频繁自动重启,解决windows server 2008 更新后不断重启现象

今天遇到一台服务器提示windows2008r2系统更新失败,进入启动界面时提示:“未正确配置更新,正在还原更改,请勿关闭计算机!”,不久就再次重新启动,然后不断自动重复这个过程。从保护数据安全的角度…

【代码笔记】iOS-自定义loading(IanAlert)

一&#xff0c;效果图。 二&#xff0c;工程图。 三&#xff0c;代码。 ViewController.h #import <UIKit/UIKit.h>interface ViewController : UIViewController {//loading UIView *backViewLoad; } end ViewController.m #import "ViewController.h" //load…

专业|尧德中:脑器交互学,一个发展中的新学科

来源&#xff1a;人工智能人物尧德中专家简介&#xff1a;电子科技大学信息医学研究中心主任&#xff0c;生命科学与技术学院首任院长&#xff08;2001-2017&#xff09;&#xff1b;四川省脑科学与类脑智能研究院院长&#xff0c;神经信息科技部国际联合研究中心主任/教育部重…

服务器的创意工坊文件,Steam 创意工坊实现指南

简介Steam 创意工坊系统使用后端存储、前端网页的形式&#xff0c;便于存储、整理、排序、评分及下载游戏或应用程序。本文提供了为产品实现 Steam 创意工坊的技术细节。 在开始将 Steam 创意工坊与您的游戏整合前&#xff0c;请参见 Steam 创意工坊概览&#xff0c;了解更多您…

CCF-GAIR 2020 全球人工智能和机器人峰会今日开幕

于 2020 年 8 月 7 日-9 日召开的 2020 全球人工智能和机器人峰会&#xff08;CCF-GAIR 2020&#xff09;今日正式开幕。CCF-GAIR 2020 峰会由中国计算机学会&#xff08;CCF&#xff09;主办&#xff0c;香港中文大学&#xff08;深圳&#xff09;、雷锋网联合承办&#xff0c…