Science Robotics 可实现中心聚焦与多光谱成像的鸟类视觉启发钙钛矿人工视觉系统

一、前沿速览

来自韩国基础科学研究所(IBS)纳米粒子研究中心的研究人员及其合作者提出了一个利用鸟类视觉注视点和多光谱成像的人工视觉系统。近日在Science Robotics 上发表的文章引入了人工中央凹和垂直堆叠的钙钛矿光电探测器阵列,其设计通过理论模拟进行了优化,以展示中央凹和多光谱成像的功能。该人工视觉系统成功地识别了彩色和混杂色物体,并通过中央凹成像检测远距离物体。文章还讨论了这一视觉系统在无人机需要对远距离目标进行动态检测、跟踪和识别中的应用潜力。该系统的研发标志着生物启发式人工视觉领域的一个显著进步。
在这里插入图片描述

二、背景介绍

基于生物启发式人工视觉的研究已经产生了许多非传统的成像系统,这些系统模仿了自然界中生物丰富多样的眼睛结构和功能特征。这些人工视觉系统展示了迷人的性能和潜力,尤其有利于下一代移动机器人。例如,受到人眼启发的曲面图像传感器阵列因其能够使用单个镜头生成低光学畸变的高质量图像而备受关注。类似地,受到水生物种独特视觉能力的启发,包括鱼类、乌贼和螃蟹在内的成像设备也备受关注。这些系统展示了广阔的视场、深度的景深、高光灵敏度、偏振成像能力和两栖视觉。昆虫中发现的复眼也促进了摄像机的发展,这些摄像机具有广阔的视场、几乎无限的景深和对运动的高灵敏度。尽管取得了这些进展,但鸟类眼睛的卓越目标检测和定位能力,特别是中央凹和多光谱成像能力,仍然未能有效地模仿。

由于数百万年的演化,鸟类眼睛具有独特的眼部结构和视觉功能。与人眼中较浅中央凹相比,某些鸟类,如猛禽、燕子和燕鸥,具有较深的中央凹。这种深中央凹不仅能够有效地折射入射光,而且具有最高的视锥细胞密度。中央凹提供了对目标物体的视觉放大并简化其追踪过程。因此,猛禽能够在动态环境中有效地发现、瞄准和追踪远距离的物体。此外,鸟类眼睛具有对紫外光和可见光(红绿蓝)进行感知的四种锥细胞类型。由于紫外光在目标物体表面的强烈散射,鸟类可以从复杂的背景中收集丰富的信息,并有效地将目标物体与背景区分开来。
在这里插入图片描述

鸟类眼睛的中央凹视觉是其显著特点之一。鸟类眼睛的较深的中央凹允许对视网膜图像的一小部分进行放大,而人类眼睛的中央凹由于其平坦的中心而无法提供这种放大。鸟类眼睛的视网膜图像具有不均匀的空间分辨率,因为锥细胞密度的变化。猛禽的中央凹锥细胞密度是人眼的两倍。这种鸟类视觉在中央凹区域产生了放大和高分辨率的图像,同时在外围区域保持了较低分辨率的更广阔视场。目标物体的运动敏感度在中央凹和外围区域之间的边界处较高。

受到这些鸟类卓越视觉能力的启发,研究人员提出了一种基于中央凹和多光谱成像的人工视觉系统。该系统包括一个人工中央凹和一个垂直堆叠的多光谱图像传感器,使用光学模拟优化设计人工中央凹,并确定了光电探测器阵列中的空间像素分布,为了实现多光谱成像,研究人员首先垂直堆叠了四个带隙不同的钙钛矿光电探测器阵列,通过转移印刷集成进行了对准,随后将多光谱图像传感器与人工中央凹结合起来构建了受鸟类眼睛启发的人工视觉系统,并使用这种人工视觉系统展示了中央凹成像能力和多光谱成像的功能。该系统在无需额外滤光片的情况下能够识别彩色和混杂色的物体,并通过中央凹成像获得远距离物体的放大视图。这个新颖的视觉系统在无人机等移动机器人需要在动态环境中进行高精度检测、跟踪与远距离目标识别时具有广阔的应用潜力。

三、图文解析

图1 鸟类眼睛的结构和功能特点。A展示了显示鸟类的视觉生态,B展示了视网膜中深层中央凹的放大示意图。四种类型的锥细胞在深层中央凹下以不同的间隔排列。C为鸟类视觉的示意图,显示其关键特征:中央凹和多光谱视觉。D展示了鸟类眼睛中锥细胞的光谱敏感性。E为显示RGB和UV视觉的示意图。F和G为显示在没有和有中央凹的情况下在视网膜中形成图像的示意图。有中央凹时,松鼠的图像被中央凹放大和聚焦。H为光学模拟,展示了通过中央凹视觉检测物体运动的原理。
在这里插入图片描述

图2 本文提出的人工中央凹模块的凹形成像光学模拟方法。A为隼的视网膜中心凹的横截面光学显微镜图像。该图像经过许可使用(源:A经过许可复制。版权所有为2017年 JOHN WILEY 和 SONS)。B为人工中央凹的横截面光学相机图像。C为人工中央凹模块的示意图。D展示了人工中央凹的光线追踪模拟。从0°到2°的视场角度对应于中央凹区域,入射光被人工中央凹的斜率折射。物体平面的等距视场角度导致图像平面中的像素间距(∆、∆、∆、∆和∆)。E和F展示了光学模拟结果显示中央凹区域E和人工中央凹模块外围区域F在不同物体距离(物体平面和主透镜之间的距离)下RMS点半径的变化。物体距离为(i) 300 mm和(ii) 200 mm。比例尺,50 μm。G展示了图像模拟结果显示两个区域中运动的差异。西门子星物体在中央凹区域由人工中央凹放大和聚焦。
在这里插入图片描述

图3 多光谱图像传感器中单个像素的优化,实现无色彩滤光片的颜色检测。A显示了用于无色彩滤光片颜色检测的垂直堆叠的钙钛矿层。B为垂直堆叠的钙钛矿层的光学模拟结果。光学模拟在四个波长(390、470、532和635 nm)进行。C为多光谱图像传感器中单个像素的假彩色横截面扫描电子显微镜图像。D展示了单个像素在不同波长下的归一化响应度。E展示了单个像素在不同波长下的瞬态光响应。F展示了多光谱图像传感器中单个像素的开关电流。在目标波长下,光强为40 mW/cm2。误差棒表示10个单个像素的标准误差。

在这里插入图片描述

图4 多光谱图像传感器的详细结构。A显示了每个层的多光谱图像传感器的爆炸视图。B显示了每个光电探测器阵列的顺序堆叠的单个像素的光学显微镜图像。C为多光谱图像传感器的8像素×8像素的光学相机图像。D和E展示了中央凹区域中像素(C中的红色框)D和外围区域中像素(C中的蓝色框)E的光学显微镜图像。DF 和 DP 分别代表中央凹区域和外围区域中每个像素之间的距离。F和G展示了光学模拟结果显示根据像素排列的图像差异:凹凸密度F和均匀密度G。
在这里插入图片描述

图5 受鸟眼启发钙钛矿人工视觉系统的中央凹和多光谱成像演示。A为成像演示的测量设置示意图。四个物体(三角形、正方形、圆形和星形)放置在两个不同的距离上( = = = 200 mm 和 = 300 mm)。B为中央凹和多光谱视觉的成像演示。插图显示从紫外线探测器获得的星形图像。比例尺,2 毫米。C为使用具有凹凸密度和均匀密度的多光谱图像传感器的成像演示。物体距离为 200 毫米。比例尺,2 毫米。D为从多光谱图像传感器的每个探测器获得的彩色图像。物体距离为 200 毫米。比例尺,2 毫米。E展示了通过将从多光谱图像传感器的每个探测器获得的彩色信息进行组合而重建的图像。插图显示物体的光学相机图像。比例尺,2 毫米。F为从重建图像中获取的强度剖面的图表。
在这里插入图片描述

图6 鸟类眼睛启发的人工视觉系统的物体/运动检测能力。A和B展示了模拟结果显示原始图像和基于YOLO v5的中央视觉的对象识别能力。C为在150帧期间,中央视觉和原始图像的置信度的散点图。D和E展示了模拟结果显示原始图像和基于Farneback算法的运动检测能力。F为在第52帧期间,图像中心的运动幅度的散点图。

在这里插入图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/21865.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

webserver timer

定时器用来处理非活动链接。 webserver项目中,通过信号函数来实现定时。 调用alarm()系统调用,设置好时间,这段时间结束后,alarm会发出sig_alarm信号。而信号处理函数做的事情仅仅只是将代表该信号的值写入管道(pipefd)。 在event…

NLP基础——序列模型(动手学深度学习)

序列模型 定义 序列模型是自然语言处理(NLP)和机器学习领域中一类重要的模型,它们特别适合处理具有时间顺序或序列结构的数据,例如文本、语音信号或时间序列数据。 举个例子:一部电影的评分在不同时间段的评分可能是…

#!/usr/bin/env bash

#!/usr/bin/env bash 是一个在 Unix 和 Unix-like 系统(如 Linux 和 macOS)中常见的 shebang(或称为 shebang 行、hashbang、pound bang 或 hash-bang)指令。 这个指令有以下几个部分: #!:这是一个特殊的…

智慧校园的发展趋势

在21世纪的数字化浪潮中,教育领域正经历着前所未有的变革。智慧校园,作为这场变革的前沿阵地,其发展趋势正引领着未来教育的新模式。我们将探讨智慧校园在融合技术、全场景应用、生态建设、数据安全以及可持续发展等方面的崭新动向&#xff0…

In eMule and the Kad network, “distance“ meaning

In eMule and the Kad network, “distance” is not defined as the literal number of hops or jumps from one node to another. Instead, it is a mathematical metric used to measure how “close” two identifiers are to each other in the key space. This distance …

特征交叉系列:FFM场感知因子分解机原理与实践

从FM到FFM知识准备 在上一节中[特征交叉系列:完全理解FM因子分解机原理和代码实战]介绍了FM算法,FM因子分解机通过在逻辑回归基础上增加所有特征的二阶交互项实现特征的交叉,但是随着特征数的增多二阶交互的数量呈平方级别增长,F…

ArcGIS模型构建器实例:一键拓扑(附模型下载)

ArcGIS模型构建器特别适用于流程固定的工作流。 要素的拓扑处理就非常符合这一特点,一个要素的拓扑过程基本固定,但是每次拓扑都要来一轮操作就很烦,这正是模型构建器的用武之地。 下面以ArcGIS Pro为例介绍在模型构建器中的整个拓扑流程&a…

CPU 使用率过高问题排查

文章目录 CPU 使用率过高问题排查1. CPU使用率过高常见问题2. 压力测试2.1 stress安装参数说明测试示例 2.2 stress-ng安装参数说明测试示例 3. 问题排查3.1 使用 top 命令3.2 使用 ps 命令3.3 使用 perf top3.4 vmstat 命令常用信息内存信息磁盘信息 CPU 使用率过高问题排查 …

第一篇 逻辑门(与门、或门、非门、异或门)

一、实验目的 了解DE1-SOC开发板一些外设。 掌握常用组合逻辑门电路的基本原理。 学习Verilog HDL的基本语法。 学习使用ModelSim工具对设计的电路进行仿真,包括编写Testbench仿真代码,以及ModelSim工具的使用。 熟悉使用Quartus软件从创建Quartus工…

算法金 | Python 中有没有所谓的 main 函数?为什么?

​大侠幸会,在下全网同名[算法金] 0 基础转 AI 上岸,多个算法赛 Top [日更万日,让更多人享受智能乐趣] 定义和背景 在讨论Python为何没有像C或Java那样的明确的main函数之前,让我们先理解一下什么是main函数以及它在其他编程语言…

javaweb——js

JavaScript是一种网页脚本语言。JavaScript代码可以很容易的嵌入到HTML页面中。 js引入 JavaScript嵌入到HTML页面中 <body><script>alert("Hello JS")</script> </body>再HTML页面中插入外部脚本JavaScript <body><script src&…

GIS数据快捷共享发布工具使用时注意事项

我们所有工具软件下载解压后&#xff0c;不要放在C盘或桌面&#xff0c;这样会产生权限冲突问题问题&#xff0c;这是WINDOWS的安全保护&#xff0c;大家要注意&#xff01;也不要让解压目录嵌套太深&#xff0c;Windows目录长度识别是有一定限制的!如果可以&#xff0c;最好是…

微收付系统让客户有钱花,让商家有钱赚!

微收付系统让客户有钱花&#xff0c;让商家有钱赚&#xff01; 作者按&#xff1a;随着那场呼啸全球的疫情&#xff0c;谜一样的消失&#xff01;给全球经济带来了沉重的打击&#xff0c;经济不振和战争笼罩着世界每一个角落&#xff0c;实体店面临着收款难&#xff0c;有钱人花…

DALL-E 2之学习心得

一、简介 DALL-E 2 是 OpenAI 开发的一款人工智能图像生成器&#xff0c;它可以根据自然语言的文本描述创建图像和艺术形式。这是一个根据文本生成图像的人工智能系统&#xff0c;是 DALL-E 模型的升级版。 DALL-E 2 的特点包括&#xff1a; 图像生成&#xff1a;能够从文本描述…

用旧安卓手机当 linux 开发机

1. 下载 Termux (快速链接&#xff0c;如果失效或者要下载最新版请去github release 下载 ) 注意手机硬件&#xff0c;我这个是 64 的所以下 64 的 https://github.com/termux/termux-app/releases/download/v0.118.0/termux-app_v0.118.0github-debug_arm64-v8a.apk 2. 弄到…

C语言 数组——数组的其他应用之筛法求素数

目录 数组的其他应用 求100以内的所有素数 筛法求100以内的所有素数 自顶向下、逐步求精设计算法 数组的其他应用 求100以内的所有素数 筛法求100以内的所有素数 自顶向下、逐步求精设计算法 step 1&#xff1a;设计总体算法  初始化数组a&#xff0c;使a[2]2, a[3]3,..…

【Git】如何因格式问题需要重新修改再提交代码时的操作技巧

若是出现已经在本地分支提交了一笔代码&#xff0c;该笔提交由于格式问题需要重新修改再提交时&#xff0c;且由于问题需要将本地分支删除时&#xff0c;此时需先新建一个新的分支&#xff0c;新的分支建好后&#xff0c;执行下面的操作&#xff1a; a.在目录下执行创建新的分…

yolov8逐步分解(8)_训练过程之Epoch迭代前初始准备

yolov8逐步分解(1)--默认参数&超参配置文件加载 yolov8逐步分解(2)_DetectionTrainer类初始化过程 yolov8逐步分解(3)_trainer训练之模型加载 YOLOV8逐步分解(4)_模型的构建过程 YOLOV8逐步分解(5)_模型训练初始设置之混合精度训练AMP YOLOV8逐步分解(6)_模型训练初始…

Flink系列六:Flink SQl 之常用的连接器(Connector)

一、动态表 & 连续查询(Continuous Query) 1、动态表&#xff08;Dynamic Tables&#xff09; 当流中有新数据到来&#xff0c;初始的表中会插入一行&#xff1b;而基于这个表定义的SQL查询&#xff0c;就应该在之前的基础上更新结果。这样得到的表就会不断地动态变化&…

SQL Developer 导入CSV数据

之前已经写过一篇文章&#xff1a;将文本文件导入Oracle数据库的简便方法&#xff1a;SQL Developer 本文是类似的&#xff0c;只不过使用的是官方提供的 CSV文件&#xff0c;确实是标准的CSV&#xff08;comma separated values&#xff09;。 COL1,COL2,COL3 "e40a9db…