《自然》:深度学习超分辨显微成像方法

来源:清华大学自动化系

2021年1月21日,中国人工智能学会理事长、中国工程院院士、清华大学自动化系、清华大学脑与认知科学研究院戴琼海课题组与中国科学院生物物理所李栋课题组在《自然•方法》(Nature Methods)杂志发表了题为光学显微成像中超分辨卷积神经网络的测评和发展(Evaluation and development of deep neural networks for image super-resolution in optical microscopy)的论文,该文综合测评了现有超分辨卷积神经网络模型在显微图像超分辨任务上的表现,提出傅立叶域注意力卷积神经网络(DFCAN, Deep Fourier Channel Attention Network)和傅立叶域注意力生成对抗网络(DFGAN,Deep Fourier Generative Adversarial Network)模型,在不同成像条件下实现最优的显微图像超分辨预测和结构光超分辨重建效果,并观测到线粒体内脊、线粒体拟核、内质网、微丝骨架等生物结构的动态互作新行为。

图1. 深度学习超分辨显微成像方法观测细胞骨架的交错结构

为测评现有多种超分辨神经网络在显微图像超分辨任务中的表现,以及建立基于深度学习的显微图像超分辨算法研究生态,戴琼海/李栋联合课题组首先利用自主搭建的整合了全内反射结构光照明显微镜(TIRF-SIM)、非线性结构光照明显微镜(Nonlinear-SIM)【Science,2015】和掠入射结构光照明显微镜(GI-SIM)【Cell,2018】等多种超分辨成像模态的多模态结构光超分辨显微镜系统对不同生物结构进行成像,建立了一个包含四种不同复杂度的生物结构、九种不同信噪比,以及提高2倍(Linear-SIM)、3倍(Nonlinear-SIM)分辨率的高质量超分辨显微成像公开数据集,命名为BioSR。以此为基础,该团队测试了多个现有超分辨神经网络模型的性能,并提出测评矩阵(assessment matrix)方法,将超分辨神经网络模型与传统线性结构光照明超分辨技术(Linear-SIM)和非线性结构光照明超分辨技术(Nonlinear-SIM)的效果进行比较,得到了不同模型的优越区域(priority region),即给出了不同模型实现足够好的超分辨成像效果、能够用于日常生物成像实验的成像条件。

但通过分析评测矩阵结果发现,现有超分辨神经网络模型的优越区域主要集中在低复杂度生物结构和提升2倍分辨率(即Linear-SIM)的成像条件下,而在生物成像实验通常使用的中、高信噪比条件下的性能则低于传统超分辨成像方法。为进一步拓展卷积神经网络在显微图像超分辨中的适用范围,提升超分辨成像和重建效果,戴琼海/李栋联合课题组基于高、低分辨率图像频谱覆盖范围的显著差异,提出了傅立叶域注意力卷积神经网络模型(DFCAN)和傅立叶域注意力生成对抗网络模型(DFGAN),实现了比其他现有卷积神经网络模型更鲁棒的显微图像超分辨预测效果,依据测评矩阵结果,其优越区域可以拓展至中高信噪比,可在实际生物成像实验中替代现有超分辨成像方法,应用场景得到较大程度的拓展。

图2. 傅立叶注意力机制和基于傅立叶域注意力卷积神经网络(DFCAN)、傅立叶域注意力生成对抗网络(DFGAN)结构光超分辨重建的活细胞成像

应用傅立叶域注意力卷积神经网络(DFCAN)和傅立叶域注意力生成对抗网络模型(DFGAN)单张显微图像超分辨率预测和结构光照明超分辨重建方法,研究人员能够以更低的激光功率、更快和拍摄速度、更长的拍摄时程和超越衍射极限和分辨率来观测亚细胞尺度的生物结构互作。例如:

(1)细胞中的线粒体内膜和线粒体拟核之间的相互作用,成像时程(>1200张超分辨图像)达到传统活体超分辨成像方法的10倍以上,观察到伴随着线粒体内脊形变的拟核分离和聚合现象;

(2)细胞中环形线粒体的行为,观察到环形线粒体会在细胞质流的推动下进行双向旋转,表明除植物细胞外,动物细胞一定程度上也用涡旋细胞质流来调节胞内稳态;

(3)细胞内吞过程中细胞微丝(F-actin)和网格蛋白小窝(CCPs)的相互作用,观察到在内吞过程伊始时细胞微丝与网格蛋白小窝接触较少,而在内吞即将结束时细胞微丝频繁接触网格蛋白小窝,以帮助其脱离细胞膜;

(4)细胞中线粒体和内质网之间的相互作用,观察到线粒体的分裂和融合往往发生在其与内质网的接触位点附近。

李栋

戴琼海

作者简介

中国人工智能学会理事长、清华大学自动化系戴琼海教授与中国科学院生物物理所李栋研究员为共同通讯作者。清华大学自动化系博士生乔畅、中国科学院生物物理研究所副研究员李迪、博士后郭玉婷、博士生刘冲为该论文共同第一作者。本研究得到了国家自然科学基金委、科技部、中国科学院、中国博士后科学基金、腾讯“科学探索奖”的资助。

文章链接:

https://www.nature.com/articles/s41592-020-01048-5

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/485400.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Leetcode--164. 最大间距

给定一个无序的数组,找出数组在排序之后,相邻元素之间最大的差值。 如果数组元素个数小于 2,则返回 0。 示例 1: 输入: [3,6,9,1] 输出: 3 解释: 排序后的数组是 [1,3,6,9], 其中相邻元素 (3,6) 和 (6,9) 之间都存在最大差值 3。 示例 2: …

人工肌肉重大突破登上 Science!多国科学家联合实现全新驱动机

来源:雷锋网作者:付静2021 年,机器人已经「成精」了,公然吵架、组团热舞再也不是愚蠢的人类专属。然鹅在很多人心里,机器人还是僵硬、机械甚至冰冷的。即便如此,技术日新月异,柔性机器人快速发展…

Leetcode--442. 数组中重复的数据

给定一个整数数组 a,其中1 ≤ a[i] ≤ n (n为数组长度), 其中有些元素出现两次而其他元素出现一次。 找到所有出现两次的元素。 你可以不用到任何额外空间并在O(n)时间复杂度内解决这个问题吗? 示例: 输入: [4,3,2…

【HAOI2010】工厂选址题解

题目描述 某地区有m座煤矿,其中第i号矿每年产量为ai吨,现有火力发电厂一个,每年需用煤b吨,每年运行的固定费用(包括折旧费,不包括煤的运费)为h元,每吨原煤从第i号矿运到原有发电厂的…

盘点|应用落地,构建城市“大脑”

来源:IDC圈北京:“云”建智慧之都“全国政治中心、文化中心、国际交往中心、科技创新中心……”城市战略定位下的北京正处在落实首都城市战略定位、建设国际一流和谐宜居之都的关键时期。2020年初,新冠疫情爆发,北京市政府快速响应…

Leetcode--289. 生命游戏

根据百度百科,生命游戏,简称为生命,是英国数学家约翰何顿康威在1970年发明的细胞自动机。 给定一个包含 m n 个格子的面板,每一个格子都可以看成是一个细胞。每个细胞具有一个初始状态 live(1)即为活细胞…

深度信念网络研究现状与展望

来源:专知摘要: 深度信念网络(Deep belief network, DBN)是一种基于深度学习的生成模型, 克服了传统梯度类学习算法在处理深层结构所面临的梯度消失问题, 近几年来已成为深度学习领域的研究热点之一.基于分阶段学习的思想, 人们设计了不同结构和学习算法的深度信念网…

使用JDBC进行简单连接

学习笔记:JDBC与数据库 集训的有关总结 连接数据库(MySQL)的步骤: 导入jar包(可以去官网下) 复制mysql-connector-java-5.1.37-bin.jar到项目libs目录下 右键–>Add As Library 注册驱动 获取数据库连接对象Connection 定…

Leetcode--41. 缺失的第一个正数

给定一个未排序的整数数组,找出其中没有出现的最小的正整数。 示例 1: 输入: [1,2,0] 输出: 3 示例 2: 输入: [3,4,-1,1] 输出: 2 示例 3: 输入: [7,8,9,11,12] 输出: 1 说明: 你的算法的时间复杂度应为O(n),并且只能使用常数级别的空间。 思路:时间…

深度学习中的3个秘密:集成、知识蒸馏和蒸馏

作者:Zeyuan Allen-Zhu来源:AI公园编译:ronghuaiyang在现在的标准技术下,例如过参数化、batch-normalization和添加残差连接,“现代”神经网络训练 —— 至少对于图像分类任务和许多其他任务来说 —— 通常是相当稳定的…

对于JDBC的简单理解

什么是JDBC?为什么要使用JDBC? 1. JDBC JDBC是Java DataBase Connectivity的缩写,即Java程序访问数据库的标准接口使用Java程序访问数据库时,通过JDBC接口来访问JDBC驱动来实现对数据库的操作JDBC接口是Java标准库自带的&#xf…

BeautifulSoup

BeautifulSoup是一个模块,该模块用于接收一个HTML或XML字符串,然后将其进行格式化,之后遍可以使用他提供的方法进行快速查找指定元素,从而使得在HTML或XML中查找指定元素变得简单。 1. 安装 pip3 install beautifulsoup42.示例 fr…

Leetcode-45. 跳跃游戏Ⅱ

给定一个非负整数数组,你最初位于数组的第一个位置。 数组中的每个元素代表你在该位置可以跳跃的最大长度。 你的目标是使用最少的跳跃次数到达数组的最后一个位置。 示例: 输入: [2,3,1,1,4] 输出: 2 解释: 跳到最后一个位置的最小跳跃数是 2。 从下标为 …

研究揭示人类大脑进化的基因组调控机制

来源:中国科学院昆明动物研究所人类大脑起源于漫长的生命进化过程,其最显著的改变是大脑的认知功能,反映在脑容量的显著扩大和脑结构的高度精细化。在人类进化过程中,“哪些遗传改变造就了人类大脑”是学界长期力图解决的科学问题…

计算机组成原理笔记——存储器分类、层次结构、技术指标、存储单元地址分配

计算机组成原理笔记——存储器分类、层次结构、技术指标、存储单元地址分配 一. 概述 存储器的分类 按存储介质划分: (1)半导体存储器 双极型(TTL)、MOS (2)磁表面存储器 磁头、载磁体 (3)磁芯存储器(目前几乎已不被采用)硬磁材料、环状元件 (4)光盘存储器 激光、…

interceptor 拦截器的使用 (session验证)

需要引入 http://www.springframework.org/schema/mvchttp://www.springframework.org/schema/mvc/spring-mvc-3.2.xsd之前是3.0.xsd mvc:exclude-mapping 报错 需要改成3.2.xsd <mvc:interceptors> <mvc:interceptor> <!-- 需拦截的地址 --> …

Leetcode--229. 求众数Ⅱ

给定一个大小为 n 的数组&#xff0c;找出其中所有出现超过 ⌊ n/3 ⌋ 次的元素。 说明: 要求算法的时间复杂度为 O(n)&#xff0c;空间复杂度为 O(1)。 示例 1: 输入: [3,2,3] 输出: [3] 示例 2: 输入: [1,1,1,3,3,2,2,2] 输出: [1,2] 思路&#xff1a; 摩尔投票法 超过…

刚刚,《The Scientist》预测了未来最热门的生命科学技术

图片来源&#xff1a;illumina来源&#xff1a;中国生物技术网去年&#xff0c;新冠疫情席卷全球&#xff0c;生物医学研究领域学者奋起应对挑战&#xff0c;并取得了前所未有的科学成就。2021年已来&#xff0c;尽管大流行还在继续&#xff0c;但美国《The Scientist&#xff…

Java Web项目的层次结构及常见分包

Java Web项目的层次结构及常见分包 Web项目中的层次 ControllerServiceDaoController层&#xff1a;表现层&#xff08;视图&#xff09;层。用来显示数据和接收用户数据Service层&#xff1a;业务逻辑层&#xff0c;用来处理页面。先写接口&#xff0c;后写实现类Dao层&#…

BZOJ3489 A simple rmq problem 【可持久化树套树】*

BZOJ3489 A simple rmq problem Description 因为是OJ上的题&#xff0c;就简单点好了。给出一个长度为n的序列&#xff0c;给出M个询问&#xff1a;在[l,r]之间找到一个在这个区间里只出现过一次的数&#xff0c;并且要求找的这个数尽可能大。如果找不到这样的数&#xff0c;则…