来源：智能研究院

20 年前，计算机生物学家 Anne Carpenter 在读博士时第一次意识到她需要学习计算机编程。

Carpenter 说：「在麻省理工学院和哈佛大学的博德研究所 (Broad Institute of MIT and Harvard in Cambridge) 管理实验室的时候。她记得当她要面对三个月的手动图像分析，或者选择让显微镜自行运行。她选择了后者。」 自那以后，这种自动化方法显示出了解决——或者至少开始解决——一些限制科学家使用显微镜技术手动观察细胞工作问题的潜力。例如，自动化可以减少识别细胞变化（即细胞形态）的耗时。

Carpenter 的实验室致力于使用软件加速药物发现，分析数百万张图像中包含的细胞形态数据。她说：「药物开发过程中存在许多瓶颈，而这些图像的数据对每个瓶颈都很有用：从建立更好的与疾病相关的测定法和筛选库，到预测测定结果和毒性。」

管理局限性

目前，得克萨斯州休斯敦莱斯大学（Rice University）生物工程学 Rebecca Richards-Kortum 正与 MD 安德森癌症中心（MD Anderson Cancer Center）合作，解决传统显微镜的一些基本局限性。使用常规显微镜时，景深（DOF）和空间分辨率之间存在固定的权衡：所需的空间分辨率越高，DOF 越窄。该团队与莱斯的 Ashok Veeraraghavan 和安德森的 Ann Gillenwater 合作，开发了一种称为 DeepDOF 的计算显微镜，该显微镜在保持分辨率的情况下，其 DOF 可以达到传统显微镜的五倍以上，从而大大减少了图像处理所需的时间。

图示：DeepDOF（来源：https://news.rice.edu）

Richards-Kortum 解释说：「DeepDOF 使用了放置在显微镜孔径处的优化相位掩模和基于深度学习的算法，该算法将传感器数据转换为高分辨率的大 DOF 图像。」

「由于其低成本，高速和自动分析功能，我们希望 DeepDOF 的范围可以扩展到能够准确评估口腔癌肿瘤切缘的手术中心的数量。准确评估患病组织的能力可以帮助优化手术切除的效果，尤其是在资源有限的地区，例如农村地区。」Richards-Kortum 说，「利用显微镜和人工智能开发她的创新医疗技术的最大挑战之一是『前瞻性』证明其益处的必要性。」

为计算显微镜提供动力的深度学习算法需要大型数据集来训练它们执行独立的任务，但此类数据集并不总是很容易获得。然后，必须评估这些算法的性能，并将其与当前的分析标准进行比较。

Richards-Kortum 表示：「这是整个医疗技术界的共同挑战。」

应对挑战

Ricardo Henriques 管理着葡萄牙古尔班基安（Instituto Gulbenkian de Ciência）光学细胞生物学实验室。他的跨学科团队由光学物理学家、计算机科学家和生物医学研究人员组成，致力于改进当前成像技术的局限性。该团队专注于两个关键挑战：如何分析感染活细胞病毒的实时行为；以及如何建立智能显微镜技术，以减少在观察过程中光对生物系统造成的损害，即所谓的光毒性。

为了想象这些想法协同工作，他建议将细胞比作足球运动员。

「因此，您想拍摄一场足球比赛，但是相机上有些东西对球员有害。」Henriques 说，「为减少对他们的风险，您必须使拍摄时间最少，但你也需要做出正确的决定，捕捉哪些关键时刻才能真正理解比赛。」

Henriques 的团队正在开发机器学习算法，该算法可以更好地预测病毒感染过程中细胞内的关键事件何时发生，并捕捉这些时刻。同时，这些算法将尝试减少捕获无关变化所花费的时间，并减少细胞暴露在这些有毒环境中的时间。

对 Henriques 而言，建立跨学科团队来解决这些问题是非常重要的，因为这项工作涉及多种科学技能。 

Henriques 说：「需要彻底改变思维方式，才能将 AI 全面纳入科学研究。」

显微技术固有的许多学科，例如物理学和生物学，由于各领域之间的语言障碍以及如何定期针对离散区域而不是协作项目而组织资金，存在自然而然地倾向于分开工作的趋势。

Henriques 说：「各组织正在缓慢地投资建设这些桥梁，但还需要做更多的工作来鼓励这种做法。」

建立桥梁

地球科学家 Matt Andrew 在加利福尼亚州都柏林的光学技术公司 ZEISS 工作，他的研究重点是多孔岩和沉积岩石中的流动和输运过程。Andrew 说，「我的工作越来越集中在技术开发上，以更好地利用显微镜产生的数据。我现在与公司中的各个团队合作，帮助同事们将 AI 融入他们的研究实践中。」

图示：AI 采样仪 （来源：ZEISS）

「无论是在观察细胞还是在岩石，不论他们对深度学习技术的了解如何。将 AI 引入显微镜的日常实践的关键是确保任何科学家都可以使用该技术。」Andrew 说，「建立能够释放深度学习潜力和力量，快速工作且易于使用的工作流程，是采用深度学习的关键。」

例如，Andrew 和他的团队使用一种称为「解决方案实验室（Solutions Lab）」的流程来构建工作流，该工作流使用 AI 自动检测科学家可能希望调查的样本区域。他说：「您可以使用 AI 来识别与各个特征相对应的区域，然后以更高的分辨率对其进行成像。」他补充说，「AI 技术通常使用开源库和共享组件，我们的技术之所以如此成功是因为我们确保它们使用起来更简单明了，并且更容易消化。」

Andrew 相信：「我们正处于显微镜数据使用和实现的革命的开端。」

他说：「如果回想起 5 年前，我们还不知道我们可以使用这种技术进行显微镜检查。现在，我们正朝着这样一个方向发展，我们将要把这些算法置于我们所有工作场所的各个部分的核心位置。」

总部位于德国韦茨拉尔的 Leica Microsystems 主管 Luciano Guerreiro Lucas 也致力于开发智能软件解决方案，以解决生命科学和生物制药界在处理图像数据时面临的一些最大问题。在过去的 41/2 年中，他的团队一直在建立一个经过预训练的深度学习模型库以及 Aivia 软件，该软件可以使任何人利用 AI 显微镜技术。

图示：使用 Aivia 的图像分析基于以 3D 培养的乳腺上皮微球体延时记录的单个时间点，突出了单个有丝分裂事件。（来源：www.leica-microsystems.com）

「现有的工具忽略了这样一个事实，即研究人员可能是生物学或类似学科的专家，但在显微镜或图像分析方面的专业知识却非常有限。」Lucas 说，「我们正在创建利用生物学家的专业知识并向他们学习的工具。这样的工具应该逐渐了解细胞是什么以及在多种情况下看起来是什么样子，并最终自动进行成像和图像分析，从而使研究人员能够专注于科学发现过程的创造性和批判性思维部分。」

Lucas 说：「目前实现这一想法的挑战是高质量的结构化数据供应有限以及缺乏标准图像格式。这些问题使我们很难更快地发展。此外，确实存在的数据倾向于保存在孤立的孤岛中。在研究领域，很难就文件和数据标准达成广泛的共识。研究人员都喜欢以自己的方式做事。」

「商业和学术界需要投入更多的时间来教育社区了解有关解决这些问题的好处。」Lucas 说道。

数据操作

Steven Finkbeiner 是加利福尼亚州旧金山格莱斯顿研究所（Gladstone Institutes）的主任兼高级研究员，在过去的十年中一直处于 AI 和显微镜研究的前沿。自从发明了可以一次追踪细胞数月的全自动机器人显微镜以来，他和他的团队产生了大量的数据。这些信息让他的团队有能力真正探索 AI 的潜力。

他说：「我们一直在『无耻』地使用我们生成的 PB 级数据。」

例如，他的团队正在使用面部识别 AI 技术——将细胞的形态作为面部进行处理——来识别和追踪组织等复杂系统（例如组织）中的单个细胞。

他说：「我们希望这些方法将为研究涉及复杂细胞 - 细胞相互作用（例如神经炎症）的过程开辟新的可能性。」

Finkbeiner 还通过展示神经网络中来自患者细胞图像的例子，教授学习网络来诊断神经退行性疾病，例如肌萎缩性侧索硬化症（ALS）和帕金森氏病。

Finkbeiner 说：「我们以一种相对公正的方式询问网络，看它是否可以在图像中找到任何能够做出准确诊断的东西，我们得到了令人鼓舞的结果。我们希望这可以对患者进行分层，发现生物标志物并开发有效的个性化疗法的新方法。甚至有可能在症状开始之前诊断出患病的风险，这将是变革性的。」

他的团队还使用 AI 来预测细胞的未来命运。「为了做到这一点，我们正在利用纵向单细胞数据和深度学习网络来寻找细胞在早期时间点的特征，从而预测其命运。我们现在将其用于癌症项目，这将有助于我们理解为什么有些细胞会产生耐药性，而有些却没有。」 Finkbeiner 说。

将 AI 引入实验室

Rich Gruskin 是尼康仪器公司软件系统的高级总经理，公司总部位于纽约梅尔维尔。他与客户合作密切，以确保研究人员能够轻松采用 AI 技术。

在最近的一个案例中，客户希望在其无标记（label-free）（明视野）图像数据中识别多种细胞类型。由于它们是低对比度图像，有时只在细微的形态特征上有所不同，因此对数个 AI 网络进行了训练，使其可以在一种分析方法中协同工作以区分不同的细胞类型。

图示: label-free microscopy（来源：nature)

「我们使用客户的数据集训练了神经网络，并进行了运行，效果很好。」Gruskin 说，「有时候，如果在尝试新事物时遇到阻力，我们会介入并帮助客户处理信息，建立新的惯例并向他们展示其工作原理。确保应用程序轻松自如且迅速获得结果是建立使用新技术信心的关键。」

AI 的未来

学术和商业领域的研究人员普遍认为，将 AI 应用于科学生活的最大障碍是对未知的恐惧。然而，AI 日益增长的影响力是不可否认的。

「变化是在几个月而不是几年内发生的。」Henriques 说，「看看自动驾驶汽车。他们正在做的正是我们想要用显微镜做的，实时观察他们的环境，并决定如何与显微镜相互作用以及如何保持有机体的生命——汽车里的人。」

但是，也有一种感觉，虽然变革是不可避免的，但社会需要做出更加坚定的承诺，以确保所有科学家都可以从这些新技术中受益。Finkbeiner 认为，创建一些公共图像资源库对计算机领域很有帮助，计算机科学家可以使用这些资源库来开发新的算法和方法。

「大学甚至高中的孩子们也可以使用这样的数据进行教育和培训。这个领域的潜力是巨大的，因此，现在投资进行培训以培养真正使我们前进的一代人将是一件很棒的事情。」Finkbeiner 说，「我们希望看到学术机构更加重视促进生物学家和计算机科学家之间的合作。」

Finkbeiner 表示：「拥有计算机科学系并认识到多学科科学价值的大学有机会发挥领导作用。计算机科学与生物学之间的鸿沟很大，需要我们持续的努力和支持来点燃火花。」

原文地址：

https://www.sciencemag.org/features/2021/04/small-images-big-picture-artificial-intelligence-revolutionize-microscopy

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”