FPGA在医疗的应用,以4K医疗内窥镜为例

前言

随着技术的发展,医学影像作为科学技术的主要成就之一,在无创诊断和治疗领域已经有了多种应用。其中一个应用是内窥镜,在20世纪90年代,当利用电荷耦合装置将图像传输到显示器上成为可能时,内窥镜变得更加广泛。为了帮助医生更好地识别和定位病灶,厂商不断提高内窥镜的分辨率,人体医疗内窥镜的分辨率从1080P逐渐发展到如今的4K。除此之外,荧光和3D技术都被创造性地加入,以进一步帮助医生更准确地诊断人体并进行手术。日前,工信部在《医疗装备产业发展规划 (2021-2025年) 》中,对医疗装备重点发展、突破方向作了详细规划,其中包含了要重点突破医用内窥镜等影像诊断设备的战略目标

技术挑战

在临床环节中,内窥镜应用允许的最大图像延迟在50至150毫秒之间。然而,对于外科手术来说,内窥镜需要实时或接近实时地做出反应,同时执行图像校正、色彩噪声修复、边缘增强、缩放等功能。此外该应用的终端应该尽量小巧,显示具备4K清晰度,3D,荧光并支持SDI/HDMI接口。4K只需要一个高清摄像头,而荧光和3D分别需要额外的一个高清摄像头,这也对核心板资源、数据传输和处理速率、算法效率提出了挑战。

解决方案

以FPGA SoC为核心技术的内窥镜系统可以做到实时4K视频流。4K图像传感器负责捕捉图像信息,而图像的信号处理则由Mercury+ XU8 FPGA(SoC模块完成。捕获的视频流被送入Mercury+ XU8 FPGA(SoC)模块进行图像预处理,然后通过图像管理和存储单元,将处理后的高清图像通过显示接口呈现在高清显示器上供外科医生观看。长期占据赛灵思首页的Mercury+ XU8核心板提供XCZU4CG、XCZU5EV、XCZU7EV三个型号,用户在需要更多资源时可选择更高端的型号,升级换代简单便捷。

水星Mercury+ XU8核心板

结构框图

除了Mercury+ XU8 FPGA (SoC),还有其他的SoC可以考虑用来实现这一应用,例如Mercury+ XU5, Mercury+ XU9。使用Mercury+ XU8 FPGA (SoC)模块可以实现硬件系统的高度集成,大大缩短开发时间。同时,通过支持各种外围接口,可以更加快速方便的实现未来的功能更新和扩展。由于瑞苏盈科庞大的产品序列,用户可在Xilinx Kintex-7、Zynq-7000、Zynq Ultrascale+ MPSoC等系列的多款核心板模块中进行选择。核心板模块在其系列(火星Mars、水星Mercury、仙女座Andromeda)内与其他大部分核心板管脚兼容,这意味着用户还可以规划明确的升级路径,升级换代时所付出的工程量大大减小,甚至可以在项目开发的过程中临时更改核心板型号。FPGA核心板模块最低预期生命周期为10年以上,同时在设计硬件时着重考虑产品前瞻的可用性和性能,所有产品均可长期交付。

核心板模块系列

FPGA(现场可编辑门阵列)作为赛灵思(Xilinx)的一项重要发明,以其可编程和灵活性著称。起初,FPGA只是用来仿真ASIC,再进行掩码处理和批量制造使用。不过ASIC相比FPGA来说明显在定制化上要求过高,流片量过小情况下成本反而更高,因此两者毫不冲突地“各司其职”。而后,随着加速器的出现和算力提升,目前已成为与GPU齐名的并行计算器件。

如今,FPGA已进发数据中心领域,相比CPU和GPU,FPGA所需器件更少,功耗也更优。赛灵思依靠其“数据中心优先”、“加速核心市场发展”、“驱动自适应计算”的三大战略加持下,使其ACAP平台和Alveo加速卡在数据中心市场极具竞争力。

除此之外,赛灵思曾为笔者展示过其云服务商领域的“一体化SmartNIC平台”、消费领域的“FPGA TCON”方案、工业领域的Zynq SoC系列方案。

实际上,根据赛灵思透露,医疗领域已占据赛灵思营收非常重要的比重,并且一直在11%-15%的速度增长。那么赛灵思是依靠什么FPGA产品占据的医疗市场,FPGA器件在医疗设备中扮演什么角色?

日前,赛灵思为记者介绍了近期在医疗科学和医疗设备方面的成果,21ic中国电子网记者受邀参加此次采访。

FPGA器件能用在什么地方

信息显示,全球人均医疗支出每年都在增长,随着人口老龄化加剧,消费者对医疗条件和医疗成本都有着极高的预期。另一方面,随着疫情的爆发,市场对病情的及早发现和诊断的快速分析有了更高的要求,这就需要医疗器械成本的进一步降低和算力的提升。

FPGA器件自身拥有可编程特性,借助这种优势,可避免ASIC器件前期高昂的一次性工程费用,消除最低订单数量和多芯片迭代风险和损失。医疗行业本身是与科技发展联系最为紧密的行业之一,伴随FPGA器件的不断迭代升级,更多新设备出现,引领了新的治疗方法、治疗途径、治疗理念的改变。

赛灵思医疗科学全球业务市场负责人Subh Bhattacharya

根据Subh Bhattacharya的介绍,赛灵思的FPGA器件在医疗领域的应用主要分为三类:临床、医疗成像和诊断分析。

01

临床环境

临床设备数量大种类多,因此需要灵活性极强的FPGA。需要注意的是,部分设备直接影响患者生命安全,对启动速度、安全稳定性、时延要求极高;部分设备在便携性上则有一定要求,对功耗、小尺寸有很大需求。

根据Subh的介绍,在临床方面,赛灵思的Zynq UltraScale+ MPSoC(下文简称为“ZU+ MPSoC”)是一个高度集成的平台,集成多个处理器,拥有可编程逻辑,此外还集成了信息安全和功能安全功能。Subh强调,这个技术平台的强大功能和性能非常适合在临床环境应用之中,包括从云端到边缘。

Subh为记者展示了几个利用该平台解决临床环境的实例:

其一是赛灵思与Spline.AI和AWS(亚马逊云服务)合作开发的医疗AI,利用ZU+MPSoC的ZCU104平台作为边缘设备,实现的高精度低时延的医疗X射线分型深度学习模型和参考设计。该方案可独立自主根据Chest X-Ray预测疾病,也可预测COVID-19和肺炎,也可开发定制模型供临床使用。另外,ZCU104支持开源语言PYNQ语言下开发,也可借助AWS IoT Greengrass实现进一步的扩展和部署。该方案发挥了ZU+ MPSoC的高性能和扩展性,赋予了低成本医疗设备高精度的诊断。

其二是赛灵思为奥林巴斯内窥镜核心技术提供支持。该方案发挥了ZU+ MPSoC在启动速度、功耗和低时延的特性。

其三是赛灵思为Clarius超便携高性能超声波系统。该方案发挥了ZU+ MPSoC片上双ARM处理器和FPGA的小尺寸封装特性,实现了超便携。

究其历史,Zynq SoC是赛灵思在2011年推出的全球首款集成ARM内核的产品,彼时该平台称为“可扩展的处理器平台”,主要是为了将市场扩展到嵌入式应用之中。此前FPGA多用作辅助芯片,自从引入更多功能的集成SoC平台之后,ARM GPU、数据安全处理器、功能安全处理器都被集成在单芯片之中。Subh表示,经过这样的转型之后,赛灵思从每年5%-6%的收入增长,实现了到14%-15%的收入增长,2.5倍的增长率全要归功于这样的技术平台。

除此之外,Subh还为记者展示ZU+ MPSoC在医疗安全上的解决方案。“目前,全球安装的医疗物联网设备超过1亿台,到2020年将增长到1.61亿台。医界高管认为 59%隐私问题, 55%老旧系统集成和54%安全问题,是阻碍当今医疗机构采用物联网的三大障碍。”

Subh表示,赛灵思可以利用可编程平台,不断适应新的安全防护措施,这种升级囊括了软件和硬件。最终体现在SoC上的,就是认证与加密启动、安全启动、测量启动、安全应用通信、基于云的监测等功能。

02

医疗成像

大型医疗成像设备使用FPGA器件已经是基本操作,Subh为记者介绍,在医疗成像方面,主要包括CT、超声、X射线、PET、MRI扫描仪等。

对于医疗成像,Zynq UltraScale+ MPSoC同样适用。Subh表示,除此之外还有Versal ACAP,这个系列可以理解为下一代的MPSoC,Versal ACAP在成像领域具有非常大优势。

Versal ACAP除了拥有ARM多处理器集成、可编程逻辑、DSP以外,还加入了AI引擎,即SIMD、VLIW这样的单元,可以支持很多类似操作的平行处理。

Subh为记者展示了超声波图像重构与计算机辅助诊断的方案,利用赛灵思的软硬件支持,能够降低功耗和热度范围、降低解决方案成本、延长设备使用寿命、低时延边缘推断,虽然市场非常复杂,赛灵思的技术也能够大大提高生产力。

03

诊断分析

Subh表示,除了SoC和FPGA,赛灵思还提供即插即用的Alveo加速卡,正因这是一种PCle的解决方案,因此可以大大降低开发时长。根据介绍,Alveo加速卡适用于任何通用PC,既可以加速CPU的普通任务,也可以加速其他的GPU的任务,最终实现高吞吐量和超低时延。其独特的算力和灵活应变能力,可以大大加速很多的医疗应用。

联影医疗(United Imaging)是一家中国公司,这家公司在使用Alveo U200加速卡替代传统GPU时发现,Alveo的技术成本更低、功耗更低,并且无需牺牲任何性能或是开发进度。

FPGA vs. CPU&GPU

医疗设备中使用CPU或者GPU产品的方案也屡见不见,为何FPGA拥有如此卓著效果,甚至有着替代CPU和GPU的“魔力”?实际上,CPU和GPU都属于冯诺依曼结构,FPGA能够突破结构上的限制因此拥有极强的能效。

具体来说,CPU和GPU需要使用SIMD(单指令流多数据流)来执行存储器、译码器、运算器、分支跳转处理逻辑等,FPGA则在烧写时已经确定每个逻辑单元的功能,因此不需要指令;另外,CPU和GPU在内存使用中是共享的,因此就需要访问仲裁,执行单元间的私有缓存使得部件间要保持缓存一致性,同样在烧写过程中FPGA已明确通信要求,因此无需共享内存进行通信。

得益于此,FPGA拥有极强的浮点乘法运算能力,而且对比同样是浮点运算的GPU延迟更低。这是因为,FPGA同时拥有了流水线并行和数据并行,而GPU只有数据并行。

从算力上来说,赛灵思还将FPGA器件转变为了SoC进行加速和自适应。赛灵思在加速上通过标量引擎实现,包括ARM、应用处理器和实时处理器,而自适应引擎的核心便是可编程逻辑器件FPGA,另外还配备智能引擎,目前配备的是DSP。特别是,在Versal ACAP的平台上还会将会有AI引擎进行支持,进一步进行加速和自适应。

“在医疗领域,诸如内窥镜这种应用,手术中患者拥有一个共同的要求,就是时延非常低,甚至需要实时来完成。从摄像头捕捉图像,经过管线处理,再到显示屏可能不到20微秒的时间。CPU和GPU达不到FPGA如此低的时延,因此这就是FPGA相比CPU和GPU的最大优势”,Subh继续为记者介绍,从功耗、成本和集成上,赛灵思SoC的FPGA也拥有更好的优势。

“很多领域,诸如视觉化,GPU使用很多年了,FPGA并不是做不到,不过我们还是会专注在优势的领域,即在封闭空间内做数据移动,而非断断续续的内存上传的情境”,Subh坦言。

不同层面分析FPGA在医疗的应用

能够在医疗领域,兼顾拥有业界领先的AI时延与性能,生命周期延长、高质量、高可靠性、高安全性,实时、确定性控制与接口的仅赛灵思一家。

赛灵思除了提供FPGA和 SoC这样的硬件器件及平台以外,还专门为降低FPGA 开发门槛满足广泛市场应用需求量身定制了Vitis AI统一软件平台。之前笔者也曾多次介绍这款软件平台,算法工程师无需硬件设计经验,也可直接应用算法的实现。

赛灵思的医疗解决方案帮助了Illumina对重症新生儿做基因组分析,为ICU患者和重症患者加速推进eyetech的基于眼球追踪的沟通平板电脑,与迈瑞合作以抗击新冠疫情。FPGA就是在不经意间为生命增添了一份敬畏。

笔者认为,赛灵思的FPGA器件从高性能加速和自适应两方面着手,成为了其在市场立足的最大竞争力。一方面,FPGA、ARM、应用处理器、实时处理器、DSP、AI引擎利用片上系统(SoC)和软件进行高度集成,既增强了算力也增强了应用的扩展性;另一方面,FPGA本身拥有的低延时性,对于时延要求极高的医疗领域可以说是“天生一对”。

从市场上来分析,随着疫情的爆发,医疗设备市场需求持续增加,其中不乏大型数据分析和便携性要求极高的设备,这刚好吻合了FPGA SoC的特点。另一方面,医疗水平的提升和市场马太效应之下,更具能效和低功耗优势的FPGA产品需求量持续增加。

从软件上分析,赛灵思的Vitis平台适用于不同人群,包括熟练掌握HDL语言的硬件工程师,熟练掌握各大编程语言的软件工程师,也适用于熟练掌握TensorFlow、Caffe、PyTorch的算法工程师。利用这种灵活性,可以让许多有创意的初创公司有了施展拳脚的可能。

通过赛灵思的介绍,可以说无论是大型设备还是便携设备,FPGA都有其一席之地。

未来赛灵思医疗创新之路该如何发展?Subh表示,在医疗产品上赛灵思将不断提高集成度并降低封装尺寸,另一方面,将会不断发展异构计算提高效率和性能。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/809037.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

怎么做预约小程序_探索我们的全新预约小程序

在繁忙的现代生活中,无论是想预约一次美容护理,还是预定一家心仪的餐厅,亦或是安排一次专业的咨询服务,我们都希望能够在最短的时间内完成这些操作,节省时间和精力。如今,一款全新的预约小程序应运而生&…

C语言——实践小游戏(贪吃蛇)代码版

大家好久不见,我是残念我回来了,希望在你看完之后,能对你有所帮助,有什么不足请指正!共同学习交流 本文由:残念ing原创CSDN首发,如需要转载请通知 个人主页:残念ing-CSDN博客&#x…

从 Oracle 到 MySQL 数据库的迁移之旅

文章目录 引言一、前期准备工作1.搭建新的MySQL数据库2 .建立相应的数据表2.1 数据库兼容性分析2.1.1 字段类型兼容性分析2.1.2 函数兼容性分析2.1.3 是否使用存储过程?存储过程的个数?复杂度?2.1.4 是否使用触发器?个数&#xff…

Paper Reading: MixTeacher:半监督目标检测中利用混合尺度教师挖掘有前景的标签

目录 简介目标/动机工作重点方法训练 实验总结 简介 题目:《MixTeacher: Mining Promising Labels with Mixed Scale Teacher for Semi-Supervised Object Detection》, CVPR 2023 日期:2023.3.16 单位:腾讯,上海交…

竞赛 图像识别-人脸识别与疲劳检测 - python opencv

文章目录 0 前言1 课题背景2 Dlib人脸识别2.1 简介2.2 Dlib优点2.3 相关代码2.4 人脸数据库2.5 人脸录入加识别效果 3 疲劳检测算法3.1 眼睛检测算法3.3 点头检测算法 4 PyQt54.1 简介4.2相关界面代码 5 最后 0 前言 🔥 优质竞赛项目系列,今天要分享的是…

Android MVVM架构学习——ViewModel DataBinding

关于MVVM架构,我并不想花篇幅去做重复性的描述,网上一搜都是一堆讲解,大家可以自行了解,我所做的只是以最简单的例子,最有效的步骤,从零开始,去实现一个相对有点学习参考价值的项目。 先来看本…

计算机网络——NAT技术

目录 前言 前篇 引言 SNAT(Source Network Address Translation)源网络地址转换 SNAT流程 确定性标记 DNAT(Destination Network Address Translation,目标网络地址转换) NAT技术重要性 前言 本博客是博主用于…

无人新零售引领的创新浪潮

无人新零售引领的创新浪潮 在数字化时代加速演进的背景下,无人新零售作为商业领域的一股新兴力量,正以其独特的高效性和便捷性重塑着传统的购物模式,开辟了一条充满创新潜力的发展道路。 依托人脸识别、物联网等尖端技术,无人新…

Redis中的集群(七)

集群 ASK错误 ASKING命令 ASKING命令唯一要做的就是打开发送该命令的客户端的REDIS_ASKING标识,以下是该命令的伪代码实现: def ASKING(): # 打开标识 client.flags | REDIS_ASKING# 向客户端返回OK回复 reply("OK")在一般情况下,如果客户…

搜维尔科技:【煤矿安全仿真】煤矿事故预防处置VR系统,矿山顶板灾害,冲击地压灾害等预防演练!

产品概述 煤矿事故预防处置VR系统 系统内容: 事故预防处置VR系统的内容包括:火灾的预防措施、火灾预兆、防灭火系统、火灾案例重现、顶板事故预兆、顶板事故原因、顶板事故案例重现、瓦斯概念及性质、瓦斯的涌出形式、瓦斯预兆、瓦斯爆炸条件及预防措…

数据结构之排序了如指掌(一)

目录 题外话 正题 排序概念 稳定性 直接插入排序 直接插入排序代码详解 直接插入排序复杂度分析 希尔排序(缩小增量排序) 希尔排序代码详解 小结 题外话 昨晚肚子疼没睡好,今天博客写的确实有点晚(找个借口),我一定会坚持,不辜负热爱我的家人们!! 正题 排序概念 一串…

苍穹外卖jwt令牌p10

点击小虫(进入断点调试),打上断点,然后前端点击登录(此时前端的数据会作为参数传入): 光标放在字段上还会显示接收到的数据: 若想程序在所希望的地方停止,可以添加断点&a…

《战神4》和《战神5》有什么联系吗 苹果电脑如何运行《战神4》苹果电脑玩战神 Mac玩游戏 战神5攻略 crossover激活码

《战神4》(God of War 2018)和《战神5》(God of War: Ragnark)是一对引人注目的游戏作品,它们不仅在游戏界引起了广泛的关注,也给玩家带来了深入探索北欧神话世界的机会。这两部游戏之间的联系不仅体现在剧…

【力扣】101. 对称二叉树

101. 对称二叉树 题目描述 给你一个二叉树的根节点 root , 检查它是否轴对称。 示例 1: 输入:root [1,2,2,3,4,4,3] 输出:true 示例 2: 输入:root [1,2,2,null,3,null,3] 输出:false 提示…

JavaWeb开发01--Maven-Web入门-请求响应-分层解耦

一、Maven 1.maven概述 Apache Maven是一个项目管理和构建工具,它基于项目对象模型(POM)的概念,通过一小段描述信息来管理项目的构建。 根据提供的插件实现很多功能 maven的作用 管理和构建java项目的工具 依赖管理:可以直接在pom.xml文件…

深入理解MD5算法:原理、应用与安全

title: 深入理解MD5算法:原理、应用与安全 date: 2024/4/11 20:55:57 updated: 2024/4/11 20:55:57 tags: MD5算法数据安全哈希函数摘要算法安全漏洞SHA算法密码学 第一章:引言 导言 在当今数字化时代,数据安全和完整性变得至关重要。消息…

【Leetcode每日一题】 动态规划 - 下降路径最小和(难度⭐⭐)(55)

1. 题目解析 题目链接:931. 下降路径最小和 这个问题的理解其实相当简单,只需看一下示例,基本就能明白其含义了. 2.算法原理 对于这类路径类问题,通常我们首先需要分析状态表示以及状态转移的过程。特别地,本题涉及…

The C programming language (second edition,KR) exercise(CHAPTER 3)

E x c e r c i s e 3 − 1 Excercise\quad 3-1 Excercise3−1:输出结果如图1所示,这里故意让二分搜索算法去寻找一个在数组中不存在在的数,然后去看两种二分搜索算法分别所花费的时间的大小,为了使得所花费的时间更具有可分辨性&a…

【HTML】制作一个简单的线性动画

目录 前言 HTML部分 CSS部分 JS部分 效果图 总结 前言 无需多言,本文将详细介绍一段HTML代码,具体内容如下: 开始 首先新建文件夹,创建一个文本文档,两个文件夹,其中HTML的文件名改为[index.html]&am…

面试经典算法系列之二叉树1 -- 从前序与中序遍历序列构造二叉树

面试经典算法16 - 从前序与中序遍历序列构造二叉树 LeetCode.105 公众号:阿Q技术站 问题描述 给定两个整数数组 preorder 和 inorder ,其中 preorder 是二叉树的先序遍历, inorder 是同一棵树的中序遍历,请构造二叉树并返回其根…