重磅!脑机接口突破登Nature封面,脑中“笔迹”转屏幕文字破纪录,准确率超99%...

来源: 物联网之家

研究团队将人工智能软件与一款脑机接口设备结合起来,与一名大脑中植入脑机接口设备的瘫痪患者合作,让该患者想象他拿着一支笔,在一张横线纸上“尝试”写字,就像他的手没有瘫痪一样。并将该男子手写意图快速转换为电脑屏幕上的文本。“这种脑机接口是为那些患有‘闭锁综合征’(Locked-in Syndrome)的人设计的,这些人群几乎所有的随意肌都瘫痪,无法说话或交流。”该项研究的通讯作者同时也是第一作者的Francis R. Willett博士表示,“想象一下,如果你只能上下移动你的眼睛却动弹不得,这样的设备可以让输入你想法的速度与正常的手写或在智能手机上打字相媲美。”

Willett是斯坦福大学神经修复转化实验室的研究科学家,由霍华德·休斯医学研究所任命。他的研究工作主要围绕改善脑机接口、理解大脑是如何表现和控制运动的。除Willett之外,该项研究主要由斯坦福大学神经外科医生Henderson,斯坦福大学霍华德·休斯医学研究所研究员Krishna Shenoy共同指导,Willett即是Shenoy团队中的一员。Shenoy和Henderson则从2005年就开始合作脑机接口研究。

 

《自然》还同期刊发了华盛顿大学Pavithra Rajeswaran、Amy Orsborn两位研究人员对该项研究的观点文章。“尽管还有很多工作要做, Willett及其同事的这项研究是一个里程碑,拓宽了侵入式脑机接口应用的视野。”他们评价道,这项研究中的方法“使允许快速交流的神经接口更接近现实。”

▍找到让人们交流更快的新方法

这项研究中使用的脑机接口仅用于研究,尚未批准用于商业用途。斯坦福大学技术许可办公室已经申请了与Willett、Henderson和Shenoy的工作有关的知识产权专利。

研究人员第一次破解了关于字母书写的神经信号,使这些字母可以实时显示出来。(01:40)“找到让人们交流更快的新方法”.

 

这项研究开发的脑机接口对无法正常说话的人群有多重要?“如果是脑机接口,Jean-Dominique Bauby可能每分钟能写18个单词。”Willett对记者如是表示。

 

实际上,因不同原因导致行动或说话能力丧失的人对脑机接口的需求不一。失去手功能的人仍然可以使用带有语音识别和其他软件的设备,而对于那些说话有困难的人,科学家们则一直在开发其他方式来帮助人们交流。

 

目前商用的辅助打字设备主要依赖于使用者能够进行眼球运动或发出语音命令。例如,眼球追踪键盘可以让瘫痪者每分钟输入约47.5个字符,比没有损伤的人每分钟输入115个字符的速度要慢。然而,这些技术不适用于瘫痪同时损害了眼球运动或发声的人。

 

而到目前为止,用于打字输入的脑机接口还无法与眼球追踪器等更简单的辅助技术竞争。Rajeswaran等人在观点文章中指出,原因之一是打字是一项复杂的任务,在英语中,我们就需要从26个字母中选择。根据用户的神经活动来预测他们想选择哪个字母,以此构建一个分类算法,这也是一项具有挑战性的工作。

 

目前最成功的侵入式脑机接口也是Shenoy团队于2017年在eLife杂志发表的一项研究。在那项研究中,包括T5(此项最新研究中的参与者)在内的三个肢体瘫痪的参与者,都在运动皮层植入了脑机接口,他们被要求全神贯注将光标从电脑屏幕上的一个键移动到另一个键,然后集中精力点击那个键。

 

在那项研究中,T5创造了迄今为止的最高记录:以每分钟40个字符的速度抄写显示出来的句子。但这些侵入式脑机接口,和非侵入性的眼球追踪器一样,占用了用户的视觉注意力,并且不能提供明显更快的输入速度。

 

如果说2017年研究的模式类似于打字,那么此次这项新研究则类似于手写,而此前没人想过直接手写。Willett想知道,是否有可能利用书写时引发的大脑信号,“我们想找到让人们交流更快的新方法。”研究团队因此与T5继续合作。T5当时65岁,其在2007年因为脊髓损伤瘫痪,几乎丧失了颈部以下的所有活动能力。

▍“脑转文”脑机接口

Willett等人的新方法需要一种分类算法,能够预测瘫痪用户试图书写的26个字母或5个标点符号,这是具有挑战性的技术,因为科学家们无法观察到这些意图。

 

为克服这一挑战,Willett等人基于一种最初为语音识别开发的机器学习算法,重新设计了另一种算法。这使得他们能够仅根据神经活动来估计参与者何时开始尝试书写一个字符。根据这些信息,研究团队生成了一个带有标签的数据集,其中包含每个字符对应的神经活动模式。他们用这个数据集来训练分类算法。

 

“当我们第一次开始探索手写脑机接口的概念时,我们不知道在瘫痪多年后,尝试的手写动作是否仍能唤起强烈和可重复的神经活动模式。”

 

Willett表示,“令人兴奋的是,当我们要求参与者来手写不同的字母时,尽管他的手已经瘫痪十多年,我们仍然可以看到明显的神经活动模式,甚至足以重现他想象中的那支笔的动作,并展现出他想写的字母。”

研究参与者想象书写一个字母或符号时,他脑中的传感器可以感知到电活动的模式并转化为书写痕迹。(00:12)为了实现准确的分类,Willett等人的分类算法还使用了现有的机器学习方法,以及一种叫做递归神经网络(RNN)的人工神经网络,这种神经网络特别擅长预测顺序数据。Rajeswaran等人在观点文章中提到,利用RNN的能力前提是需要大量的训练数据,但这些数据在神经接口中是有限的,因为很少有用户愿意想象连续写作数小时。

 

研究团队则用一种被称为数据增强的方法解决了该问题。在这种方法中,参与者先前产生的神经活动模式被用来产生句子,在这些句子上训练RNN。他们还通过在神经活动模式中引入人为的变化来扩展他们的训练数据,以模仿人类大脑中自然发生的变化。

在这项研究中,T5同样需要集中精力,试图用一支假想的笔在假想的本子上写出单个字母。他把每个字母重复10次,让软件“学习”识别与他尝试写那个特定字母相关的神经信号。在接下来数小时的测试中,T5被展示了几组句子,并被要求在心里尝试“手写”每一个句子,没有使用大写字母。这些句子比如,“i interrupted, unable to keep silent,”和“within thirty seconds the army hadlanded.”。

 

随着时间的推移,这些算法提高了它们区分代表不同字母或符号的神经放电模式的能力。算法对T5意图写的任何字母的解读在大约半秒的延迟后出现在电脑屏幕上。

 

T5还被要求复制算法从未接触过的句子。他最终能够每分钟生成90个字符,大约18个单词。之后,他被要求回答开放性的问题(需要一些停顿来思考),他每分钟写了73.8个字符(平均接近15个单词),是2017年研究中自由书写记录速度的三倍。

 

Willett等人的算法提供了令人印象深刻的准确分类。复制错误率大约是每18或19个字符中有一个错误;自由书写错误率约为每11或12个字符中有一个。当研究人员通过包括预测语言模型(类似于智能手机上的自动纠错功能)后,错误率明显较低:复制的错误率低于1%,自由书写的错误率略高于2%。

 

“与其他脑机接口相比,这些错误率相当低。”Shenoy说。

 

两个微小的植入电极矩阵可以将控制手和手臂的脑区信息转化为算法,再翻译成屏幕上的字母。(00:10)

 

▍何时转化为真正的产品?

 

值得注意的是,此次研究中,Willett等人得出另一重要结论。Willett对记者表示,“这款脑机接口的速度比之前更快,这是由像书写不同的字母这样的复杂运动唤起的神经活动模式,更容易区分。我们发现,要求参与者手写不同的字母,在他的大脑中唤起了非常独特的神经活动模式。”

 

Willett等人认为,这使得他们能够在更快的速度下同时达到比以前更高的准确性。

“当你只能记录传感器采集到的少量神经元时(与运动脑区的数百万神经元相比),有非常不同的神经模式是有帮助的,意外混淆它们的几率就会很低。这就是为什么复杂的运动,比如写不同的字母,可能更容易解码,复杂性使它们更独特,彼此不同。”Willett进一步解释道,相比之下,之前最先进的打字方式,“沿着直线移动到不同的键上,会唤起非常相似的神经活动模式,因为所涉及的只是一个有着不同角度或不同距离的直线运动。”

 

这也意味着,也许与我们直觉的认为相反,解码复杂的行为比简单的行为更有利,特别是在分类任务中。这些信息对未来的脑机接口研究将有重要的借鉴意义。

当然,这项研究也并非完美。在投入大规模临床应用前,仍需进一步验证该技术的使用寿命、安全性和效果。Rajeswaran等人在观点文章中即写道,该技术“需要拥有极佳的效果和使用益处,才能证明在患者脑部植入电极所产生的费用和风险是值得的。”

 

输入速度并不是决定是否采用该技术的唯一因素。Rajeswaran等人认为,要使该设备能在整个生命周期内保持性能,比如遇到神经活动模式改变时表现如何,这可能还需要进一步的研究。继续研究以测试该方法是否能推广到其他用户和实验室之外的设置,这也将是至关重要的。

Rajeswaran等人还关注到另一个问题,即该方法将如何扩展并转化为其他语言?Willett等人的研究也表明,有几个字符写起来会类似,比如r、v和u,因此比其他字符更难分类。“我们中的一个人(Rajeswaran)说泰米尔语,泰米尔语有247个字母,通常是密切相关的,所以可能很难分类。”他们在文章中写道。

 

Willett则对记者表示,要将这项技术转化为真正的产品,就需要简化它,用户应该不需要花费太多时间来培训它就能够使用这款脑机接口。此外,它应该足够智能,能够自动跟踪神经活动的实时变化,这样用户就不必每天停下来重新训练系统。最后,微电极装置应是无线且完全植入。

 

“这是一个公司创造一个真实世界的产品必须要完成的工作。”他表示,在这项研究中,他们只是进行了一个概念验证的演示,“手写脑机接口是一个令人兴奋和潜在的可行方法,使得我们可以恢复与严重瘫痪的人的交流。”

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484708.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

python D28 粘包

一、两种粘包: MTU简单解释: MTU是Maximum Transmission Unit的缩写。意思是网络上传送的最大数据包。MTU的单位是字节。 大部分网络设备的MTU都是1500个字节,也就是1500B。如果本机一次需要发送的数据比网关的MTU大,大的数据包就…

第二章 数据的表示和运算 2.1.2 BCD码 [计算机组成原理笔记]

第二章 数据的表示和运算 2.1.2 BCD码 本笔记参考书目: 计算机组成原理(第六版.立体化教材)白中英、戴志涛2021王道计算机组成原理视频公开课 本节重点: 8421/2421/余3码 转载请注明文章来源! BCD码 BCD&#xff…

世界因数学而改变

来源:数学中国1971年尼加拉瓜发行了十张一套题为“改变世界面貌的十个数学公式”邮票,由一些著名数学家选出十个以世界发展极有影响的公式来表彰。其实不难发现选出的“数学公式”很多都是物理学中的公式,当然正是因为有强大的数学&#xff0…

第一章 计算机网络 4 性能指标 [计算机网络笔记]

第一章 计算机网络 4 性能指标 本笔记参考书目: 计算机网络(第8版)谢希仁2021王道计算机网络视频公开课 本节重点: 数据率/带宽/吞吐量时延/时延带宽积/RTT/利用率 转载请注明文章来源! 速率/数据率 速率&#xf…

数字孪生卫星:概念、关键技术及应用

来源:问空天作者:刘蔚然,陶 飞,程江峰,张连超,易旺民摘 要:在分析卫星产业发展趋势与升级转型新需求后,为推动卫星与新技术融合发展,提升大型卫星工程的整体管理水平与流…

第一章 计算机网络 5 分层结构/协议/接口/服务的概念 [计算机网络笔记]

第一章 计算机网络 5 分层结构/协议/接口/服务的概念 本笔记参考书目: 计算机网络(第8版)谢希仁2021王道计算机网络视频公开课 本节重点: 分层结构/协议/接口/服务实体/对等实体PCI/SDU/PDU 转载请注明文章来源! 分…

机器学习2021 | 机器学习算法如何商业落地?

来源:传感器技术未来十年最火的科技发展方向之一,那就是AI技术,而使其得到迅猛发展的就是机器学习了。机器学习,顾名思义,就是人类定义一定的计算机算法,让计算机根据样本和人为干预,进行归纳和…

运行期优化

前言 在部分的商用虚拟机中,Java程序最初是通过解释器进行解释执行的,当虚拟机发现某个方法或代码块运行特别频繁的时候,就会把这些代码认定为“热点代码”。为了提高热点代码的执行效率,在运行时,虚拟机将会把这些代码…

第一章 计算机网络 6 OSI参考模型 [计算机网络笔记]

第一章 计算机网络 6 OSI参考模型 本笔记参考书目: 计算机网络(第8版)谢希仁2021王道计算机网络视频公开课 本节重点: OSI参考模型的7层次结构及其功能OSI参考模型数据传输的过程 转载请注明文章来源! 计算机网络的…

第二章 数据的表示和运算 2.1.3 字符与字符串 [计算机组成原理笔记]

第二章 数据的表示和运算 2.1.3 字符与字符串 本笔记参考书目: 计算机组成原理(第六版.立体化教材)白中英、戴志涛2021王道计算机组成原理视频公开课 本节重点: ASCII码/汉字编码字符串在内存中的表示 转载请注明文章来源&…

评阅百篇博士论文后我发现:博士生发SCI越多,通常科研能力越差!

来源:秦四清科学网博客 作者:秦四清多年来,我评阅了上百部博士学位论文,也参加了上百次的博士学位论文答辩会,我和不少老师有一个共同的深刻感受:在攻读博士期间,发表了多篇sci论文的博士生&…

深入分析5nm芯片

来源: 半导体行业观察苹果公司于2020年10月发布了新型智能手机“iPhone 12”系列,搭载的是采用5纳米工艺的全球首个名为“A14 BIONIC”芯片。苹果公司将“A14 BIONIC”芯片应用到了iPhone 12、新款“iPad Air”。2020年11月苹果公司又发布了搭载“Apple …

第二章 数据的表示和运算 2.1.5 汉明(海明)校验码 [计算机组成原理笔记]

第二章 数据的表示和运算 2.1.5 汉明(海明)校验码 本笔记参考书目: 计算机组成原理(第六版.立体化教材)白中英、戴志涛2021王道计算机组成原理视频公开课 本节重点: 海明(Hamming)校验码原理和编码方法 …

vivado下创建基本时序周期约束

创建基本时钟周期约束。(验证我们的设计能否在期望的频率上运行) (学习记录,晚一点会做实验传上来的。) 时钟基本概念:https://blog.csdn.net/wordwarwordwar/article/details/78259208 时序约束的基本概念…

我国的人工智能芯片的市场规模及发展前景

来源:人工智能实验室图片来源:网络随着深度学习技术的快速发展,以及互联网和云计算时代海量数据和高效计算能力的支撑,计算机视觉技术、语音技术、自然语言理解技术等人工智能技术取得了突破性进展,并解锁多个行业的人…

TiDB 架构及设计实现

一. TiDB的核心特性 高度兼容 MySQL 大多数情况下,无需修改代码即可从 MySQL 轻松迁移至 TiDB,分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展,按需扩展吞吐或存储&am…

南洋理工75页最新「深度学习对话系统」大综述论文,最全面概述深度学习对话技术进展...

来源:专知 摘要对话系统是一个流行的自然语言处理(NLP)任务,因为它在现实生活中应用前景广阔。这也是一个复杂的任务,因为涉及到许多需要研究的自然语言处理任务。因此,关于深度学习的对话系统研究的大量工作开展了。在这个综述中…

第二章 物理层 2,3 数据通信基础知识 [计算机网络笔记]

第二章 物理层 2,3 数据通信基础知识 本笔记参考书目: 计算机网络(第8版)谢希仁2021王道计算机网络视频公开课 本节重点: (了解即可) 通信方式:单工/半双工/全双工传输方式:并行/串行传输同步/异步传输…

《GTA 5》走进现实!AI逼真还原游戏街景,还能“脑补”细节 | 英特尔出品

来源:AI科技评论作者:琰琰编辑:刘冰一在不少玩家眼中,GTA 5(GTA V)称得上是一款旷世神作!GTA 也叫“侠盗猎车手”,是R星旗下一款超高人气动作冒险类游戏,目前已经发售至第…

对公平席位分配问题的探讨:最大余数法、Q值法和D’Hondt方法及其特例|公平分配原则等

公平席位分配问题 本文研究公平的席位分配问题。对席位分配问题中经典的最大余数法、Q值法和D’Hondt方法进行研究和比较,在提出公平性判断原则的基础上,分析其优缺点。本文使用Matlab搭建三种席位分配模型,并对结果展开讨论。给出最大余数法…