脑机交互研究及标准化实践

640?wx_fmt=jpeg

来源: 人机与认知实验室

摘要:本文介绍脑机交互的概念及标准化的必要性,讨论近年来脑机交互的发展状况,重点阐述国内外植入式脑机接口的研究历程,并从脑机交互系统角度提出了脑机交互标准化的思考,同时介绍在脑机交互计算标准化方面的相关实践。


1 脑机交互概念及标准化


脑机接口(Brain-Machine Interface,BMI) 是指不依赖常规的脊髓/ 外周神经肌肉系统,在脑与外部环境之间建立一种新型的信息交流与控制通道,实现脑与外部设备之间的直接交互[1]。


脑机接口涉及信息科学、认知科学、材料科学和生命科学等领域,对人工智能、生物工程和神经康复等产生了越来越重要的影响。通过脑机接口技术实现脑与外部设备的交互,则称为脑机交互。脑机交互是全新的人机交互方式,有望推动对大脑的更深入研究,并促进大脑智能和外部机器智能的融合增强( 混合智能),具有重大研究价值和应用前景。脑机交互中设备复杂、数据差异大、计算方法多样化,对脑机交互系统关键步骤进行标准化有助于规范脑机交互系统的构建、降低本领域研究的门槛,切实推动脑机交互的发展。


2 脑机交互的最新研究现状


根据获取脑信号方式的不同,可以将脑机接口分为植入式和非植入式两种。非植入式脑机接口直接从大脑外部获取脑信号,所记录的脑信号信息量较小、时间分辨率比较低,只能用来执行简单的操作控制,比如拨打电话、轮椅控制、运动假肢控制、打字等[2]。植入式脑机接口通常通过在大脑中植入芯片以获取脑信号,相对于非植入式信号,植入式脑信号在时间和空间分辨率更高,记录的信息量更加丰富,可以实现更复杂的控制。


2.1 非植入式脑机接口


非植入式的装置很方便佩戴于人体,但需要突破颅骨对信号的衰减作用和对神经元发出的电磁波的分散和模糊效应。典型的非植入式脑机接口采用的信号包括EEG 和P300 信号[3]。EEG 信号有着良好的时间分辨率,采集设备易用、便携,价格相对低廉。


这方面研究的一个典型例子是德国图宾根大学的Niels Birbaurmer 于1990 年进行的项目,该项目利用瘫痪病人的脑电图信号使其能够控制电脑光标,经过训练,十位瘫痪病人能够成功地用脑电图控制光标[4]。基于P300 的非植入式脑机接口典型例子是美国罗切斯特大学的Jessica Bayliss 的一项研究,受试者可以通过P300 信号控制虚拟现实场景中的一些物体,例如开关灯或者操纵虚拟轿车等[5]。


由于非植入信号的无创性,产业界也踊跃开发非植入式脑机接口应用系统,如图1 是日本本田公司生产的意念控制机器人,操作者可以想象自己的肢体运动来控制身边机器人进行相应的动作。近年来,国内清华大学、华南理工大学、电子科技大学、上海交通大学、浙江大学等均成立课题组投入非植入式脑机接口研究,并取得了一系列重要进展。


提取神经信号建立植入式脑机接口系统。Nicolelis 领导的研究小组采集了夜猴运动皮层神经电信号,对神经信号进行解码对远程机器臂进行实时控制( 开环控制),成功实现了“Monkey Think Robot Do”的神奇演示[6]。此后,Nicolelis 小组又成功开发了闭环机器臂控制脑机接口系统。同时,美国Pittsburgh 大学 Schwartz 实验室研究人员将微电极植入运动受限的猴子运动神经皮层,获取运动相关的神经电活动,并训练猴子利用思维活动控制机器臂( 图2) [7]。


2006年,美国布朗大学在瘫痪病人上实现脑电控制假肢[8],这是脑机接口的首次临床应用,具有里程碑的意义。Donohue 教授领导的研究人员在人脑中植入了芯片,直接控制电脑的光标,并用电脑控制其他设备。其他在植入式脑机接口方面取得比较成功的实验包括:2012 年,美国西北大学Miller教授实现了功能性电刺激控制瘫痪肌肉[10];2012年,美国匹兹堡大学实现人脑ECoG 信号控制机械手[11] 等。


640?wx_fmt=png

图1 日本本田公司生产的用意念控制的机器人


640?wx_fmt=png

图2 猴子脑思维控制机器臂进食


2.2 植入式脑机接口


植入式脑机接口能直接获取大脑皮层的神经集群信号,信息量大、时空分辨率高,锋电位(Spike)信号解码能够实现对外部设备多自由度的实时、精确控制。自本世纪以来,Nature 和Science 等报道了一系列侵入式脑机接口的重大研究成果[6-8, 10-11],相关研究促进了人们对神经系统的认识,建立了大量复杂信息处理方法,极大地推动了神经、信息与认知等学科的发展。


典型的植入式脑机接口系统包括:2000 年,杜克大学的Miguel 和Nicolelis 用在大脑皮层植入电极,2005 年以后,我国植入式脑机接口研究取得了重要的进展,尤其是浙江大学求是高等研究院郑筱祥教授领导的团队,已经成功在非人类灵长类动物上建立了脑机接口系统,实现了利用脑电信号对机械假肢的实时控制。猴子可以通过意念直接控制机械手完成抓、勾、握、捏四种不同的抓握手势,正确率达到85% 以上[12]。


3 脑机交互标准化思考及实践


3.1 脑机交互标准化思考


完整的脑机交互系统包括神经信号的采集、实验的范式设计、神经信号的解码、智能机器的控制等。当前,脑机交互系统在以上关键四步骤均存在很大的差异性,导致构建脑机接口和交互系统过程复杂、系统性能评估困难、难以推广。


考虑在脑机交互系统中提炼共性部分,建立交互标准具有重要意义,其中:神经信号的采集涉及到采集脑神经信号的设备标准以及所采集信号数据的表征标准;信号的解码涉及预处理、训练、测试等步骤,对应着解码算法的输入标准和解码算法标准;智能机器的控制涉及控制输入数据标准以及控制的设备和控制接口标准等。


具体应考虑以下标准化重点 [2]:


(1) 神经信号的采集设备标准。主要指采集spike、ECog、LFP 等脑电信号的植入式设备,需要根据所采集的不同信号对设备的材质、安全性等建立统一的标准。


(2) 神经信号的数据表示标准。由于不同信号的采集设备所采集的信号具有差异性,不同的实验人员对所采集的神经信号进行不同的信号预处理,所产生的神经信号也具有差异性,这种差异性加大了评估解码系统性能的难度。因此,神经信号的数据表示标准的制定显得尤为重要。


(3) 实验范式标准。指实验对象在实验过程中所遵循的行为规范模式,神经信号的提取便是在实验对象进行实验范式的过程中进行的,通过规范实验范式,有利于规范神经信号数据。


(4) 解码算法标准。主要是解码算法接口的标准化,这样有利于提高脑机交互系统的可扩展性,只需要按照标准的解码算法接口设计,便可方便脑机交互系统加入新的解码算法。


(5) 智能机器的控制接口标准。由于生产脑机交互的智能机器的硬件厂家很多,导致对智能机器的控制接口也错综复杂,因此制定统一的智能机器控制接口标准更能方便脑机交互系统的开发。


(6) 反馈信息输入标准。反馈信息的输入是双向脑机接口必须要解决的重点与难点,对信息输入进行标准化可以使得整个脑机交互系统更加稳定。


(7) 多模态信息的表征标准。主要指视觉、听觉、触觉等感觉信息的表征,有利于信息反馈的输入更加具有一致性。


3.2 脑机交互计算标准化实践


针对以上脑机交互标准化的思考,浙江大学计算机学院脑机融合研究团队正着手设计脑机交互计算部分的标准化系统和标准化建议。当前已有的脑机交互计算系统包括BCI2000、BCILab、OpenViBE、BioSig、FieldTrip 以及佛罗里达大学的DDDBMI 等。其中,BCI2000 是一个在线软件平台,以软件套件的形式提供服务,具有数据采集,脑电信号处理、学习及反馈等功能。BCILab 则以Matlab 的工具箱的形式呈现给用户,提供的服务包括:信号采集、特征提取、机器学习、BCI 范式、在线插件等。


OpenViBE 与BCI2000 类似,同样以软件套件的形式呈现,通过由用户定制场景的方式提供BCI 信号的处理和可视化。BioSig 兼容各种主流平台,提供了Matlab 与Octave 工具箱,也提供了C/C++、Python 等编程语言下的函数接口库,专门提供生物医学信号处理,涵盖神经、脑机、心血管等,可以用来进行信号采集、处理、分类以及建模与可视化。DDDBMI 是最有代表性的脑机交互计算平台,其目标是设计一个自适应的中间件与工作站,能够管理实验信号采集、闭环机器学习、数据分析、在线解码等所有与其相关的工作。


DDDBMI 已开发了部分中间件功能模块,其服务包括提供实时操作的闭环机器学习系统。目前,DDDBMI 已开发了一个支持在线/ 离线实验的工作站,内含一个分布式计算系统,方便远程和本地用户参与的在线和离线实验计算根据需求动态分配资源。


现有的脑机交互计算系统存在以下不足:绝大多数系统仅针对1-2 类数据来实现相关的信号处理算法,可扩展性、可配置性较差。


因此,设计开发一个更普式的脑机交互计算标准平台十分必要,该系统解决以下问题:


(1) 数据表示不统一、解码算法设计不一致,导致无法对解码算法性能进行有效的对比;


(2) 实验范式设计复杂,负责设计与计算的通常不是同一个人,如何将范式的设计模块独立出来,以最大化不同人员的优势;


(3) 对于一些计算量较大的任务,应该考虑使用分布式架构。


为此,我们设计了一个统一数据表示方式、支持分布式计算、支持算法组件可配置、支持算法组件可扩展、同时支持在/ 离线任务的脑机交互计算标准平台。


640?wx_fmt=png

图3 显示了脑机交互计算标准系统的架构。


用户可以使用拖拽的形式选择数据输入模块、预处理模块、算法训练模块以及测试模块等,然后配置相关实验参数,点击执行,计算系统便立刻自动检测相关模块、数据依赖,将计算任务交给后台进行处理,对于离线任务可以进行分布式以提高计算性能,同时实时将中间结果传递给前端界面以提供数据的可视化分析的功能。对于需要扩展的算法,只需要按照所提供的算法模块的接口进行实现即可。


参考文献:

[ 1 ] M . L e b e d e v , M . N i c o l e l i s . B r a i n - m a c h i n e interfaces: past, present and future[J]. Trends in neurosciences, 2006, 29(9): 536-546.


[2] 王跃明, 潘纲, 吴朝晖. 脑机交互界面[J]. 中国标准化, 2013 增刊: 99-102.


[3] A. Hammock. The future of brain controlled devices[OL]. [2015-03-31]Available:http://www.cnn.com/2009/TECH/12/30/brain.


[4] W. Lutzenberger, N. Birbaumer, H. Flor,et al. Dimensional analysis of the human EEG and intelligence[J]. Neuroscience Letters, 1992,143 (1-2): 10-14.


[5] Jessica D. Bayliss, Dana H. Ballard. Single trial P3 epoch recognition in a virtual environment[J].Neurocomputing, 2000(1-4): 637-642.


[6] J. Wessberg, C.R. Stambaugh, J.D. Kralik, et al.Real-time prediction of hand trajectory by ensembles of cortical neurons in primates[J]. Nature, 2000, 408: 361-5.


[7] D.M. Taylor, S.I. Tillery, and A.B. Schwartz.Direct Cortical Control of 3D Neuroprosthetic Devices[J]. Science, 2002, 296(5574): 1829-32.


[8] M.D. Serruya, N.G. Hatsopoulos, L. Paninski, et al.Instant neural control of a movement signal[J].Nature, 2002, 416 (6877): 141.


[9] L. R. Hochberg, M. D. Serruya, G. M. Friehs, et al,Neuronal ensemble control of prosthetic devices by a human with tetraplegia[J]. Nature, 2002,

442(7099): 164-171.


[10] C. Ethier, E. R. Oby, J. J. Bauman,et al. Restoration of grasp following paralysis through brain-controlled stimulation of muscles[J]. Nature, 2012, 485(7398):368-371.


[11] T. Milekovic, J. Fischer, T. Pistohl, et al. An online brain–machine interface using decoding of movement direction from the human electrocorticogram[J].

Journal of Neural Engineering, 2012, 9(04): 046.


[12] Y. Hao, Q. Zhang, S. Zhang, et al. Decoding grasp movement from monkey premotor cortex for real-time prosthetic hand control[J]. Chinese

Science Bulletin, 2013(58): 2520.


未来智能实验室是人工智能学家与科学院相关机构联合成立的人工智能,互联网和脑科学交叉研究机构。


未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

640?wx_fmt=jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/494202.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

C#反射的特性

如果您现在对反射还不太了解的话,那么可以先看看这篇博文,来粗略的了解一下反射吧。什么是反射 反射特性(Attribute)  1. C#内置特性介绍  特性是一个对象,它可以加载到程序集及程序集的对象中,这些对象…

拥抱人工智能报告:中国未来就业的挑战与应对

来源: 199IT互联网数据中心近日,中国发展研究基金会联合红杉资本中国基金,对外发布了一份名为《投资人力资本,拥抱人工智能:中国未来就业的挑战与应对》的研究报告。在这篇报告中,研究课题组对比中外、调研…

《Python 快速入门》C站最全Python标准库总结

点赞 ➕ 评论 ➕ 收藏 养成三连好习惯 🍅 联系作者: 不吃西红柿 🍅 作者简介:CSDN 博客专家丨全站 Top 10🏆、HDZ 核心组成员、信息技术智库公号号主 🍅 简历模板、PPT 模板、学习资料、技术互助。关注…

工业4.0进行时:未来协作方式的变革

来源:资本实验室协作是将人类智力发挥至极致的方式,也是推动人类社会进步的重要手段。随着各种新技术的发展与应用,人类之间的协作方式也在随着技术的进步而进步。从面对面交流,到电话与传真、电子邮件与OA系统,再到在…

java之代理设计模式

代理模式是常用的java设计模式,他的特征是代理类与委托类有同样的接口,代理类主要负责为委托类预处理消息、过滤消息、把消息转发给委托类,以及事后处理消息等。代理类与委托类之间通常会存在关联关系,一个代理类的对象与一个委托…

lisp中的*,**,***

在lisp中“*”除了乘法的作用外,还被用来保存REPL(read-eval-print-loop)中的返回值。其中 * -> 保存最后一次返回值。 ** -> *的上一次值。 *** -> **的上一次值。 例子如下: 而且  * (car /) ** …

为了帮粉丝完成毕业设计,我发现了一款私活神器

一、缘起 不日前,有粉丝找到我,让我帮着做个: 教师管理系统 由于种种借口,我当时把问题交给群友去解决了..... 思来想去,越想越内疚,于是就请教了经常做私活的小伙伴。 必须分享给更多的小伙伴~ 二、揭开面…

狗脸识别APP整合

本文主要包括以下内容 android studio中导入so文件 通过URI获得Bitmap android studio中导入so文件 在main文件夹下建立jniLibs目录,并将so文件拷贝进去即可。 注意 声明的native方法与so文件中定义的方法的包名必须相同 通过URI获得Bitmap private Bitmap …

解析丰田对自动驾驶汽车的愿景:打造更加安全的汽车

丰田高管约翰莱昂纳德在丰田研究所的麻省理工学院车库,在他身后是研究所改造的一辆雷克萨斯选自:Bloomberg来源: 网易科技参与:乐邦约翰莱昂纳德(John Leonard)漫步走到麻省理工学院(MIT)校园里一间单调乏味的一层车库&#xff0c…

C站最全Python库总结丨标准库+高级库

梦想还是要有的,万一别人问呢? 作者:不吃西红柿 简介:CSDN博客专家、蓝桥签约作者、大数据&Python领域优质创作者。 CSDN私信我,回复【资料】领取: 1、100套小编购买的简历模板; 2、1000套…

DeepMind-深度学习: AI革命及其前沿进展 (54页ppt报告)

来源:专知摘要:2018年9 月 9 日-14 日,DeepMind主办的Deep Learning Indaba 2018 大会在南非斯泰伦博斯举行。会上,牛津大学教授和其他15位专家做了《深度学习: AI革命及其前沿进展》的报告。Nando de FreitasNando de Freitas是一…

❤️ 6个Python办公黑科技,工作效率提升100倍!HR小姐姐都馋哭了(附代码)❤️

🍅 作者:不吃西红柿 🍅 简介:CSDN博客专家🏆、信息技术智库公号作者✌。简历模板、职场PPT模板、技术难题交流、面试套路尽管【关注】私聊我。 🍅 欢迎点赞 👍 收藏 ⭐留言 📝 如有…

苹果未来秘密在这里!从神秘组织到七大技术布局

来源:智东西随着人工智能的艰难发展,智能手机增长的放缓, 苹果公司能否第三次重塑自我?在很多方面,苹果仍然是一家以Steve Jobs个人形象制造的公司,专注于颠覆性产品。但今天,苹果走在了十字路口…

❤️ 爬虫分析CSDN大佬之间关系,堪比娱乐圈 ❤️

🍅 作者主页:不吃西红柿 🍅 简介:CSDN博客专家🏆、信息技术智库公号作者✌简历模板、PPT模板、技术资料尽管【关注】私聊我。历史文章目录:https://t.1yb.co/zHJo 🍅 欢迎点赞 👍 …

SSH框架整合

ssh框架整合步骤如下 提示:myeclipse环境、工程环境、tomcat环境的jdk保持一致 1、新建一个工程,把工程的编码为utf-8 2、把jsp的编码形式改成utf-8 3、把jar包放入到lib下 4、建立三个src folder src 存放源代码 config 存放配置文件 hibernate…

关于未来的10点核心思考

作者:尤瓦尔赫拉利 牛津大学历史学博士,全球瞩目的新锐历史学家来源:《今日简史》世界正在变得越来越复杂,我们正在陷入知识的错觉和群体的无知。同时,我们的生活被社交媒体所塑造,真相早已不存在&#xff…

❤️爆肝3万字,最硬核丨Mysql 知识体系、命令全集 【建议收藏 】❤️

🍅 作者主页:不吃西红柿 🍅 简介:CSDN博客专家🏆、信息技术智库公号作者✌ 简历模板、PPT模板、学习资料、面试题库、技术互助【关注我,都给你】 🍅 欢迎点赞 👍 收藏 ⭐留言 &am…

今天专攻POWERSHELL获取本机CPU,内存消耗

PS脚本如下: 1 $Server $env:computername2 #servers CPU Mem Hardinfor 3 $cpu gwmi –computername $Server win32_Processor 4 $men gwmi -ComputerName $Server win32_OperatingSystem 5 $Disks gwmi –Computer: $Server win32_logicaldisk -filter …

证明黎曼猜想的5页论文已发布!最简洁的解读在这里

来源:潇轩社著名数学家阿蒂亚(Michael Atiyah)公开了他为黎曼猜想做的“简洁证明”,论文长度总共5页。借助量子力学中的无量纲常数α(fine structure constant),阿提亚声称解决了复数域上的黎曼…

《Python顶级入门教程》一步一步,是魔鬼的步伐

目录 🍅 1、欲练此功,先知此人 ⚾ 2、Python 语言特性 ❤ 3、Python 特点 🍅 4、Python 行情如何? ✍ 5、Python 怎么学? 5.1 学理论——懂原理 5.2 做练习——会应用 5.3 团队学习——不懂就问 &#x1f34…