Nature子刊 | 首个双语脑机接口设备能解码西班牙语和英语单词

大脑植入装置首次帮助一名无法用语言表达的双语人士用两种语言进行交流。与大脑植入体相连的AI系统可以实时解码该人试图用西班牙语或英语表达的意思。

这项研究结果发表在5月20日的《Nature Biomedical Engineering》杂志上，让人们深入了解了我们的大脑是如何处理语言的。这项研究给我们带来了希望：期待有一天研发出能够让无法口头交流的人恢复多语种语言的设备。

加州大学戴维斯分校的神经科学家谢尔盖·斯塔维斯基(Sergey Stavisky)没有参与这项研究，他说:“这项新研究对新兴的语言恢复神经假肢领域做出了重要贡献。”尽管这项研究只包括一名参与者，还有更多的工作要做，但斯塔维斯基说：“但我们完全有理由认为，当与其他最近的进展相结合时，这种策略在未来将具有更高的准确性。”

语音恢复植入体

这项研究的参与者，绰号"Pancho(潘乔)"，20岁时因中风导致身体大部分瘫痪。因此，他只能发出呻吟和咕哝声，却不能清楚地说话。30多岁时，潘乔与加州大学旧金山分校(University of California, San Francisco)的神经外科医生爱德华·张(Edward Chang)合作，研究中风对他大脑的持久影响。在2012年发表的一项开创性研究中，Chang的团队通过手术将电极植入Pancho的皮层，以记录神经活动，并将其转化为屏幕上的文字。

潘乔的第一句话——“我的家人在外面”——被翻译成了英语。但潘乔的母语是西班牙语，直到中风后才学会了英语。西班牙语仍然能唤起他的熟悉感和归属感。Chang说:“一个人说什么语言实际上与他们的身份密切相关。因此，我们的长期目标从来不只是取代文字，而是恢复人们之间的联系。”

为了实现这一目标，由Chang的博士生Alexander Silva领导的这项工作开发了一个人工智能系统来破译潘乔的双语语音，包括在Pancho试图说出近200个单词时训练系统。他拼单词的努力创造了一个独特的神经模式，并被电极记录下来。

然后，作者将他们的人工智能系统（包括一个西班牙语模块和一个英语模块）应用于潘乔尝试大声说出的短语。对于短语中的第一个单词，西班牙语模块会选择与神经模式最匹配的西班牙语单词。英语模块也会这样做，但会从英语词汇中进行选择。例如，英语模块可能会选择"she "作为短语中最有可能出现的第一个单词，并评估其正确概率为 70%，而西班牙语模块可能选择“estar”(to be)，并评估其正确的概率为40%。

逐字逐句匹配

从那里，两个模块试图建立一个短语。他们每个人都选择第二个单词，不仅基于神经模式的匹配，而且还基于它是否可能跟随第一个单词。因此，"I am"会比"I not"获得更高的概率得分。最后输出两个句子——一个用英语，一个用西班牙语——但是Pancho面对的显示屏只显示总概率得分最高的版本。

这些模块能够根据第一个单词区分英语和西班牙语，准确率为 88%，而它们解码正确句子的准确率为 75%。潘乔最终可以与研究小组进行坦率的、无脚本的对话。"席尔瓦说："在我们第一次完成这些句子之后，有几分钟我们都在微笑。

这些模块能够根据第一个单词区分英语和西班牙语，准确率为88%，解码正确句子的准确率为75%。潘乔最终可以与研究小组直接进行对话。

医学影像显示说话时的大脑活动(人工着色)Credit: Zephyr/SPL

两种语言，一个大脑区域

这些发现揭示了大脑中语言处理的一些意想不到的方面。先前一些使用非侵入性工具的实验表明，不同的语言会激活大脑的不同部位。但是，作者对直接记录在大脑皮层的信号进行了检查，发现“西班牙语和英语的许多活动实际上来自同一个区域”，Silva说。

此外，潘乔的神经反应似乎与那些在双语环境中长大的孩子没有太大区别，尽管他在30多岁时开始学习英语——这与之前的研究结果形成了对比。Silva认为，这些发现表明，不同的语言至少有一些共同的神经学特征，这些特征可能可以推广到其他人身上。

Dokkyo Medical University的神经生理学家Kenji Kansaku没有参与这项研究，他说，除了增加参与者外，下一步将是研究与英语“发音特性非常不同”的语言，比如普通话或日语。Silva说，他已经在研究这些语言了，还有“代码转换”，即在一个句子中从一种语言转换到另一种语言。理想情况下，我们希望让人们能够尽可能自然地交流。”

doi: https://doi.org/10.1038/d41586-024-01451-4e

—— End ——

仅用于学术分享，若侵权请留言，即时删侵！