Meta AI 宣布对人脑和语言处理进行长期研究

7c4b34cdf45fc5c45ad92b25524a72f1.png

来源:ScienceAI

编辑:绿萝

人类的大脑长期以来一直是一个难题——它是如何发展的,它如何继续进化,它被开发和未开发的能力。

人工智能 (AI) 和机器学习 (ML) 模型也是如此。

正如人类大脑创建的 AI 和 ML 模型日益复杂一样,这些系统现在也被用于研究人类大脑本身。具体来说,此类研究正在寻求增强人工智能系统的能力,并更紧密地模仿大脑功能,以便它们能够以越来越自主的方式运行。

Meta AI 的研究人员已经着手开展一项这样的计划。Facebook 母公司的研究部门近日宣布了一项长期研究,以更好地了解人类大脑如何处理语言。研究人员正在研究大脑和 AI 语言模型如何对相同的口头或书面句子做出反应。

77c21ea8e611014bd5349daf8ac3d54d.png

Meta AI 的高级研究科学家 Jean-Rémi King 说:「我们正试图将人工智能系统与大脑进行比较。」

他指出,口语使人类变得独特,理解大脑如何工作仍然是一个挑战,也是一个持续的过程。潜在的问题是:「是什么让人类比这些机器更强大或更高效?我们不仅要找出相似之处,还要找出剩余的差异。」

脑成像和人类水平的 AI

Meta AI 正在与位于巴黎的脑成像创新研究中心 NeuroSpin (CEA) 和法国国家数字科学技术研究所(INRIA)合作。这项工作是 Meta AI 更广泛关注人类水平人工智能的一部分,这种人工智能可以在几乎没有人监督的情况下学习。

通过更好地了解人类大脑如何处理语言,研究人员假设他们可以收集有助于指导人工智能发展的见解,这些人工智能可以像人类一样有效地学习和处理语音。

「开发、训练和使用特殊的学习算法来执行各种各样的任务变得越来越容易,」King 说。「但这些人工智能系统距离人脑的效率还很远。很明显,这些系统缺少一些能够更有效地理解和学习语言的东西,至少和人类一样有效。这显然是一个价值百万美元的问题。」

在深度学习中,多层神经网络协同工作来学习。这种方法已应用于 Meta AI 研究人员的工作,以突出在志愿者阅读或收听故事时,何时何地在大脑中生成单词和句子的感知表示。

在过去的两年中,研究人员将深度学习技术应用于公共神经影像数据集,这些数据集是从志愿者的磁共振成像 (MRI) 和计算机断层扫描 (CT) 扫描中的大脑活动图像中挑选出来的。这些由普林斯顿大学和马克斯·普朗克心理语言学研究所等多个学术机构收集和共享。

该团队对数千个此类脑部扫描进行了建模,同时还应用了脑磁图 (MEG) 扫描仪以每毫秒捕获一次图像。他们与 INRIA 合作,将各种语言模型与 345 名志愿者在听复杂叙述时用功能磁共振成像 (fMRI) 记录的大脑反应进行了比较。

然后将阅读或呈现给人类受试者的相同叙述呈现给人工智能系统。「我们可以比较这两组数据,看看它们何时何地匹配或不匹配,」King 说。

迄今为止研究人员的发现

研究人员已经得出了有价值的见解。值得注意的是,最接近大脑活动的语言模型是那些最能从上下文(context)中预测下一个单词的模型(例如「在一个黑暗和暴风雨的夜晚……」或「从前……」),King 解释说。这种基于部分可观察输入的预测是人工智能自我监督学习 (SSL) 的核心。

尽管如此,大脑的特定区域仍能提前很久地预测单词和想法——而相比之下,语言模型通常被训练来预测下一个单词。他们在预测复杂的想法、情节和叙述方面的能力有限。

「(人类)系统地预测接下来会发生什么,」King说。「但这不仅仅是单词级别的预测,而是更抽象的级别。」

进一步对比,人脑可以用几百万个句子学习,并且可以在其数万亿个突触之间不断地适应和存储信息。与此同时,人工智能语言模型经过数十亿个句子的训练,可以参数化多达 1750 亿个人工突触。

King 指出,婴儿接触到成千上万的句子并且可以快速理解语言。例如,从几个例子中,孩子们就知道「橙色」既可以指水果,也可以指颜色。但是现代人工智能系统在这项任务上遇到了麻烦。

「很明显,今天的人工智能系统,无论它们多么好或多么令人印象深刻,也是极其低效的,」King 说。虽然人工智能模型正在执行越来越复杂的任务,但「很明显,它们在许多方面并不能广泛地理解事物。」

为了进一步完善他们的研究,Meta AI 研究人员和 NeuroSpin 现在正在创建一个原始的神经影像数据集。这与代码、深度学习模型和研究论文一起将被开源,以帮助在人工智能和神经科学领域进一步发现。「我们的想法是提供一系列工具,供我们在学术界和其他领域的同事使用和利用,」King 说。

他说,通过更深入地研究长期预测能力,研究人员可以帮助改进现代人工智能语言模型。用长期预测增强算法可以帮助它们与大脑更加相关。

King 强调,「现在很清楚的是,这些系统可以与人脑相比,而在几年前还不是这样。」

他补充说,科学进步需要将神经科学和人工智能学科结合起来。随着时间的推移,它们将发展得更加紧密和协作。

「神经科学和人工智能之间的这种交流不仅仅是与抽象思想的隐喻交流,」King 说。「它变得非常具体。我们试图了解什么是架构,大脑中的学习原理是什么?我们正在尝试将这些架构和这些原则应用到我们的模型中。」

参考内容:

https://venturebeat.com/2022/04/28/meta-ai-announces-long-term-study-on-human-brain-and-language-processing/

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

889a63ca5c5ba898a18d7ce9335846b5.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/482182.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

10年100亿!“新基石研究员”项目正式发布

来源: 中国科学报文:《中国科学报》记者 赵广立4月30日,《中国科学报》获悉,一项总投入达100亿元、面向基础研究领域的社会资助项目——“新基石研究员项目”正式发布。在国家有关部门的指导下,“新基石研究员项目”由…

代表地球文明精髓的E=mc²,为什么被称为“死亡方程式”

来源:大数据文摘有这样一条方程式,原腾讯副总裁吴军博士说,如果地球毁灭,要在一张名片上写下地球文明的全部精髓,他会写下三个公式,其中就包含这个方程式;搜狐CEO张朝阳专门开了堂线下物理课&am…

北交桑基韬:“超”人的机器学习,非语义特征的得与失

来源:AI科技评论作者:桑基韬整理:维克多人工智能目前最大的“拦路虎”是不可信赖性,以深度学习为基础的算法,在实验室环境下可以达到甚至超过人类的水平,但在很多实际应用场景下的性能无法保证,…

手把手教你搭建一个中式菜谱知识图谱可视化系统

手把手教你搭建一个中式菜谱知识图谱可视化系统中式菜谱知识图谱1、系统功能2、先来看看效果实体间关联关系及实体信息显示不同类型实体开关显示搜索功能展示3、系统实现流程3.1 数据爬取3.2 D3可视化中式菜谱知识图谱 今天分享一个自己从数据爬取到d3可视化的中式菜谱知识图谱…

AI数字人未来十大展望

来源 :商汤智能产业研究院编辑 :刘振航从电影中逼真的CG人物,到能够与我们面对面进行互动的智能服务助手,数字人会经历几级进化?数字人正在从有颜无智的“CG数字模特”,进化为可提高生产力、驱动创新服务的…

知识图谱最新权威综述论文解读:开篇部分

论文地址:http://arxiv.org/abs/2002.00388 这篇综述是数据科学权威 Philip S. Yu 团队对知识图谱领域的最新综述论文,论文从知识图谱的发展历史、知识表示学习、知识获取、知识应用、未来研究方向等方面描述了知识图谱的全局。 首先,咱们先…

耗资52亿美元,历时15年,人类有史以来建造的最复杂机器

来源:世界先进制造技术论坛欧洲大型强子对撞机是现在世界上最大、能量最高的粒子加速器,是一种将质子加速对撞的高能物理设备,英文名称为LHC。LHC是人类迄今建造的最大最复杂的科学设备,它的建设历时15年,耗资52亿美元…

贝叶斯深度学习:一个统一深度学习和概率图模型的框架

来源:AI科技评论 作者:王灏整理:维克多人工智能(AI)的进展显示,通过构建多层的深度网络,利用大量数据进行学习,可以获得性能的显著提升。但这些进展基本上是发生在感知任务中&#…

知识图谱最新权威综述论文解读:知识表示学习部分

知识图谱最新权威综述论文解读:知识表示学习部分知识图谱表示学习1 表示空间1.1 Point-wise空间1.2 复数向量空间​1.3 高斯分布1.4 流形和群2 打分函数2.1 基于距离的打分函数​2.2 语义匹配模型:​3 编码模型3.1 线性/双线性模型3.2 张量分解模型3.3 神…

对知识图谱的告白:斯坦福大学CS520课程介绍

斯坦福大学CS520知识图谱系列课程,从这个课程的编号就足以看出对计算机科学的告白。 相信大家对斯坦福大学的计算机学科公开课一点也不陌生,对很多人来说,面向计算机视觉的CS231n和面向自然语言处理的CS224n几乎成为了入门人工智能领域以及C…

脑计算将何去何从?

来源:内容由半导体行业观察(ID:icbank)编译:nature.摘要类脑计算新技术有望通过完全不同的方式处理信息,能效极高,并能处理我们加速产生的大量非结构化和嘈杂的数据。为了实现这一承诺&#xff…

知识图谱最新权威综述论文解读:知识图谱补全部分

上期我们介绍了2020年知识图谱最新权威综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知识表示学习部分,本期我们将一起学习这篇论文的知识图谱补全部分。 论文地址: https://arxiv.org/pdf/2002.00388.p…

神经元的集体行为:大尺度脑活动的动力学模型

来源:集智俱乐部(https://mp.weixin.qq.com/s/X88lG7rFhIFlpCJ2jVMLtg) 作者:彭崧峻 校对:梁金编辑:邓一雪封面:Sergey Fedotov排版:光影导语 / Introduction大脑由神经元组成&…

知识图谱最新权威综述论文解读:实体发现

上期我们介绍了2020年知识图谱最新权威综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知识图谱补全部分,本期我们将一起学习这篇论文的实体发现部分。 论文地址: https://arxiv.org/pdf/2002.00388.pdf​…

Jurassic-X: 让神经模型学会符号推理

来源:前沿科技解读:Antonio编辑:陈彩娴近期,一家以色列NLP研究机构AI21 Labs开发了一个名叫Jurassic-X的算法系统,它基于该实验室提出来的MRKL(它与miracle谐音)系统。Jurassic-X的前身是对标GP…

知识图谱最新权威综述论文解读:关系抽取

上期我们介绍了2020年知识图谱最新权威综述论文《A Survey on Knowledge Graphs: Representation, Acquisition and Applications》的知识图谱实体发现部分,本期我们将一起学习这篇论文的关系抽取部分。 论文地址: https://arxiv.org/pdf/2002.00388.p…

斯坦福大学CS520知识图谱系列课程学习笔记:第一讲什么是知识图谱

随着知识图谱在人工智能各个领域的广泛使用,知识图谱受到越来越多AI研究人员的关注和学习,已经成为人工智能迈向认知系统的关键技术之一。之前,斯坦福大学的面向计算机视觉的CS231n和面向自然语言处理的CS224n成为了全球非常多AI研究人员的入…

数学三大核心领域概述:代数、几何、分析

来源 :数学与人工智能摘选自《数学史海揽胜》有删改数学发展到现在,已经成为科学世界中拥有100多个主要分支学科的庞大的“共和国”。大体说来数学有三大核心领域:数学中研究数的部分属于代数学的范畴;研究形的部分,属…

斯坦福大学CS520知识图谱系列课程学习笔记:第二讲如何构建知识图谱

上一讲我们学习了知识图谱的一些基本概念: 斯坦福大学CS520知识图谱系列课程学习笔记:第一讲什么是知识图谱 本节课程关于如何构建知识图谱,因为知识图谱的构建是整个知识图谱领域的一个非常核心且基础的工程,如何将现有的数据以…

神经复杂系统前沿:关于认知大脑的两种观念

来源: 集智俱乐部作者:David L. Barack, John W. Krakauer译者:JawDrin审校:陈贺 编辑:邓一雪 导语人类的高级认知能力怎样从包含上百亿神经元的大脑复杂系统中涌现出来,是神经科学的核心问题之一。学界中存…