唐杰:AI 未来靠迭代

来源 | 北京智源人工智能研究院

未来十年人工智能将如何发展?

清华大学教授、智源研究院副院长唐杰认为:认知智能将成为一个重要的且可能实现的方向。

具体来说,便是 System 1 和 System 2 的循环往复,不断迭代,从而打造出具备认知能力的系统——当前基于深度学习的模型作为 System 1,进行信息的抽取、匹配和知识扩展过程;而更具逻辑性和推理性的System 2,将进行判断和推理,输出答案或者将相关知识存储到 System 1 当中。

此外,从更长远的角度,唐杰教授基于认知科学中的全局工作理论(GWT),提出了一个多处理器链接/非链接的全局认知模型。

1

什么是认知智能?

什么是认知智能?首先用一个例子来说明。

假如我们要解决一个问题:

哪个导演于2003年在洛杉矶的Quality咖啡馆拍过电影?

Who is the director of the 2003 film which has scenes in it filmed at The Quality Cafe in Los Angeles?

人类的做法会是,先搜索相关的文档,从中找到相关的电影,在电影的介绍文档里面进一步找到该电影的导演 Todd Phillips ,经过比对电影的拍摄时间(2003年),最终确定答案是Todd Phillips 。

人类大脑思考和解决这个问题的过程为:

1)根据问题解读其中的关键信息;

2)做出判断。如果答案正确,整个推理引擎会输出最终的答案;如果答案不正确,整个过程会继续。

这就是一个经典的带推理的过程。

对于这类问题,机器是怎么做的?简单来说就是:利用 BERT、XLNet 等训练一个模型,然后对给定问题,在长文档中进行匹配。

但,这个过程缺乏可解释性。

对此,最近也有很多相关的工作,试图把知识图谱或知识概念(包括逻辑推理)融入到模型当中。

总体来说,可以用 Yoshua Bengio 在 NeurIPS 2019 大会中的主旨报告来总结:所有的这些模型都属于人脑认知中的 System 1。

他认为,在人脑的认知过程中,包括了 System 1 和 System 2。前者更多是做一个快速的、直觉的、无意识的匹配,当给定一个问题时,系统一直接匹配相关的一些答案,并且把这个答案直接输出。但这些答案的匹配缺乏推理过程,而且直接用习惯性的结果进行匹配,目前的深度学习更多的是这种匹配。

作为对比,System 2 相对较慢,没有 System 1 的快速匹配过程,但它带有更多的逻辑推理和序列推理,这是一个有意识的带规划、带认知的过程。

这正是认知智能所要做的事情。

2

认知图谱的理论基础

重新思考刚才的推理过程。

假如我们用 System 2(认知过程)来做,这个过程应该怎么做?

基于认知科学中的双通道理论,我们可以在求解过程中,先用 System 1 模拟知识扩展过程,即找到关键信息,并对关键信息进行直觉扩展;然后把 System 2 变成一个决策过程,即判断信息是不是我们需要的。

我们把这个工具叫作认知图谱(Cognitive Graph)。

认知图谱更像一个迭代的过程。它里面有两个系统:一个对应 System 1,它会抽出关键词,从外部资源中找到相关的信息,再从里面抽取出重要的信息。另一个对应 System 2,它会判断抽取的信息是否有用,或者是否是最终答案;如果不是,但有用,System 2 就会把这些信息放到 System 1 中。System 1 持续做这种扩展,System 2 持续做判断,最终输出我们需要的答案。

System 1,可以用已有的机器学习模型,如 BERT、XLNet、GPT-3 等,先做一个预训练,然后在预训练模型基础上做匹配,最后从匹配结果来做知识扩展。

有了 System 1 以后,可以参考人类的推理过程做 System 2。人在拿到相关的信息以后会把这些信息建造成一个知识网络,然后在知识网络的基础上做决策,发现最终要的答案。基于这样的思路,我们可以用图神经网络对信息进行建模,然后决策、判断得到的信息是否是我们所要的。

在这方面的研究工作,可以查看唐杰教授近期的研究工作,其报告中这方面的细节,再次不再赘述。

总结来看,整个模型有几个重要的信息:

1)它是一个迭代的框架。它里面包含两个过程,一个是 System 1 的信息扩展或者信息匹配过程,另一个是 System 2 的带决策和推理的过程。

2)它最大的优势是可以从外面不断地获取新的信息,且有很强的可解释性。

3)它利用了双通道理论中的 System 2 的推理过程,从感知过程推进到了认知过程。

我们非常有信心认为,认知智能就是 AI 下一个十年重要的研究方向。

如果追溯 AI 的发展历史,会发现 AI 的发展(甚至包括计算机的整个发展)历程,从早期以存储和计算为主,已经发展到了当下以感知为主,但却没有包含任何认知过程。认知的第一个要务是能够组织和生成知识。

有些同学也许会讲, GPT-3 已经体现了一定的推理和生成。但其实,它离人的推理过程还差得很远。因此,AI 发展的下一步,关键就是认知,怎么把 AI 从感知推进到认知是目前一个非常重要的发展趋势。

3

第三代 AI

如果回顾一下AI的几个阶段,会发现:

第一代的符号 AI,当时构造了符号模型、规则模型和感知机。

第二代 AI 更多是做感知智能,通过在大数据上做统计学习。目前我们初步实现了这种感知智能,这基本上是 System 1 做的事情。

在此背景下,张钹院士在 2016 年提出了第三代 AI 的雏形,当时的思想是把数据和知识推理两个融合起来,与人脑认知融合,做下一代的AI。

目前这方面急缺的是高质量的、超大规模的知识图谱(这也是 AI 的基础设施),以及面向知识的理解能力(面向认知的深度学习算法)。

那么,AI 未来更多地要做什么呢?

在国际上,Yoshua Bengio 及 DeepMind 的一些人在推动认知过程与深度学习的结合。他们的思路是,把原来的符号系统与深度学习结合,这是超越深度学习的一个最简单的思路。空间非常大,需要研究的东西也非常多。

我们认为,下一个十年 AI 最重要的一个方向是做认知推理。它是实现大数据到知识、到智能的一个关键。

我们再说远一点, 30 年以后的挑战是什么?

我认为,应该是让计算机具有自我意识,我们称其为有意识 AI 。核心内容是,把认知推理跟人的记忆模型、计算机的自我意识联合起来。这种模型借鉴了认知心理学中的全局工作理论(GWT)。

我曾经对 GWT 做过一个解读,放在这里也是合适的:

所谓有意识学习,就是有目标的机器学习,给定数据,训练一个模型,通过模型进行分类(决策)。所以有意识学习输出是一个短期记忆模型,但这个短期记忆模型比较简单:数据有限、无背景知识。

所以无意识就对应着长期记忆模型。长期记忆模型有点类似半监督或者无监督学习模型,或者当下比较流行的预训练和自监督学习。无意识处理对应多种长期记忆,所以无意识可以考虑多个不同的处理器,这些处理器之间可以有链接,也可以没有,很多时候是并行处理。但针对特定任务,比如有意识思考某个问题的时候,形成特定连接,包括无意识处理器(无监督模型)和有意识处理器(有监督模型)之间的连接,这里可以考虑成fine-tune。当然连接权重可以通过外界反馈强化学习来实现。无意识处理器之间的连接以及和有意识处理器之间的连接可以类比为注意力机制。

最后值得注意的是长期记忆的构造和实现,人脑记忆保存的是模型图,而不是概念图。每个长期记忆都可能是一个模型,可以生成样本,具体学习方法,可以想象一下是一个层次聚类。通过这样就可以用有监督、无监督、强化、注意力、fine-tune 来实现 GWT 模型。

这其实相当于用计算机模拟了人的全局工作理论。这个方面的研究工作仍在初期阶段。如果有兴趣,可以加入研究,一起做相关的探索。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/486749.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

影视感悟

《一条狗的使命》 首先要开心只要有可能,就竭尽全力去帮助别人舔你爱的人对过去的事不要一副苦瓜脸对未来也不要愁眉苦脸只要活在当下活在当下收住挑衅脾气烈火,不轻易做过激行为,不轻易先动手打人 转载于:https://www.cnblogs.com/linkenpar…

php中用户验证的方式,在php中进行用户身份验证的最佳方式是什么?

使用Sessions.将会话ID存储在cookie中,并将用户的状态存储在服务器端(loggedIn,userId,IP).澄清您需要存储在会话数组中:> loggedIn:一个关于用户是否登录的布尔变量.您可以为多个会话重复使用相同的Cookie,因此您可以在下次访问您的网站时记住用户的…

linux服务器配置与管理_服务器维护实施步骤

为了有效地维护服务器,服务器管理员必须执行主动的硬件和软件检查。而服务器的维护清单必须包括除尘、日志查看、软件补丁程序测试等。即使具有服务器的性能和冗余功能,增加的工作负载整合和可靠性期望也会对服务器硬件造成损害。服务器维护清单应涵盖物…

常用数据库的分页实现

MySQL: 可以得出符合我们自己需求的分页sql格式是:select * from table limit (start-1)*limit,limit; 其中start是页码,limit是每页显示的条数。 SqlServer: Oracle: 转载于:https://www.cnblogs.com/gzu-link-pyu/p/…

量子信息技术研究现状与未来

来源:专知量子信息技术是量子力学与信息科学融合的新兴交叉学科, 它的诞生标志着人类社会将从经 典技术迈进到量子技术的新时代, 本文将阐述量子信息技术的研究现状与未来. 文中描绘了量子技术 发展远景, 即筑建各种类型的量子网络, 包括量子云计算网络、分布式量子…

检测oracle的语句,oracle功能检测sql语句

1. 监控事例的等候select event,sum(decode(wait_Time,0,0,1)) "Prev",sum(decode(wait_Time,0,1,0)) "Curr",count(*) "Tot"from v$session_Waitgroup by event order by 4;2. 回滚段的争用情况select name, waits, gets, waits/gets "Rat…

idea springmvc项目搭建_ssm框架整合搭建流程 - 小白小承

刚学完Mybatis&#xff0c;Spring&#xff0c;SpringMVC尝试进行一个整合开发&#xff0c;记录一下搭建流程1.环境与开发工具IDEAMySQL 8.0.16Tomcat 9.0.21Maven 3.6.12.项目准备1.创建一个maven工程2.依赖注入<dependencies><dependency><groupId>junit<…

21世纪科技生态面临第三次全球标准

来源&#xff1a;中国社会科学报 前言&#xff1a;本文2020年9月29日发表与“中国社会科学报”&#xff0c;原文标题"科技生态面临新全球标准”&#xff08;略有修改&#xff09;。2007年以来&#xff0c;我们对21世纪前沿科技生态发展的规律进行研究。提出互联网从网状…

adb push ,adb pull和adb install的区别

1、用命令行把手机上的文件拷贝到电脑上 1adb pull sdcard/1222073679.png拷贝文件夹命令&#xff0c;如把log文件夹拷贝到电脑当前目录 1adb pull sdcard/log/拷贝文件夹到当前文件夹下的某文件夹里面&#xff0c;如拷贝360文件夹到当前文件夹的360里面 1adb pull sdcard/360/…

php+jquery实现图片上传预览_和拖动位置值,PHP教程:thinkphp jquery实现图片上传和预览效果...

《PHP教程&#xff1a;thinkphp jquery实现图片上传和预览效果》要点&#xff1a;本文介绍了PHP教程&#xff1a;thinkphp jquery实现图片上传和预览效果&#xff0c;希望对您有用。如果有疑问&#xff0c;可以联系我们。PHP学习PHP学习那个file按钮样式先忽略PHP学习点击选择图…

屏幕中间显示已停用缩放_有关标签打印软件缩放工具的介绍

在标签打印软件中设计标签时&#xff0c;为了方便编辑&#xff0c;有时会根据自己的需求放大缩小标签来精确位置大小等&#xff0c;做更细致的调整&#xff0c;这时就会用到缩放工具。下面&#xff0c;主要就是给大家介绍标签打印软件缩放工具的用处&#xff1a;在标签打印软件…

集合(2)

Linkedlist特有的方法 增加头Link.addFirst(“tou”); 增加尾Link.addLast(“tou”); 获取头Link.getFirst(); 获取尾Link.getLast(); 获取并删除头Link.removeFirst(); 获取并删除尾Link.removeLast(); 在获取元素时&#xff0c;链表为空就会报notsuchelementException。 在1.…

机器学习揭示了人类大脑的新见解

来源&#xff1a;科学杂志由新加坡国立大学(NUS)科学家领导的跨学科研究团队已成功地利用机器学习来发现对人脑细胞结构的新见解。该团队展示了一种使用从功能磁共振成像(fMRI)收集的数据自动估算大脑参数的方法&#xff0c;使神经科学家无需使用手术手段即可探测大脑&#xff…

dram和nand哪个难生产_仅300名员工,年产7台,订单排到5年后,比光刻机还难买...

如今半导体行业发展成为如今一大热议话题&#xff0c;如今不管在哪个行业几乎都要用到芯片&#xff0c;在以前可能手机行业对于芯片的需求量更高一些&#xff0c;然而近些年来不同领域的厂商都争相开始发展智能机&#xff0c;而这其中就离不开芯片技术&#xff0c;华为的麒麟芯…

bitset与取数凑数类问题

bitset是C中的一个东西&#xff0c;定义在头文件#include<bitset>里 所以可以使用#include<bitset>解决取数类的问题https://www.nowcoder.com/acm/contest/1/D 转载于:https://www.cnblogs.com/MekakuCityActor/p/8513734.html

oracle.01081 cannot,ORA-01081: cannot start already-running ORACLE - shut it down first

Applies to:Oracle Server - Enterprise Edition - Version: 8.1.7.4 to 11.2.0.2.0 - Release: 8.1.7 to 11.2Generic UNIX当检查oracle实例后台进程不存在这时启动启动数据库报错:ORA-01081: "cannot start already-running ORACLE - shut it down first"造成此种原…

人工智能的发展与障碍 | 麦肯锡

转自 | 软件定义世界受访者表示&#xff0c;人工智能正在迅速普及&#xff0c;但预计不会大规模减少企业用工人数。目前&#xff0c;仅有极少数企业具备让人工智能创造规模化价值的基本要素。麦肯锡一项以人工智能为主题的最新全球调研【1】 显示&#xff0c;人工智能正在全球商…

linux select 进程id,Linux基础命令---显示进程ps

psps指令可以显示系统中当前进程的信息&#xff0c;它的输出结果是高度可定制的。如果您希望重复更新所选内容和显示的信息&#xff0c;请使用top(1)代替。请注意&#xff0c;“ps-aux”与“ps aux”不同。POSIX和UNIX标准要求“ps-aux”打印名为“x”的用户拥有的所有进程&…

管理系统 c++图形界面_锁螺母ERP系统,一站式各国语言管理系统

锁螺母ERP系统鼎立软件企业正式启用ERP系统后&#xff0c;这种破坏将直接造成业务交易的中断&#xff0c;给企业带来不可估量的损失。出库商品遵循先进先出原则&#xff0c;减少商品过期带来的损耗。 锁螺母ERP系统&#xff0c;一站式各国语言管理系统正在企业中&#xff0c;一…

Go语言入门——Go语言环境搭建

下载Go语言包 go binary release是一套 二进制源码SDK工具组成的&#xff0c;和其他语言比&#xff0c;唯独没有运行时&#xff0c;也不需要。Go官方国内访问不稳定&#xff0c;最好FQ。请到https://golang.org/dl/ 下载对应的包&#xff0c;目前是1.9.3版本 三个环境变量 首先…