大模型铺天盖地出现后,计算机科学终成「自然科学」

c45c3cd5d9892cd9ae302139ae0be310.jpeg

来源:选自Communications of the ACM

作者:Subbarao Kambhampati(美国人工智能学会前主席)

编译:机器之心

编辑:rome rome

当部分人工智能正偏离其工程本源,AI 研究的方向变化,超出了我们的预料。

当前的人工智能(AI)处在一个奇妙的时代,时常会出现让人惊叹的隐性知识(Polanyi 的复仇和人工智能的新型浪漫与隐性知识,https://bit.ly/3qYrAOY),但可以确信在未来相当长的一段时间,计算机无法完成这个任务。最近出现的让人感兴趣的研究是基于 Transformer 架构的大型学习系统,基于大网络规模的多模态语料库和数十亿参数的训练。典型例子如大型语言模型、响应任意形式文本 prompt 的 GPT3 和 PALM、将文本转换成图像的语言 / 图像模型 DALL-E 和 Imagen(甚至具有通用行为的模型如 GATO)。

大型学习模型的出现从根本上改变了人工智能研究的性质。最近研究人员在使用 DALL-E 时,认为它似乎已经发展出自己的特有语言,如果人类能掌握它,或许可以更好地与 DALL-E 交互。也有研究人员发现,可以通过在 prompt 中添加某些神奇的咒语(比如「让我们一步步地思考」)来改善 GPT3 对推理问题的表现。现在 GPT3 和 DALL-E 这样的大型学习模型就像是「外星物种」一样,我们要尝试解码它们的行为。

对于人工智能来说,这无疑是一个奇怪的转折点。自出现以来,人工智能一直是介于工程学(特定功能的系统)和科学(发现自然现象规律)之间的「无人区」地带。人工智能的科学部分源于其最初的主张,即对人类智能本质的洞察;而工程部分则源于对智能功能(让计算机展示智能行为)的关注,而不是对人类智能的洞察。

而目前的情况正在迅速变化,特别是人工智能已成为大型学习模型的同义词。当前的现状是,人们对于训练过的模型是如何拥有特定功能一无所知,甚至它们可能具有的其它功能一无所知(如 PALM 所谓的「解释笑话」的能力)。即使是它们的创造者,通常也对这些系统能做的事情始料不及。探索这些系统以了解其「功能」范围,已成为近来人工智能研究的趋势。

越来越清楚的是,部分人工智能正偏离其工程本源。如今很难将大型学习系统看作传统意义上有特定目标的工程设计。毕竟人们不能说自己的孩子是「设计」出来的。工程学领域通常不会为设计的系统出现意料之外的新特性而庆祝(就如同土木工程师不会因为他们设计的抵御五级飓风的桥梁被发现还能悬浮而激动兴奋的庆祝)。

越来越多地证据表明,这些经过训练(但未经设计)的大型系统的研究注定要成为自然科学:观察系统的功能;做消融研究;对最佳实践进行定性的分析。

考虑到目前研究表象而非内里的事实,这类似于生物学中想在没有实际证据的情况下达到「弄清楚」的宏伟目标。机器学习属于研究工作,更多地关注系统为什么会做它正在做的事情(可以想象成对大型学习系统做「核磁共振成像」研究),而不是证明设计系统就是为了这样做。这些研究收获的知识能提升微调系统的能力(就像医学一样)。当然表象的研究允许比内里设置进行更具针对性的干预。

人工智能变成自然科学,也会对整个计算机科学产生影响,考虑到人工智能会对几乎所有计算领域都产生巨大影响。计算机科学的「科学」二字也受到过质疑和讽刺。但现在情况已有改变,因为人工智能已经成为研究大型人工学习系统的自然科学。当然,这一转变可能存在很大的阻力和意见,因为计算机科学长期以来一直是「建构修正的方法 (correct by construction)」圣杯,从最开始计算机科学就相当于生活在充满激励的系统中,它像训练有素的狗不犯错,就像人类一样正确。

早在 2003 年,图灵奖得主 Leslie Lamport 对计算未来属于生物学而非逻辑的可能性敲响警钟,称计算机科学将让我们生活在顺势疗法和信仰疗愈的世界。当时他的焦虑主要是针对人类通过编程完成的复杂软件系统,而不是现在更神秘的大型学习模型。

当从一个主要关注有意设计和「通过构造保证正确」的领域,转向试图探索或理解现有的(未经设计的)人工产物,它将带来的方法学转变值得思考。与生物学研究野外生物不同,人工智能研究人类创造的缺乏「设计感」的人工产物,对于创造和部署那些不被理解的人工产物,伦理问题是肯定会出现的。大型学习模型不太可能保证支持可证明的能力,无论是关于准确性、透明度还是公平性,然而这些是部署和实践这些系统的关键问题。虽然人类也无法提供关于其自身决定和行为正确性的证据,但确实有法律制度来让人类遵守惩罚,如罚款、谴责甚至监禁。而对于大型学习系统,有什么是等价的制度?

计算研究的美学也会发生改变。目前的研究者可以用论文中包含定理与定义的比例来评价论文。但随着计算机科学的目标,越来越像生物学等自然科学的目标,就需要开发新的计算美学方法论(因为零定理与零定义比例不会有很大的区别)。有迹象表明,计算复杂性分析在人工智能研究中已处于次要地位。

原文链接:

https://cacm.acm.org/magazines/2022/9/263799-changing-the-nature-of-ai-research/fulltext

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

9b4468a2775cca3c88e49d8bb95f6ed1.jpeg

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/481627.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Transformers 如何模仿大脑的某些部分

来源:ScienceAI编译:白菜叶了解大脑如何组织和访问空间信息「我们在哪里」,「拐角处有什么」,「如何到达那里」,这仍然是一项艰巨的挑战。该过程涉及从数百亿个神经元中调用整个记忆网络和存储的空间数据,每…

国科大prml-往年习题

文章目录1 模式识别过拟合欠拟合概率图概率图-独立性HMM哲学理论adaboost贝叶斯贝叶斯判别贝叶斯判别-正态分布贝叶斯估计贝叶斯决策朴素贝叶斯半监督无监督聚类GMMEM极大似然估计判别函数线性判别和非线性判别线性判别函数的数量(M分类感知机势函数法9.势函数法&am…

城市大脑已经几岁?城市大脑发展成熟度的年龄评估模型

说明:该论文由科学院研究团队刘颖、刘锋于2022年7月发表在《科技导报》第14期,是对城市大脑发展成熟度的探索研究,为构建城市大脑发展成熟度评估规范提供参考。根据研究团队建立的评估模型,进行初步评估,提出目前城市大…

GMM

GMM 一个类一个正态分布N(μk,Σk)N(\mu_k,\Sigma_k)N(μk​,Σk​) 有监督无监督半监督目标函数Llogp(Xl,Yl∥θ)Σi1llogp(yi∥θ)p(xi∥yi,θ)Σi1llogαyiN(xi∥θyi)Llogp(X_l,Y_l\|\theta)\Sigma_{i1}^llogp(y_i\|\theta)p(x_i\|y_i,\theta)\\\Sigma_{i1}^llog \alpha_…

城市大脑已经几岁?城市大脑发展成熟度的年龄评估模型(修改版)

说明:该论文由科学院研究团队刘颖、刘锋于2022年7月发表在《科技导报》第14期,是对城市大脑发展成熟度的探索研究,为构建城市大脑发展成熟度评估规范提供参考。根据研究团队建立的评估模型,进行初步评估,提出目前城市大…

2022年 AI 技术成熟度曲线

来源:Gartner公司编辑:蒲蒲近日,Gartner发布了最新的《2022年人工智能技术成熟度曲线》报告,报告称尽早采用复合型人工智能(AI)、决策智能等AI技术将给企业机构带来明显的竞争优势,缓解AI模型脆…

国科大prml--SVM

拉格朗日的原始问题是minw,bmaxλLmin_{w,b} max_{\lambda} Lminw,b​maxλ​L对偶问题是maxλminw,bLmax_{\lambda} min_{w,b}Lmaxλ​minw,b​L 原问题拉格朗日对偶问题分界面最终参数hard marginminw12∥w∥2min_w \frac{1}{2}\|w\|^2minw​21​∥w∥2约束yi(wTxi)>1,对…

科学家们正在使用人工智能来构想革命性的新蛋白质

来源:ScienceAI编译:白菜叶6 月,韩国监管机构授权使用人类设计的新型蛋白质制成首个药物,即 COVID 疫苗。该疫苗基于研究人员近十年前通过劳动密集型试错过程创造的球形蛋白质「纳米颗粒」。现在,由于人工智能&#xf…

多模态认知计算

来源:图灵人工智能 日常生活中, 人类至少利用视觉, 听觉等多种感官理解周围环境, 通过整合多种感知模态, 形成对事件的整体认识. 为使机器更好地模仿人类的认知能力, 多模态认知计算模拟人类的“联 觉”(Synaesthesia), 探索图像, 视频, 文本, 语音等多模态输入的高…

知识表示与知识图谱--介绍

知识表示与知识图谱 知识支撑 人类理解需要机器也需要知识工程 手段:信息技术特点:高效率、大容量目标:获取并利用知识与信息的技术例子 第一个专家系统:费根鲍姆知识工程语言TUILI--1982--陆汝衿专家系统开发环‘天马’--1987--…

「图学习推荐系统」最新2022综述

来源:专知协同过滤是一种被广泛应用于推荐系统中的方法,其利用不同用户之间(或不同物品之间)的相似性关系来过滤和抽 取用户和物品的交互信息,从而进行用户推荐.近年来,图神经网络因其出色的表示学习性能和良好的可扩展性逐渐成为推荐 领域中的一种新兴的范式.文中从…

2知识图谱的生命周期

知识图谱的生命周期 知识图谱 知识建模--建立本体ontolog 建什么 概念、实体的类型概念/实体的关联关系要求:可靠性方法 自顶向下--专家手工形成数据模式自底向上--实体--类 利用现有的标准转换从现有的高质量数据源中进行映射:用知识图谱--抽象建模--来…

nlp1-介绍

能做什么? 自然语言处理: 如何让计算机能够自动或半自动地理解自然语言文本,懂得人的意图和心声?如何让计算机实现海量语言文本的自动处理、挖掘和有效利用,满足不同用户的各种需求,实现个性化信息服务&…

经纬张颖:给科研技术背景创始人的十条建议

来源:动脉橙果局编辑: Light出品: 科技智谷"给科研技术背景创始人的十条建议近一年,随着经纬在科技类公司的投资比例更大、金额更多,我和这类创始人们也进行了更高频次的交流,更多地了解了他们的困惑和…

nlp2-数学基础(信息论,概率论、词义消歧)

文章目录概率论信息论计算熵计算信息熵、条件熵、联合熵波利尼亚语熵率噪声信道模型建立一个翻译词义消歧(WSD贝叶斯最大熵的消歧方法概率论 在自然语言处理中,以句子为处理单位时一般假设句子独立于它前面的其它语句,句子的概率分布近似地符…

格鲁夫12年前惊人的预言,解释了今天美国对中国芯片所做的一切

来源: 未尽研究从芯片到光伏和动力电池,英特尔前董事长和CEO格鲁夫惊人地预言了美国制造业与科技当下所遇到的麻烦。他是一位以严厉著称的CEO,在美国金融危机刚结束之际,在商业杂志的封面发表了一篇犀利的评论。尤其是在美国硅谷如…

真正的人工智能,需要理解本体论

来源:混沌巡洋舰人工智能的终极语境是什么?真正的人工智能,需要理解本体论现在的人工智能技术突破或许具有划时代意义,但即使是计算能力最强大、最先进的机器,也达不到人类智能的层级。人工智能具备测算能力&#xff0…

知识图谱-架构图

binlog-MySQL的日志 用于实时处理与离线增量导入架构 Kafka消息队列 老虎队队长(AV75056045)

知识图谱2-知识表示

知识表示的重要性 知识是智能的基础 机器可以获得知识机器可以运用知识符合计算机要求的知识模式 计算机能存储处理的知识表示模式数据结构ER模型Sql与RDF模型SPARQL对比 关系模型 关系显式定义(RDF) 关系隐式定义(ER)(理解后写出来的表 数据变更时 RDF--数据变更…

韩国芯片教父:金钟基如何带领韩国成为半导体超级大国

来源 :大数据文摘编译:Mickey来源:https://spectrum.ieee.org/kim-choong-ki在韩国芯片行业有这样一群人的传说,他们被称为“金氏黑手党”。金钟基本人不会这么称呼这群人,但对韩国的半导体工程师们来说,“金氏黑手党”…