机器学习理论基础到底有多可靠?

48f2638d20380b271e0f3c8b326a37fe.png

来源:机器学习算法与Python实战

选自:aidancooper.co.uk   

作者:Aidan Cooper

编译:机器之心 

知其然,知其所以然。

机器学习领域近年的发展非常迅速,然而我们对机器学习理论的理解还很有限,有些模型的实验效果甚至超出了我们对基础理论的理解。

目前,领域内越来越多的研究者开始重视和反思这个问题。近日,一位名为 Aidan Cooper 的数据科学家撰写了一篇博客,梳理了模型的实验结果和基础理论之间的关系。以下是博客原文:

机器学习领域中,有些模型非常有效,但我们并不能完全确定其原因。相反,一些相对容易理解的研究领域则在实践中适用性有限。本文基于机器学习的效用和理论理解,探讨各个子领域的进展。

这里的「实验效用」是一种综合考量,它考虑了一种方法的适用性广度、实施的难易程度,以及最重要的因素,即现实世界中的有用程度。有些方法不仅实用性高,适用范围也很广;而有些方法虽然很强大,但仅限于特定的领域。可靠、可预测且没有重大缺陷的方法则被认为具有更高的效用。

所谓理论理解,就是要考虑模型方法的可解释性,即输入与输出之间是什么关系,怎样才能获得预期的结果,这种方法的内部机制是什么,并考量方法涉及文献的深度和完整性。

理论理解程度低的方法在实现时通常会采用启发式方法或大量试错法;理论理解程度高的方法往往具有公式化的实现,具有强大的理论基础和可预测的结果。较简单的方法(例如线性回归)具有较低的理论上限,而更复杂的方法(例如深度学习)具有更高的理论上限。当谈到一个领域内文献的深度和完整性时,则根据该领域假设的理论上限来评估该领域,这在一定程度上依赖于直觉。

我们可以将效用矩阵构造为四个象限,坐标轴的交点代表一个假设的参考领域,具有平均理解和平均效用。这种方法使得我们能够根据各领域所在的象限以定性的方式解释它们,如下图所示,给定象限中的领域可能具有部分或全部该象限对应的特征。

d875109ff0a1d5b693ce5007d4b12a14.png

一般来说,我们期望效用和理解是松散相关的,使得理论理解程度高的方法比理解程度低的更有用。这意味着大多数领域应位于左下象限或右上象限。远离左下 - 右上对角线的领域代表着例外情况。通常,实际效用应落后于理论,因为将新生的研究理论转化为实际应用需要时间。因此,该对角线应该位于原点上方,而不是直接穿过它。

2022 年的机器学习领域

并非上图所有领域都完全包含在机器学习 (ML) 中,但它们都可以应用于 ML 的语境中或与之密切相关。许多被评估的领域是重叠的,并且无法清晰地描述:强化学习、联邦学习和图 ML 的高级方法通常基于深度学习。因此,我考虑了它们理论与实际效用的非深度学习方面。

右上象限:高理解、高效用

线性回归是一种简单、易于理解且高效的方法。虽然经常被低估和忽视。,但它的使用广度和透彻的理论基础让其处于图中右上角的位置。

传统的机器学习已经发展为一个高度理论理解和实用的领域。复杂的 ML 算法,例如梯度提升决策树(GBDT),已被证明在一些复杂的预测任务中通常优于线性回归。大数据问题无疑就是这种情况。可以说,对过参数化模型的理论理解仍然存在漏洞,但实现机器学习是一个精细的方法论过程,只要做得好,模型在行业内也能可靠地运行。

然而,额外的复杂性和灵活性确实会导致出现一些错误,这就是为什么我将机器学习放在线性回归的左侧。一般来说,有监督的 机器学习比它的无监督 * 对应物更精细,更有影响力,但两种方法都有效地解决了不同的问题空间。

贝叶斯方法拥有一群狂热的从业者,他们宣扬它优于更流行的经典统计方法。在某些情况下,贝叶斯模型特别有用:仅点估计是不够的,不确定性的估计很重要;当数据有限或高度缺失时;并且当您了解要在模型中明确包含的数据生成过程时。贝叶斯模型的实用性受到以下事实的限制:对于许多问题,点估计已经足够好,人们只是默认使用非贝叶斯方法。更重要的是,有一些方法可以量化传统 ML 的不确定性(它们只是很少使用)。通常,将 ML 算法简单地应用于数据会更容易,而不必考虑数据生成机制和先验。贝叶斯模型在计算上也很昂贵,并且如果理论进步产生更好的采样和近似方法,那么它会具有更高的实用性。

右下象限:低理解,高效用

与大多数领域的进展相反,深度学习取得了一些惊人的成功,尽管理论方面被证明从根本上难以取得进展。深度学习体现了一种鲜为人知的方法的许多特征:模型不稳定、难以可靠地构建、基于弱启发式进行配置以及产生不可预测的结果。诸如随机种子 “调整” 之类的可疑做法非常普遍,而且工作模型的机制也很难解释。然而,深度学习继续推进并在计算机视觉和自然语言处理等领域达到超人的性能水平,开辟了一个充满其他难以理解的任务的世界,如自动驾驶。

假设,通用 AI 将占据右下角,因为根据定义,超级智能超出了人类的理解范围,可以用于解决任何问题。目前,它仅作为思想实验包含在内。

7296c4d83dbfac42c41969c3d7597d06.png

每个象限的定性描述。字段可以通过其对应区域中的部分或全部描述来描述

左上象限:高理解,低效用

大多数形式的因果推理不是机器学习,但有时是,并且总是对预测模型感兴趣。因果关系可以分为随机对照试验 (RCT) 与更复杂的因果推理方法,后者试图从观察数据中测量因果关系。RCT 在理论上很简单并给出严格的结果,但在现实世界中进行通常既昂贵又不切实际——如果不是不可能的话——因此效用有限。因果推理方法本质上是模仿 RCT,而无需做任何事情,这使得它们的执行难度大大降低,但有许多限制和陷阱可能使结果无效。总体而言,因果关系仍然是一个令人沮丧的追求,其中当前的方法通常不能满足我们想要提出的问题,除非这些问题可以通过随机对照试验进行探索,或者它们恰好适合某些框架(例如,作为 “自然实验” 的偶然结果)。

联邦学习(FL)是一个很酷的概念,却很少受到关注 - 可能是因为它最引人注目的应用程序需要分发到大量智能手机设备,因此 FL 只有两个参与者才能真正研究:Apple 和谷歌。FL 存在其他用例,例如汇集专有数据集,但协调这些举措存在政治和后勤挑战,限制了它们在实践中的效用。尽管如此,对于听起来像是一个奇特的概念(大致概括为:“将模型引入数据,而不是将数据引入模型”),FL 是有效的,并且在键盘文本预测和个性化新闻推荐等领域有切实的成功案例. FL 背后的基本理论和技术似乎足以让 FL 得到更广泛的应用。

强化学习(RL)在国际象棋、围棋、扑克和 DotA 等游戏中达到了前所未有的能力水平。但在视频游戏和模拟环境之外,强化学习还没有令人信服地转化为现实世界的应用程序。机器人技术本应成为 RL 的下一个前沿领域,但这并没有实现——现实似乎比高度受限的玩具环境更具挑战性。也就是说,到目前为止,RL 的成就是鼓舞人心的,真正喜欢国际象棋的人可能会认为它的效用应该更高。我希望看到 RL 在将其置于矩阵右侧之前实现其一些潜在的实际应用。

左下象限:低理解,低效用

图神经网络(GNN)现在是机器学习中一个非常热门的领域,在多个领域都取得了可喜的成果。但是对于其中许多示例,尚不清楚 GNN 是否比使用更传统的结构化数据与深度学习架构配对的替代方法更好。数据自然是图结构的问题,例如化学信息学中的分子,似乎具有更引人注目的 GNN 结果(尽管这些通常不如非图相关的方法)。与大多数领域相比,用于大规模训练 GNN 的开源工具与工业中使用的内部工具之间似乎存在很大差异,这限制了大型 GNN 在这些围墙花园之外的可行性。该领域的复杂性和广度表明理论上限很高,因此 GNN 应该有成熟的空间并令人信服地展示某些任务的优势,这将导致更大的实用性。GNN 也可以从技术进步中受益,因为图目前不能自然地适用于现有的计算硬件。

可解释的机器学习(IML)是一个重要且有前途的领域,并继续受到关注。SHAP 和 LIME 等技术已经成为真正有用的工具来询问 ML 模型。然而,由于采用有限,现有方法的效用尚未完全实现——尚未建立健全的最佳实践和实施指南。然而,IML 目前的主要弱点是它没有解决我们真正感兴趣的因果问题。IML 解释了模型如何进行预测,但没有解释基础数据如何与它们因果关系(尽管经常被错误地解释像这样)。在取得重大理论进展之前,IML 的合法用途大多仅限于模型调试 / 监控和假设生成。

量子机器学习(QML)远远超出我的驾驶室,但目前似乎是一个假设性的练习,耐心等待可行的量子计算机可用。在那之前,QML 微不足道地坐在左下角。

渐进式进步、技术飞跃和范式转变

领域内主要通过三种主要机制来遍历理论理解与经验效用矩阵(图 2)。

6db84add8ad07b239aa9edd5b3b99c2e.png

字段可以遍历矩阵的方式的说明性示例。

渐进式进展是缓慢而稳定的进展,它在矩阵的右侧向上移动英寸场。过去几十年的监督机器学习就是一个很好的例子,在此期间,越来越有效的预测算法被改进和采用,为我们提供了我们今天喜欢的强大工具箱。渐进式进步是所有成熟领域的现状,除了由于技术飞跃和范式转变而经历更剧烈运动的时期之外。

由于由于技术的飞跃,一些领域看到了科学进步的阶梯式变化。* 深度学习 * 领域并没有被它的理论基础所解开,这些基础是在 2010 年代深度学习热潮之前 20 多年发现的——它是由消费级 GPU 支持的并行处理推动了它的复兴。技术飞跃通常表现为沿经验效用轴向右跳跃。然而,并非所有以技术为主导的进步都是飞跃。今天的深度学习的特点是通过使用更多的计算能力和越来越专业的硬件训练越来越大的模型来实现渐进式进步。

在这个框架内科学进步的最终机制是范式转变。正如托马斯 · 库恩(Thomas Kuhn)在他的著作《科学革命的结构》中所指出的,范式转变代表了科学学科的基本概念和实验实践的重要变化。Donald Rubin 和 Judea Pearl 开创的因果框架就是这样一个例子,它将因果关系领域从随机对照试验和传统统计分析提升为更强大的数学化学科,形式为因果推理。范式转变通常表现为理解的向上运动,这可能会跟随或伴随着效用的增加。

然而,范式转换可以在任何方向上遍历矩阵。当神经网络(以及随后的深度神经网络)将自己确立为传统 ML 的独立范式时,这最初对应于实用性和理解力的下降。许多新兴领域以这种方式从更成熟的研究领域分支出来。

预测和深度学习的科学革命

总而言之,以下是我认为未来可能发生的一些推测性预测(表 1)。右上象限中的字段被省略,因为它们太成熟而看不到重大进展。

a81e6079f800e31b20913fb009051023.png

表 1:机器学习几大领域未来进展预测。

然而,比个别领域如何发展更重要的观察是经验主义的总体趋势,以及越来越愿意承认全面的理论理解。

从历史经验上看,一般是理论(假设)先出现,然后再制定想法。但深度学习引领了一个新的科学过程,颠覆了这一点。也就是说,在人们关注理论之前,方法就有望展示最先进的性能。实证结果为王,理论是可选的。

这导致了机器学习研究中系统的广泛博弈,通过简单地修改现有方法并依靠随机性来超越基线,而不是有意义地推进该领域的理论,从而获得了最新的最新成果。但也许这就是我们为新一波机器学习繁荣付出的代价。

41675186c893c232a1854c2cebe4be9b.png

图 3:2022 年深度学习发展的 3 个潜在轨迹。

深度学习是否不可逆转地以结果为导向的过程并将理论理解降级为可选的 2022 年可能是转折点。我们应该思考如下几个问题:

理论突破是否会让我们的理解赶上实用性,并将深度学习转变为像传统机器学习一样更有条理的学科?

现有的深度学习文献是否足以让效用无限地增加,仅仅通过扩展越来越大的模型?

或者,一个经验性的突破会带领我们进一步深入兔子洞,进入一种增强效用的新范式,尽管我们对这种范式了解得更少?

这些路线中的任何一条都通向通用人工智能吗?只有时间能给出答案。

原文链接

https://www.aidancooper.co.uk/utility-vs-understanding/?continueFlag=b96fa8ed72dfc82b777e51b7e954c7dc

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

14fb5e1e65d7c248b4473966fc168d06.png

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/482508.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

07.MyBatis中的关联查询

关联查询&#xff1a; 一对一&#xff1a; 两种方式实现: 1.通过业务扩展的方式进行一对一查询&#xff0c;新建一个实体类&#xff0c;继承其中属性多的一个&#xff0c;然后写上另一个类中的属性&#xff1a; 实体类: 映射文件: 1 <!-- 业务扩展的方式进行一对一查询&…

黄仁勋回应放弃收购Arm:公司战略并没有太大改变

来源&#xff1a;网易智能2月21日消息&#xff0c;芯片巨头英伟达不久前公布了2022财年第四财季财报&#xff0c;显示其营收较上年同期猛增53%&#xff0c;游戏、数据中心和专业可视化市场平台也都实现了创纪录的收入。财报发布后&#xff0c;该公司首席执行官黄仁勋接受美国科…

无生命的AI算不上「智能」

来源&#xff1a;AI前线作者&#xff1a;Ben Dickson译者&#xff1a;王强策划&#xff1a;刘燕什么是智能&#xff1f;以非常快的速度解决复杂的数学问题就算智能吗&#xff1f;在国际象棋中击败世界冠军的力量算智能吗&#xff1f;分辨图像中数千个不同对象的能力算智能吗&am…

MySQL 练习 创建表格2

|--需求说明 #实践课&#xff0c;使用SQL语句创建成绩表#要求&#xff1a;在数据库myschool中&#xff0c;使用SQL语句创建成绩表result&#xff0c;result的结构表见书上 |--实现思路 采用创建表的语句完成 |--代码内容 #实践课&#xff0c;使用SQL语句创建成绩表 #要求&#…

前沿速递:因果涌现在多种因果衡量标准下普遍存在

来源&#xff1a; 集智俱乐部作者&#xff1a;陈昊编辑&#xff1a;邓一雪导语因果涌现理论指出&#xff0c;在宏观尺度下观察复杂系统可以减少因果关系中的噪声&#xff0c;从而得到具有更强因果关联的系统。目前该理论已经在有效信息和整合信息的因果度量标准下得到的验证&am…

类脑计算的一大突破 BrainScaleS-2

来源&#xff1a;混沌巡洋舰今天最成功的人工智能算法&#xff0c;人工神经网络&#xff0c;是基于我们大脑中错综复杂的真实神经网络。但与我们高效的大脑不同的是&#xff0c;在计算机上运行这些算法消耗了惊人的能量: 最大型的模型在训练全过程中消耗的能量几乎相当于五辆汽…

委托、Lambda表达式、事件系列07,使用EventHandler委托

谈到事件注册&#xff0c;EventHandler是最常用的。 EventHandler是一个委托&#xff0c;接收2个形参。sender是指事件的发起者&#xff0c;e代表事件参数。 □ 使用EventHandler实现猜拳游戏 使用EventHandler实现一个猜拳游戏&#xff0c;每次出拳&#xff0c;出剪刀、石头、…

2022年国家自然科学基金指南发布情况

来源&#xff1a;锐动源编辑部近日&#xff0c;2022年国家自然科学基金部分项目申报指南已陆续发布。据不完全统计&#xff0c;截至目前2022年国家自然科学基金已发布32个项目的申报指南&#xff0c;其中“国家自然科学基金委员会与日本学术振兴会合作与交流项目”已发布获资助…

最简单概率论的五个智慧

来源 &#xff1a;罗辑思维在我认为人人都应该学一些概率知识&#xff0c;它现在是公民的必备知识。现在的世界比过去复杂得多&#xff0c;其中有大量不确定性&#xff0c;是否理解概率&#xff0c;直接决定一个人的开化程度。01随机&#xff1a;有些事情是无缘无故地发生的这个…

谷歌AI一次注释了10%的已知蛋白质序列,超过人类十年研究成果

来源&#xff1a;ScienceAI编辑 &#xff1a;泽南、张倩和 AlphaFold 不同&#xff0c;这次谷歌探索的是用深度学习给蛋白质打上功能标签。蛋白质是组成人体一切细胞、组织的重要成分。机体所有重要的组成部分都需要有蛋白质的参与。目前已知存在的蛋白质种类有数十亿&#xff…

你真的了解计算生物学和AI for Science吗?

来源&#xff1a;量子位Q1&#xff1a;AlphaFold2的最大意义是什么&#xff1f;A1&#xff1a;这个看似突破性的进展&#xff0c;其实是技术演进的必然结果。 此外&#xff0c;如果我们换个视角来看待这个问题&#xff0c;蛋白质结构预测仅仅是计算生物学这个大门类里面一个相对…

Stephen Wolfram专访Judea Pearl:从贝叶斯网络到元胞自动机

来源&#xff1a; 集智俱乐部编译&#xff1a;闫和东、徐培 编辑&#xff1a;邓一雪 导语2022年人工智能与数学国际研讨会&#xff08;ISAIM 2022&#xff09;恰逢著名计算机科学家、贝叶斯网络之父 Judea Pearl 85岁生日&#xff0c;会议期间Mathematica创始人 Stephen Wolfra…

day32 并发编程之锁

并发编程之锁 1. GIL全局解释器锁 2. GIL与普通的互斥锁 3. 死锁 4. 信号量 5. event事件 6. 线程q 1. GIL全局解释器锁 """ In CPython, the global interpreter lock, or GIL, is a mutex that prevents multiple native threads from executing Python bytec…

马斯克Neuralink被曝“虐杀实验猴”,140万元美金项目遭谴责

来源&#xff1a; 学术头条作者&#xff1a;刘芳编辑&#xff1a;黄珊2021 年 4 月&#xff0c;马斯克公布了一段猴子用意念玩乒乓球游戏的视频&#xff0c;一时间为他旗下的脑机接口公司 Neuralink 赚足了眼球。然而最近&#xff0c;这些被用来做脑机接口实验的猴子的经历&…

死前真的会有「跑马灯」,人类首次同步测量大脑濒死状态

来源&#xff1a;新智元编辑&#xff1a;袁榭 好困或许&#xff0c;人死前可能真会眼前出现人生跑马灯&#xff01;最近&#xff0c;神经科学家在记录了一个濒临死亡的人类大脑的活动之后发现&#xff0c;人在死亡前后有节奏的脑电波模式与做梦、回忆记忆和冥想时出现的模式相似…

七牛图片盲水印

注意 暂时不支持从 dora 数据处理直接调该接口&#xff0c;只支持从 kodo 存储调用。即 cdn 域名不可开通图片瘦身调用形式 资源 http://i.iamlj.com/19-08-12/123936.png 处理参数 watermark/6/method/encode/text/aGVsbG8gcWluaXU 新图 http://i.iamlj.com/19-08-12/123936-w…

「最小细胞」的3D数字模型,计算揭示生命最基本的要求

来源&#xff1a;ScienceAI编辑&#xff1a;萝卜皮无论是海洋深处的奇异生物还是我们体内的细菌&#xff0c;地球上的所有生命都是由细胞组成的。但我们对这些细胞中最简单的细胞如何运作只有一个非常粗略的了解。伊利诺伊大学厄巴纳-香槟分校的一个团队创建了有史以来最完整的…

Yann LeCun最新发声:自监督+世界模型,让 AI 像人类与一样学习与推理

来源&#xff1a;AI科技评论作者&#xff1a;维克多、西西、王晔编辑&#xff1a;陈彩娴如何突破当代人工智能&#xff08;AI&#xff09;的瓶颈&#xff1f;不同学者存在不同观点。总体来看可以概括为两类&#xff0c;其一监督学习者&#xff0c;提倡通过改善数据标签质量&…

两大头号玩家 一个伟大愿景: 联邦学习的元生态建设美好世界

来源&#xff1a;IEEE标准协会新年伊始&#xff0c;世界领先的标准制定机构IEEE标准协会牵头&#xff0c;组织了2022年度联邦学习领域首场重量级尖峰交流活动——联邦学习首创团队带头人、谷歌研究院副总裁Blaise Agura y Arcas博士&#xff0c;与联邦学习亚洲奠基人、IEEE联邦…

物理学的过去、现在与未来

来源&#xff1a;中科院之声&#xff08;ID:zkyzswx&#xff09;、《物理》杂志、中国物理学会期刊网作者&#xff1a;冯端&#xff08;我国著名物理学家、金属和晶体材料学家、教育家&#xff0c;中国科学院院士、第三世界科学院院士、第五届中国物理学会理事长&#xff0c;南…