图灵奖得主Judea Pearl谈机器学习:不能只靠数据

来源:选自Journal of Causal Inference

作者:Judea Pearl

编译:机器之心

编辑:Panda

在当前的人工智能研究社区,以数据为中心的方法占据了绝对的主导地位,并且这类方法也确实成就非凡,为语音识别、计算机视觉和自然语言处理等重要任务都带来了突破性的进展。即便如此,也一直有研究者在思考这类方法的不足之处以及其它方法的重要价值。近日,图灵奖获得者、著名计算机科学家和哲学家 Judea Pearl 发布了一篇短论文,从便利性、透明度、可解释性三个角度谈了他对激进经验主义和机器学习研究的思考。

 

论文链接:

https://ftp.cs.ucla.edu/pub/stat_ser/r502.pdf

在这篇论文中,Judea Pearl 将沿便利性、透明度和可解释性三个维度对比用于数据科学的「数据拟合(data fitting)」与「数据解释(data interpreting)」方法。「数据拟合」方法的信念源自研究者相信理性决策就隐藏在数据本身之中。相较而言,数据解释学派却并不将数据视为唯一的知识来源,而是一种用于解读现实的辅助手段——这里的「现实」是指生成数据的过程。文章将在因果逻辑的指引下,探讨拟合与解释在任务方面的共生关系,以此让数据科学恢复平衡。  

模拟进化与数据科学

我最近参加了一个讲座,演讲者这样总结了机器学习的哲学思想:「所有知识均源自所观察到的数据,有些直接来自感官经验,有些则来自通过文化或基因方式传递给我们的非直接经验。」

观众会觉得这样的称述是不证自明的,其也为该演讲奠定了基调,即可以如何通过检查数据中条件概率的模式来分析「知识」的本质。很自然,它没有涉及到「外部世界」、「理论」、「数据生成过程」、「因果」、「能动性」和「心智构造」等概念,因为从表面上看,如有需要,这些概念也能在数据中找到。换句话说,不管人类在解释数据时会用到什么概念,比如有关来源的文化、科学或基因上的概念,都可以追溯到让这些概念有存在价值的初始感觉经验并且还能从这些感官经验重新推衍出来。

从人工智能的角度看,这种以数据为中心的哲学为机器学习研究提供了一种有吸引力的乃至极具诱惑力的研究前景:为了开发人类水平的智能机器,我们应该仅遵循我们祖先获得智能的方式,将我们可能收集到的所有数据用作输入,在数字机器上同时模拟基因进化和文化进化。在极端情况下,这样的前景可能激发出相当未来主义和雄心勃勃的情形:从一个类似原始生物(比如变形虫)的简单神经网络开始,让它与环境交互,变异并产生后代,给予其足够的时间,它最终就能获得爱因斯坦水平的智能。事实上,除了神圣的经文和神明的启示,如果没有自古以来一直冲击着人类种族的原始数据流(当然也包括人类之前那些更原始的生物获得的感官输入),爱因斯坦又能从其它什么地方获得他的知识、才能和智慧呢?

   

在问这样的前景有多现实之前,我们先在讨论之前看两个观察所知的情况:

  1. 模拟进化,不管是哪种具体形式,事实上都引领着当前大多数机器学习研究的主要范式,尤其是那些涉及到连接主义、深度学习和神经网络技术的范式。这些技术可以部署无模型的、基于统计学的学习策略。这些策略在计算机视觉、语音识别和自动驾驶汽车等应用中已经取得了亮眼的成功。这样的成功激发了对这些策略的充分性和无限潜力的希望,同时也削弱了人们对基于模型的方法的兴趣。

  2. 以数据为中心的发展方向的思想根基深深根植于西方哲学的经验主义分支。该哲学分支认为:感官体验是我们所有概念和知识的最终来源,而「先天观念」和「理性」在作为知识来源方面仅能发挥少许作用,乃至毫无作用。经验主义思想可以追溯到古代亚里士多德的著作,但将经验主义发扬光大的则是英国经验主义哲学家弗朗西斯 · 培根、约翰 · 洛克、乔治 · 贝克莱和大卫 · 休谟以及更近期的哲学家查尔斯 · 桑德斯 · 皮尔士(Charles Sanders Peirce)和威廉 · 詹姆斯(William James)。事实上,现代连接主义已被视为激进经验主义相对于理性主义的一大胜利。实际上,在数字机器上模拟知识习得过程的能力提供了非常灵活的测试平台,可让人通过在数字机器上执行实验来评估有关经验主义和天赋能力(innateness)之间平衡的理论。

尽管测试哲学理论有其好处,但对于为机器学习研究遵循激进经验主义议程的思想,我有三个主要的保留意见。我将通过三个论点来说明为什么经验主义应该与基于模型的科学的原理保持平衡。而对于基于模型的科学,学习过程受两大信息来源指引:(a) 数据,(b) 人工设计的有关数据生成方式的模型。  

我将这三个论点标记为:(1) 便利性、(2)透明度、(3)可解释性。将在下文逐一讨论它们:

便利性

进化是一个过于缓慢的过程,因为大多数突变都是无用乃至有害的,并且等待自然选择区分并从无用突变中过滤出有用突变往往也具有难以承受的成本。大量机器学习任务都需要对稀疏的新数据进行快速解读并快速响应,而这些新数据又实在过于稀疏,以至于无法通过随机突变来过滤。新冠疫情的爆发就是这一情况的完美例证:来自不可靠和各式各样来源的稀疏数据需要快速解读和快速行动,它们主要基于之前的流行病传播和数据生成模型。总体而言,机器学习技术有望利用大量已经存在的科学知识,结合可以收集到的数据,从而解决健康、教育、生态和经济等领域的关键社会问题。

更重要的是,科学知识可通过主动引导数据和数据源的选择或过滤过程来加快进化速度。选择使用哪些数据或运行哪些实验前,需要从理论上假设性地考虑每种选择会得到怎样的结果以及它们在未来提升性能的可能性。举个例子,为了提供这样的预期,可使用因果模型,其既能预测假设性操作的结果,也能预测违反事实情况地撤销过去事件的后果。

    

透明度

为了最终能使用世界知识(即便是自原始数据自发演化而来的世界知识),我们必须以某种机器形式对其进行编译和表征。编译知识的目的是将发现过程分摊到许多推理任务上,从而无需重复这个过程。然后,编译后的表征有助于高效地得到许多选择性决策问题的答案,包括有关如何收集额外数据的方式的问题。某些表征允许这样的推理,另一些则不允许。《为什么:关于因果关系的新科学》一书中提出的因果关系层级(adder of Causation)形式化地定义了用于回答有关假设性干预和 / 或解释以及反事实的问题所需的知识内容的类型。

知识编译涉及到抽象和重新格式化。前者允许损失信息(正如图像模型归纳为数值方程的情况),而后者会保留信息内容,只是会将一些信息从隐式转变成显式的表征。举一个经典的例子:信号波形的频谱表示。从信息角度看,前者等价于后者,但频谱明确表示了信号的特定方面。

这些需要考虑之处要求我们研究所编译的表征的数学性质、它们的内在局限性、它们支持的推理类型以及它们在得到它们期望得到的答案上的效果。用更具体的术语说,机器学习研究者也应该参与现在被称为「因果建模(causal modelling)」的研究,并使用因果科学的工具和原则来指导数据探索和数据解释过程。    

可解释性

不管积累、发现或存储因果知识的方式如何,由知识推动实现的推理都要交付给人类用户并让其获益。现如今,这些用途包括政策评估、个人决策、生成解释、分配功劳和责罚或广义地认知我们周围的世界。因此,所有推理都必须用一种与人们自身组织世界知识的方式相匹配的语言进行描述,也即因果的语言。因此,不管机器学习研究者为数据拟合采用了怎样的方法,他们都必须熟练掌握这种对用户友好的语言、其语法、其普遍规则以及人们解读或误读机器学习算法发现的功能的方式。

结论

将人类知识的内容与其感官数据来源等同起来是错误的。对于知识的特征描述而言,知识存储于心智(或计算机)中的格式及(尤其是)其隐式与显式组分的平衡是与其内容或来源一样重要的。

尽管激进经验主义可能是进化过程的一个有效模型,但它对机器学习研究而言却是一个糟糕的策略。它让以数据为中心的思潮大行其道,而这一思潮当前主导了统计学和机器学习文化。这一思潮认为:理性决策的秘诀仅在于数据。

「数据拟合」和「数据解释」平衡的混合策略能更好地让我们把握进化过程所需的知识编译的各个阶段。

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)大脑研究计划,构建互联网(城市)大脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/484273.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

计算机网络(二)-性能指标

一、计算机网络性能指标 1.时延 1.1 指数据(报文/分组/比特流)从网络(或链路)的一端传送到另一端所需的时间。也叫延迟或迟 延。单位是s。 数据到达路由器是,需要等待,产生排队时延,在路由器里面需要处理数据,包括检错和查找输…

axios请求本地的json文件在打包部署到子目录域名下,路径找不到

前言: 因为要同时部署两个项目,有一个是部署到域名下面的子目录下,如:https://xxx.com/siot-admin vue 项目中使用axios请求了本地项目的static文件夹下的json文件,使用npm run build 打包后,json文件请求不…

中国集成电路设计产业创新发展的认识和思考

来源:半导体行业观察 7月15日—16日,2021中国集成电路设计创新大会暨IC应用博览会在苏州召开。在本次大会高峰论坛上,中国集成电路设计创新联盟专家组组长、东南大学首席教授、南京集成电路产业服务中心(ICisC)主任、…

计算机网络(三)-体系结构

一.分层结构 1.分层的基本原则 各层之间相互独立,每层只实现一种相对独立的功能。每层之间界面自然清晰,易于理解,相互交流尽可能少。结构上可分割开,每层都采用最适合的技术来实现。保持下层对上层的独立性,上层单向…

基于SpringBoot项目的https

基于SpringBoot项目的https 在spring中配置项目运行的端口很简单。 在application.properties中 server.port: 8080 这样配置后,spring boot内嵌的tomcat服务器就是跑在8080端口启动http服务。但是如果在配置中启动https服务,用到的端口也是server.port。…

数年沉寂之后,VR/AR产业开始起飞!

来源:先进制造业现在,“新基建”已成为拉动投资、促进消费、稳定就业和提升综合实力的重要抓手,如何加载高质量的业务生态成为释放新基建发展动能的关键。当前,以虚拟现实VR(包含增强现实AR)为代表的未来视…

计算机网络(四)-奈氏准则和香农公式

一.奈氏准则 1.失真 1.1 在现实中信道,受到带宽限制,噪声,干扰等的影响,使信号失真。 1.2 影响失真程度的因素: 码元传输速率信号传输距离噪声干扰传输媒体质量 1.3 失真的一种现象------码间串扰 1)对于低频信号&…

珍藏版:3万字详解mRNA疫苗

来源:周观宇论撰文:邓周宇摘要新冠疫情的持续凸显了疫苗的重要性以及全球对疫苗的迫切需求。借此契机,mRNA疫苗登上了舞台,并以极高的保护率成为所有新冠疫苗种类中热度最高的C位选择。本报告介绍分析了mRNA疫苗相较于其他技术路径…

计算机网络(五)-物理层

一.物理层 1.基本概念 1.1 物理层解决如何在连接各种计算机的传输媒体上传输数据比特流,而不是指具体的传输媒体。 1.2 物理层主要任务:确定与传输媒体接口有关的一些特性,即定义标准。 机械特性:定义物理连接的特性&#xff0c…

从脑瘫患者重获交流到免开颅微创,脑机接口更安全了吗?

来源:燕良脑机接口技术作为一项前沿而又酷炫的技术,一直备受瞩目,近日,脑机接口技术取得了高价值进展,从大脑活动中解码完整句子,使得瘫痪失语者可以交流,让很多人看到了曙光。该项目是Facebook…

计算机网络(六)-传输介质

一.传输介质 1.1 传输介质也称传输媒体/传输媒介,它就是数据传输系统中在发送设备和接收设备之间的物理通路。 1.2 传输媒体并不是物理层。传输媒体在物理层的下面,因为物理层是体系结构的第一层,因此有时称传输媒体为第0层。 1.3 传输媒体…

SpringBoot项目中,Redis的初次使用

1.引入Redis依赖包&#xff0c;在application.yml中配置redis <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-redis</artifactId></dependency> Spring:redis:host: 192.168.1.105port: …

AI不会很快取代作家——但未来可能比你想象的更近

来源&#xff1a;Forbes编译&#xff1a;科技行者能够创作内容的人工智能是一种过度炒作吗&#xff1f;还是所有的作家最终都将被机器人取代&#xff1f;企业并不一定需要更多的内容&#xff0c;但他们需要的是更好的内容。 在很多企业的简化内容营销和管理工作中&#xff0c;人…

计算机网络(七)-物理层设备

一.中继器 1.1 功能&#xff1a;对数字信号进行再生和还原&#xff0c;保持与原数据相同&#xff0c;以增加信号传输距离&#xff0c;延长网络的长度。 1.2 中继器的两端 两端的网络部分是网段&#xff0c;不是子网&#xff0c;适合完全相同的两类网络的互连&#xff0c;且两…

jquery的全选和多选操作

//全选产品 $(#checkAll).click(function() { $(this).prop(checked,!$(this).prop(checked)); if($(this).prop(checked)) { $(this).prop(checked,false); $(#getProduct input).each(function(index,item) { $(item).prop(checked,false) }) }else { $(this).prop(checked,t…

计算机网络(八)-数据链路层-帧封装

一.数据链路层 1.1 基本概念 结点:主机、路由器链路&#xff1a;网络中两个结点之间的物理通道&#xff0c;链路的传输介质主要有双绞线、光纤和微波。分为有线链路和无线链路。数据链路&#xff1a;网络中两个结点之间的逻辑通道&#xff0c;把实现控制数据传输协议的硬件和…

世界首富太空争霸:从地上斗到天上,马斯克VS贝索斯,谁能赢

来源&#xff1a;腾讯新闻棱镜作者&#xff1a;王凡编辑&#xff1a;杨布丁以2043亿美元个人资产位列全球首富的杰夫贝索斯(Jeff Bezos)也有“既生瑜、何生亮”的时刻。过去几十年,贝索斯和马斯克分别以“新物种”颠覆了传统零售和传统车企,以碾压之势席卷了整个行业。亚马逊和…

计算机网络物理层-编码技术实现

一.编码技术 编码技术描述归零编码(RZ)信号电平在一个码元内要恢复到0状态非归零编码(NRZ)高1低0反向不归零编码(NRZI)前后信号翻转表示后面一个码元为0&#xff0c;电平不变代表1曼彻斯特编码一个码元内&#xff0c;前高后低位1&#xff0c;前低后高为0差分曼彻斯特编码码元为…

神经网络的可解释性综述

报道&#xff1a;人工智能前沿讲习 作者&#xff1a;知乎—机器学习小谈地址&#xff1a;https://zhuanlan.zhihu.com/p/368755357本文以 A Survey on Neural Network Interpretability 读后感为主&#xff0c;加上自身的补充&#xff0c;浅谈神经网络的可解释性。论文&#x…

大数据技术原理与应用-概述

一.大数据概述 (一)大数据概念 1.技术支撑&#xff1a;存储、计算、网络。 2.数据产生方式 第一阶段&#xff1a;运营式系统阶段第二阶段&#xff1a;用户原创内容阶段第三阶段&#xff1a;感知式系统阶段(物联网的实现普及) 3.大数据的特性(4V) 快速化(variety) 处理速度…