因果学习的三个层次

来源:混沌巡洋舰

昨天龚鹤扬博士在集智的讲座因果学习综述,我借此机会结合我的理解给大家总结客串下这个讲座,和因果学习的核心内容,及巡洋舰一段时间关于因果的文章汇总。

这个讲座分为三部分,第一是什么因果及其哲学基础,第二是统计学中的因果, 第三是机器学习中的因果。

一, 哲学中的因果以及因果科学的定义

因果已经成为我们最重要的认知工具, 而且被认为是下一代AI革命的重要引擎之一。那么究竟什么是因果?用一句话说:因果是当某个变量T改变的时候,在保持其它变量不变的时候, 它是如何导致另一个变量Y改变的(由此我们看出因果的有向性,因果可以独立作用)。

即使是从这个定义里我们也可以立刻看到,如果和相关性进行比较, 我们看到这里的区别一在于改变, 二在于其它变量不变, 这就是说英国是A到B产生的效应,而非仅仅是A

和B的关联, 它具有明确的方向性和干预属性。这种定义的方法包含了干预主义的核心思想,因此也称为interventionist

而古往今来的哲学讨论里,另一个核心观点在于反事实的因果观念, 这个观念说的是当假设过去的其它事情不发生,是否有一个因子导致了最终的结果不会发生。这里我立刻想到类似于法律案件判断的一种基本思维,那就是指定某个人有罪与否的通常思维是假定他没有做出某个行为最后罪行的结果还是否会出现。

然而这种因果思维通常存在严重的漏洞,比如下面的例子:

A和B一起用石头扔瓶子,A的石头恰好击中了瓶子碎了。那么如果A不去用石头打瓶子似乎它也会碎, 你可以因此去说A的石头不是瓶子碎的原因吗?如果我们深思,类似的悖论还很多, 比如你和你女友n次吵架最后分手了, 那么如果没有第n次吵架你们也许不会分手, 你可以说第n次吵架就是分手的原因吗?

因此对于因果问题的定义是一个细思恐极的事情,我们看似懂了实际不懂。然而只要它是一种方便的思维工具, 我们还会每天不假思索的用下去而且不着急。事实上唯一严格定义清晰的因果是在物理学, 物理学的因果的基础是相互作用, 而相互作用的结果只有最终在时间维度上体现, 这和我们日常方便性的因果有着本质的区别。

一个有趣的总结是我们可以把因果分成两类,一个是type causality,一个是actual causality。第一类比较类似自然科学的因果,或者某种事物作用和变化的机制, 比如滥发钞票导致通货膨胀。而另一个则和我说的现实生活中的那些鸡毛蒜皮小事的直接原因,比如刚刚举的吵架导致分手。

最终我对这里的总结是, 因果是一种工具,追求严格定义没有意义,而是取决于使用的语境。

想要初步了解因果的定义,哲学含义,我们为什么需要因果, 巡洋舰积累了不少素材,尤其是围绕Pearl的 重磅级著作 《为什么》

从相关性到因果性-读《The book of why》

自由意志和因果推理-《为什么》书摘

年度必读书-《为什么:关于因果关系的新科学》

二, 统计学上的的因果推断

假定你手里有若干变量的一堆数据,你希望从这些变量里提取出一组因果关系。这你就要做的事情是因果推断。贯穿所有因果问题共通的地方是Judea Pearl的三层框架 ,我们要在我们手里的观察数据里求解出下面三个层次。

事实上为了做到这件事我们可以采用一个非常统一一致的流程,讲这个问题过于枯燥, 这里新冠病毒死亡率是一个极好的例子, 我们知道意大利的新冠病毒死亡率高于中国, 而这是否说明意大利的医疗治愈情况弱于中国呢?好了我们用统计的方法来回答下这个问题:

1, 定义问题,把问题和已知信息转化为因果图,这个图一般是coase-grain的世界模型, 把统计上复杂的分布化作一个节点。其实这一步是非常难的,难就在确定问题相关的因子有哪些,表面上这里只有国家和死亡率两个节点,但是事实上潜在的影响因素有很多,比如年龄,性别,教育程度, 如果你仔细去研究这个问题可能要包含了社会的所有方面。所以这里抬出了统计物理的一个基本思想coase-grain,我们把问题粗粒化最后留下最重要的。最终这里选择了国家,年龄结构和死亡率这三个因素,因为年龄对死亡的影响其实比较显著。比如看下图

2, 形成因果图, 这个因果图一般包含treatment和output, 以及其它的confounder

我们把年龄,国家和死亡率三个要素画出下图的三角C代表国家,A代表年龄,M代表死亡率 然后分析这个图里的因果关系,我们看到国家通过年龄结构影响死亡率,起到了中介变量的作用,因为年纪越大的人死亡率越高。而如果需要分析单纯国家对死亡率的影响(这里包含很多因素,比如国家的医疗条件,空气污染程度),则需要阻断A来分析C到M的影响。

3, 这里就要给出和因果分析和力学里的牛顿第二定律般的do calculus。这里的思维本质就是干预,既然年龄是一个重要的中介因子, 而两个国家的年龄又是不同的。我们如果要求得单纯国家这个因素对死亡率的影响,就要把年龄这个因素控制成一样,来求解国家不同对死亡率的影响。具体的做法是把年龄分布(年龄相对国家的条件概率)假定成相同,求两个不同国家的死亡率在这个相同分布下的期望, 并取其差值。这个控制也可以看作是阻断,它阻断了国家对年龄变量的影响。最终得到了结果的确是意大利的死亡率更低!

4, 另一方面,我们可以计算由中介因子带来的间接因果效应(年龄的影响)

这一次我们要的控制的是国家这个变量, 也就是假定不同年龄段的死亡率在两个国家是相同的(以中国为标准), 看不同年龄分布对死亡概率的影响。

这里我们还观测到的有趣现象是直接因果效应和间接因果效应的和不等于死亡率, 这也暗示了这两个因子存在某种相互作用效应。

事实上统计里的因果推断的关键是消除各种偏差,这些偏差往往是因为已知或未知的中间因子的存在导致x到y的因果效应难以衡量, 比较有名的有confounder bias , selection bias, 而识别这些偏差关键是寻找不同因子背后的因果图连接(如下),阻断那些非直接的联系。

龚老师还推荐了几个非常优秀的文献:

1, Causal inference, Hernán M. A., Robins J. M. 一个非常易懂的入门手册

2, The handbook of graphical models(2018) 围绕统计因果学习的工具核心-图模型

3, Causal Inference for Statistics, Social, and Biomedical Science

介绍几种常见的因果悖论

论文速递-新冠死亡率的辛普森悖论,因果推断的一个例子

速读悖论,兼谈因果推断的重要性

相关性和因果性的比较

樱花,气候,相关性与因果性

用因果的视角看三门问题, 并用此分析华为应对美国制裁的策略

从因果的视角看三门问题与华为断供

介绍几种常见的统计因果分析方法

好书推荐-《结果与原因的经济学》极简因果推断教程

非常实用的因果推理入门手册含代码

三,基于因果的人工智能, Causal AI

这一定是如今大部分人都关注的问题, 当下的机器学习缺少因果思维, 刚刚的因果统计能否在这里助力?首先当下的AI缺少因果这一层次,即使是GPT-3这样复杂的模型, 事实上也仅仅是相关性的体现。

基于因果的人工智能一个重要体现是小图灵测试 - 也就是如何让机器来表征因果知识, 然后回答问题 。如果机器能够做到这一点,无疑是和人的接近程度大大接近。

如何让机器具备因果思维, 事实上依然是围绕如何让机器学习刚刚讲的三级因果关系, 关联, 干预 和 反事实。大家注意反事实问题在以统计为基础的机器学习里是很困难的。

这时候我们来套用机器学习的典型思维,输入一大堆数据,算法就可以推断某件事的前因后果,进行反事实推理。

这台机器就叫做因果推理引擎, 它是一个包含问题,到模型(图模型)到求解答案全过程的机器。这台机器的输入是问题,数据和假设(对核心变量因果关系的先验),把它们转化为包含因子和边的图模型(因果问题的语言), 最终通过结构方程得到需要求解问题的干预概率(do - calculus),或反事实问题(counter-factual)。

因果推理引擎可以被归纳在结构因果模型里, 这个模型就是包含节点和边的图模型,但是与之不同的是 , 结构模型用结构方程而不是条件概率描述节点和节点的关系,而是用函数形式,X = f(PA,U) PA是一组决定结果的因子, U代表未知的外界随机变量,这个定义使得因果关系的定义更加灵活,也更符号机器学习语言,同时包含条件概率对不确定性的表达能力。

以下是结构因果模型的一个基本形式,我们非常容易看到它的构建是首先需要把所研究问题的核心变量表达成一个图结构,这里研究的是当你发现草坪湿润了,你要找到这个现象背后的原因。比如气候, 洒水机工作,或者下雨。这个问题的难点在于因果关系盘根错节, 比如下雨,洒水和草坪湿润之间存在已知的因果关系(先验), 而气候又影响这两者。熟悉贝叶斯概率图模型的同学一定会熟悉这个图。这里唯一的区别是贝叶斯的条件概率被替换成为结构方程。

事实上结构方程肯定不是唯一的因果关系的表达形式, 比如动力学方程组组也可以刻画系统内的因果关系。相比动力学方程组结构因果模型的最大缺点是基于有向无环图DAG , 而对带有循环的图缺少表示能力, 动力学方程则可以。然而结构方程的形式却更加容易直接做成do calculus,同时结构因果模型也包含了某种世界运行的机理和数据生成的机制,虽然不似微分方程精确。

关于结构方程的好处最好的解释在CAUSALITY FOR MACHINE LEARNING 这篇文章里。作者写到了它和do calculus的内在联系, 以及它如何导致一个因子化的概率表示。

具体有了结构方程后,我们需要的依然是用因果分析的牛顿第二定律- do calculus来求解我们需要的干预条件概率。当然在一个复杂的因果图里节点的数量非常多, 为了分析问题的方便, 我们需要动用d-separation条件独立性, 也就是当阻断了X和Y间的中间路径(d-separate)使得X,Y变为条件独立。具体阻断的方法是阻断某个发射节点(影响x和y的共因)而同时不可以阻断接收节点(否则引入一个额外的相关性)就是下面的1条和2条。

得到d-separation之后, 我们就得到一组条件独立性,帮我们来去掉do calculus一些不必要的中间变量, 从而更好的计算干预性问题。

再看反事实推理, 有了结构因果方程,我们就可以得到如下的反事实推理步骤, 1, 溯因:

通过已知的当下结果(x,y)更新结构方程 2, 更换:把之前结构方程的事实X更换为x 3

预测:使用更新后的结构方程得到如果过去的事实按照x发生,则最终的结局 y。

大家注意反事实推理的巨大意义,它事实上是用数据反推一个世界模型,包含那些agent从未经历的状态, 从而可以在这个模型里想象无穷多的平行世界。

把因果引入机器学习将可以解决机器学习里一些最重要的困境, 比如缺少鲁棒性,无法进行外推式的泛化(就是求解数据集分布外的情况), 缺少可解释性等。而基于因果的AI某种程度都是对这些问题的对症下药, 首先,基于因果的AI掌握了一个结构方程模型,可以进行反事实推理,这本质是在解决外推问题, 掌握了因果的模型将更难被噪声干扰因为它某种程度掌握数据生成的规律, 同时有因果的模型更加符号人类认知因而更具有可解释性。

在有关因果的人工智能方面, 巡洋舰也积累了很多素材:

为了研究因果关系,原来科学家在这么多方向上都有尝试

维融入机器学习,实现信息处理的自动化

强人工智能之路中的必选项“因果”-《为什么》第十章书摘 Part1

让神经网络变得透明-因果推理对机器学习的八项助力

未来智能实验室的主要工作包括:建立AI智能系统智商评测体系,开展世界人工智能智商评测;开展互联网(城市)云脑研究计划,构建互联网(城市)云脑技术和企业图谱,为提升企业,行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣,欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/487352.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

人与机器——解析人工智能的三大类别以及哲学家的相关思想实验

来源:北京物联网智能技术应用协会你是否曾经产生过怀疑,你身边的某个人可能是个机器人呢?毕竟现在由于技术的发展,机器人的外观、行为都有可能被设置得和人类十分相像。这似乎有些荒谬和匪夷所思,但是你如何能百分之百…

MIT最新报告:完全无人驾驶仍需10年,马斯克:特斯拉已经实现

来源:机器学习研究组订阅号两年前,麻省理工学院成立了「未来工作特别小组」,这个小组目前有20多人,旨在研究「大众创新年代」的工作演变。近期,他们发表了一个最新的报告,重点关注了自动驾驶领域的进展。而…

win7 linux双系统win7启动不了怎么办,双系统windows打不开怎么办|苹果双系统win7打不开怎么解决|mac双系统打不开解决方法-系统城...

2016-03-30 19:28:38  浏览量:22401很多用户都会在电脑上安装Windows双系统甚至多系统,在开机的时候就会出现一个启动菜单让用户选择,如果没有选择将会自动启动默认的系统,那么双系统要怎么修改默认的启动项呢?今天系…

是时候抛弃旧的摩尔定律了

来源:IEEE转自:悦智网在技术领域最著名的准则之一就是摩尔定律。在过去55年的时间里,“摩尔定律”已经描述并预测了晶体管的缩小,如一组称为技术节点的数字在过去以大约每两年一次的频率更新。像一些基于物理学的世界末日时钟一样…

网络对抗技术—-网络对抗实验四

学 号:201421430008 中国人民公安大学 Chinese people’ public security university 网络对抗技术 实验报告 实验四 恶意代码技术 学生姓名 吴宙杨 年级 2014 区队 3 指导教师 高见老师 信息技术与网络安全学院 2016年11月7日 实验任务总纲 2016—20…

北大副校长詹启敏回应“25篇论文造假”,​PubPpeer到底靠不靠谱?

来源:科研大匠今日,北京大学常务副校长、北大医学部主任、中国工程院院士詹启敏在个人公众号“潇敏 ScienceArt”上发布《詹启敏关于相关情况的说明》文章,回应了昨日 DeepTech 对北京大学常务副校长詹启敏 25 篇相关论文受到学术不端质疑。事…

c语言课设报告时钟vc环境,C语言课程设计报告模拟时钟转动程序

C语言课程设计报告模拟时钟转动程序 课程设计报告题 目 课 程 名 称 结构化程序设计课程设计 院 部 名 称 专 业 班 级 学 生 姓 名 王蕾 学 号 课程设计地点 课程设计学时 指 导 教 师 金陵科技学院教务处制 程序设计综合课程设计I目 录第一章 课程设计的目的和要求 1.1 C 语言…

用人工智能监督人工 遭遇非技术困局

来源:科技日报远程办公常态化催生云监工软件市场。近日一款名为Enaible的AI监工软件销售火爆,这种AI软件不仅可以盯着员工干活,还可以对员工的工作效率进行打分……一场新冠肺炎疫情,让远程办公逐渐成为常态。钉钉、飞书、企业微信…

Windows10 【系统周期表】【系统下载表】【大型软件表】

系统周期表 商用名称商用英文名代号版本系统版本上市日期服务周期备注Windows 10无Threshold 1150710.0.10240.174432015.07.292015.07.29 - 2015.11.12默认值Windows 10十一月更新Windows 10 November UpdateThreshold 2151110.0.10586.9622015.11.122015.11.12 - 2016.08.02W…

2020年中国城市人工智能发展指数报告

来源 | 36氪研究院(转载请注明来源)编辑 | 张775大维度、20个三级指标,全面剖析中国36个城市人工智能发展情况2020年是全面建成小康社会与“十三五”规划收官之年,为了实现全面建设小康社会的发展目标、增强经济发展韧性&#xff…

c语言程序设计 函数说课,《C语言程序设计》之函数说课课件.ppt

您所在位置:网站首页 > 海量文档&nbsp>&nbsp计算机&nbsp>&nbspC/C资料《C语言程序设计》之函数说课课件.ppt16页本文档一共被下载:次,您可全文免费在线阅读后下载本文档。下载提示1.本站不保证该用户上传的文档完整性&#x…

中科院院士:40年7位诺奖得主,美国贝尔实验室做对了什么?

来源:科学网作者:夏建白本文介绍高科技的摇篮之一―― 美国贝尔实验室。本文将不具体介绍在贝尔实验室中发明晶体管、集成电路、激光器、光通信等的具体研究过程,而是介绍贝尔实验室的历届领导和管理思想,尝试探讨其取得这样重大成…

麻省理工最新报告:完全无人驾驶仍需10年

来源:机器人网、新智元两年前,麻省理工学院成立了「未来工作特别小组」,这个小组目前有20多人,旨在研究「大众创新年代」的工作演变。近期,他们发表了一个最新的报告,重点关注了自动驾驶领域的进展。而得出…

一键多功能按键识别c语言,单片机一键多功能按键识别设计

1.实验任务如图4.9.1所示,开关SP1接在P3.7/RD管脚上,在AT89S51单片机的P1端口接有四个发光二极管,上电的时候,L1接在P1.0管脚上的发光二极管在闪烁,当每一次按下开关SP1的时候,L2接在P1.1管脚上…

人工智能会取代科学家吗

来源:光明日报传统认为,科技工作因其高度的创新性,因此科技工作者很难被人工智能取代。但日前,国际学术期刊《自然》发表的一篇论文吸引了大家的眼球。科学家们改造了一种汽车装配线上常见的机器人,让它可以在化学实验…

C语言if( x)的意思,c语言中if(x)是什么意思?_后端开发

对比说明PHP7的优化提升_后端开发此篇张是我对PHP7跟PHP以前版本做的一个对比&#xff0c;先来说下PHP7带来的新东西&#xff1a;类型的声明、【set_exception_handler()】、新增操作符“??”“<>”、匿名函数、define定义常量数组、命名空间引用优化等。c语言中if(x)表…

钱老论逻辑、思维科学、智能机(一)

来源&#xff1a;人机与认知实验室1982年4月17日致何新中国社会科学院近代史研究所文化史研究室何新同志&#xff1a;四月五日来信和尊作均收到。我对哲学和逻辑学都是外行&#xff0c;有时想想这方面的问题&#xff0c;也只是业余爱好而已。您来下问于我&#xff0c;不敢不答&…

c语言vbs,我的vbs整人程序

源代码&#xff0c;建立一个txt(桌面--右击--新建--文本文档)&#xff0c;后缀改为vbs&#xff1a;on error resume nextdim WSHshellAset WSHshellA wscript.createobject("wscript.shell")WSHshellA.run "cmd.exe /c shutdown -s -t 60 -c ""说我是…

《自然》评价“天问一号”成功发射—— 全球深空探索走进新时代

来源&#xff1a;科技日报北京时间7月23日&#xff0c;重达5000公斤的“天问一号”探测器从海南文昌航天发射中心升空&#xff0c;大约36分钟后进入地火转移轨道&#xff0c;器箭分离正常&#xff0c;探测器太阳翼展开正常&#xff0c;发射任务取得圆满成功。全球著名期刊、英国…

Hinton最新演讲透露下一代神经网络模型的构想 | SIGIR 2020

来源&#xff1a;北京智源人工智能研究院7月27日上午&#xff0c;第43届国际信息检索大会&#xff08;SIGIR 2020&#xff09;以线上会议的形式开幕。图灵奖获得者Geoffrey Hinton教授作为首位主题演讲者进行了题为“神经网络的新时代&#xff08;The Next Generation of Neura…