机器学习奠基人Michael Jordan：下代技术是融合经济学，解读2项重要进展

来源： 北京智源人工智能研究院

2019年11月1日北京智源大会全体大会及闭幕式上，被誉为“机器学习之父”的加州大学伯克利教授、智源研究院学术顾问委员会委员 Michael I.Jordan 做了题为《决策与情境：基于梯度的博弈均衡求解方法》（Decisions and Contexts: On Gradient-Based Methods for FindingGame-Theoretic Equilibria）的主题演讲。

这个演讲报告既“高屋建瓴”，Michael I.Jordan 将机器学习的前世今生划分为四个时代，指出正在到来的第四代机器学习，实践层面将是与智能市场系统的融合，理论层面将是机器学习与经济学等的融合；同时也“脚踏实地”，Michael I.Jordan 介绍了一系列他们在第四代机器学习视角下的研究进展，包括鞍点逃逸、算法加速以及基于博弈均衡机制的“多臂赌博机”等。

下面是关于Michael I.Jordan演讲的精彩要点介绍。

机器学习的四个时代

首先作为“机器学习之父”，Michael I.Jordan 以化学工程、电器工程的历史发展作为参照案例，来解读他理解中的机器学习。在上世纪20、30年代前，世上还没有“化学工程”这门学科，那时候的化学学科，仅仅是关于实验室里用试剂做实验的内容。直到后来伴随着量子科学的发展、化学工厂以及相关产品的涌现，才出现了化学工程。

电气工程学的前身是一些电子公式，但无法回答研发电路以及实现城市电气化等问题，随着人们开始思考抗阻模块、线路等，便诞生了电子工程学。

Michael I.Jordan 认为机器学习的发展，遵循着和上面两种学科类似的理论和实践结合路径：它将传统的统计、算法和推理整合在一起，同时也是工程学的拓展，涉及了人类决策、数据分析等方面的设计和系统应用，它的目标并不是取代人类，也不仅仅是人工智能，而是将人和机器系统融合在一起，包括它将整合包括统计学家、计算机科学家以及经济学家等各类人才的聪明才智，来应对、解决来自社会层面的各种挑战。

具体来说，机器学习自诞生后的几十年里鲜有突破，主要涉及数据分析和人类决策，而自上世纪90年代后，机器学习的历史发展可划分为如下四个时代。

第一代机器学习（1990~2000年）：主要应用是欺诈检测、检索和供应链管理等。欺诈检测主要是应用于电商领域，通过机器学习来鉴别、降低诈骗。比如当时在亚马逊的信用卡诈骗率曾一度是1%-3%，因此亚马逊开始使用云计算机系统，结合数据及不同算法，比如随机森林（Random Forests，简称RF），使诈骗率降到1%以下。之后，亚马逊开始在整个供应链和物流上利用机器学习进行建模，因为在跨境运输条件下，一条有效的供应链，能保证产品即使在面临台风的情况下依然能准时准确送达，这便需要大量的数据分析及各种测算。

第二代机器学习（2000~2010年）：开始涉及人类层面的研究，以推荐系统、社交媒介系统等为代表。这个阶段，我们拥有的大数据，不仅仅涉及如跨洋运输供应链等产品层面的信息，也内嵌了可供分析“消费者购买原因”的数据内容。比如两个人购买了同一本书，我们基于此进行分析，然后将这本书推荐给另一个还没有购买的潜在客户。于是推荐系统的研究，带来了巨大的行业影响，比如阿里巴巴、亚马逊等都采用了这样的机器学习应用，并进一步发展了价值几十亿资产的行业。

第三代机器学习（2010年至今）：模式识别应用，以语音识别、计算机视觉、机器翻译等为代表。此时，我们可以模拟人类的智能，或者说可以模仿人类某一方面的智能。我们主要通过数据分析来进一步分析人类智能，但并不意味着现在计算机能够捕捉所有的人类思考。计算机还需要很久的时间才能像人类一样聪明。

第四代机器学习（正在到来）：机器学习融合市场。市场相当于一种去中心化的算法系统，将消费者和商品紧密连接，把人、数据和现实中的问题和需求进行整合，成为一个可以创建经济新业态的平台，比如Uber，中国的滴滴等。这些市场算法系统和宏观经济的一些原则相类似，必须借助大数据分析，并扩大应用规模，这样才能产生更大的效果；这个市场系统可以在不同的尺度、规模下运作，适应性强，可长时间运行，用户可以自由下载进入的软件。当然这些环节中，计算机并没有代替人类，而是作为整个系统的一个总控。

Michael I.Jordan认为，迄今为止机器学习构建智能市场系统的使命远未完成，包括还没有实现将机器学习和经济学（包括经济统计学、经济测量学等）紧密结合在一起。

第四代机器学习中的研究进展

Michael I.Jordan 近十年来主要从事于“第四代机器学习”中决策方向的相关研究，包括创造市场的统计系统、分散决策的错误控制、管理边缘云端交互等。（如下图）

第四代机器学习研究问题范例

他关于决策问题的一个重要论断是，机器学习必须要考虑“因果关系”，只有这样才有可能进行大规模的工程应用，比如无人驾驶决定是否加速或停止，这不仅仅是一个阈值和输出的问题，而是要综合考虑周围汽车、街道状况后才能做出决定。

接下来，Michael I.Jordan介绍了他们团队最近取得的两项重要研究进展。

第一项研究是关于如何有效避开鞍点的问题。鞍点是深度学习中非常棘手、大量存在的问题，它会导致学习曲线变平。我们经常会看到一个学习曲线下降很快，之后很久都是平的，这便是鞍点的表现，尽管它最终会脱离鞍点继续下降，但在现实实践中，我们往往要处理高维下降到低维问题，此时会遇到十多万甚至上百万的维度干扰路径选择，用传统的梯度下降法来逃离鞍点，会十分耗费时间。

因此 Michael I.Jordan 团队在成员 Chi Jin 的主持研究下，提出了一个高效率摆脱鞍点的方案。MichaelI.Jordan 介绍说：“我们引入海森-利普希茨性质(如下图)，很明显二阶驻点是一阶驻点的扩展，这个梯度同样趋近零且不等于零，同时海森矩阵的最小特征值不严格大于等于零。我们给自己放松了一个小区间，可得到了一个收敛速度，所以可以测试达到二阶驻点速度有多快。这个算法被命名为扰动梯度下降，本质是在一般梯度下降算法的情况下偶尔增加一些随机噪音。”

扰动梯度下降算法原理

关于这个算法背后的几何原理（如下图）：鞍点周围相当于是一个饼状区域，我们如果进入这个区域会被困在里面，在鞍点上停留很长时间，这时候如果有一些随机扰动会把我们从鞍点区域踢出去，以确保不会一而再再而三地陷入困境，这个理论就是关于如何高效率地远离这个饼状区域。

扰动梯度下降算法的几何图解

第二项研究进展是关于加速算法，了解加速时会发生的状况及最快运行速度。同时 MichaelI.Jordan 认为在一个离散的点上，更快并没有太大意义，而是要根据整个持续的连续体来看究竟能多快。MichaelI.Jordan 的两个学生花了三年时间研究出通过变分、哈密顿和辛集成的视角来做加速。首先，他们发现如下图最下面的两个公式可以比传统方式运行得更快。

梯度下降的加速算法

后来发现拉格朗日函数（如下图），优化一下便能实现最快速度，这是目前能实现的最好结果。函数中有一个布雷格曼散度（Bregman Divergence），它依赖于速度，这个公式孕育出很多加速算法。Michael I.Jordan 团队还发现，布雷格曼拉格朗日函数（Bregman Lagrangian）在几何学方面具有很好的一致性，这意味着不管用什么速度，都可以在一个持续时间当中来实现这个速度，但假如把持续时间和不同公式输入到电脑中逆转推算，却无法实现。

图5：布雷格曼拉格朗日函数

接下来是辛集成（Symplectic Integration）（如下图），它是目前最好的算法，也很稳定。我们可以用特殊方式进行加速，利用拉格朗日函数、汉密尔顿函数进行表征，来解决其他许多问题。

辛集成

目前在加速和鞍点方面的问题中，Michael I.Jordan团队做了进一步的研究，尝试用汉密尔顿函数分析（如下图）的方式来解决，就是先把汉密尔顿函数分解，分别研究，然后再组合到一起，得到一个综合分析。

汉密尔顿函数分析

下面的加速算法（如下图），是针对一个非凸点问题的，它可以跟汉密尔顿函数相结合，或许能验证加速、帮助通过鞍点。

针对非凸点问题的算法加速

未来十年的研究方向：

市场与科学、决策的整合闭环

展望未来十年的研究方向，Michael I.Jordan 表示，他们将专注于科学和数学，将市场与科学、市场与决策整合，建立一个闭环链条。

Michael I.Jordan 团队目前正在实验中的一个项目，叫多臂赌博机(Multi-Armed Bandits)，这种赌博机的游戏规则简单来讲就是：假设有A到K的选项，选择一个选项后得到奖励，之后进一步增加得分，把得分最大化。这个项目中的成果已经在AB测试、药品研发等诸多领域中应用，它内蕴的博弈逻辑，实际上已经渗透到现在的市场经济各种现象之中。

按 Michael I.Jordan 的观点，对于一个有买方、卖方的匹配市场，就会存在供需匹配和排序的问题，比如很多人选择同一家餐厅，便需要对空间进行限制，比如两人选择了同样的座位，后来者就像AB测试那样输掉，当然输者就会后悔自己的决策。为此，Michael I.Jordan团队已经在建立一个名叫 Bandit Markets 的数学理论，用以验证算法、降低后悔量。这个算法叫做 Gale-Shapley。

最后，回归到决策问题，Michael I.Jordan 介绍了他们在算法上的一个最新进展。从统计学的角度来说决策问题，好比这张二乘二表中（如下图）中0和1的假设，如何测量决策成功呢？如果现实是1，实现预测也是1，或者规避现实是0、预测是1的情况，传统的方式就对专一性和高敏感度进行优化，但这种方式当数据集里发现项假的比较多时，很难有好的效果。

二乘二表模拟决策

因此 Michael I.Jordan 团队提出了贝叶斯过滤算法来控制的方案（如下图），这个算法公式可以用来展示假的发现项。

贝叶斯算法的过滤方案

以上是 Michael I.Jordan 团队用机器学习结合统计学、市场决策等，在推进第四代机器学习时代的过程中，近年来所取得的一些研究进展。Michael I.Jordan 作为机器学习领域的泰斗级人物，其历史和行业视野的前瞻性洞察和研究工作的细致入微的紧密结合，透过这场报告呈现得淋漓尽致，相信能给我们人工智能领域科研者、从业者们带来不少有益的启发。