本文转载自微信公众号：慧天地，来源：上海人工智能学会。版权归原作者及刊载媒体所有，所刊载内容仅供交流参考使用，不代表本刊立场。

郭毅可 欧洲科学院院士、英国皇家工程院院士、香港浸会大学副校长。1985年本科毕业于清华大学计算机系，1986年硕士毕业于清华大学计算机系，1993年博士毕业于伦敦大学帝国理工学院计算机系。伦敦大学帝国理工学院计算机系计算机科学教授，上海生物信息技术研究中心客座教授、首席科学家，帝国理工学院并行计算中心技术总监，伦敦E- Science研究中心首席科学家，英国InforSense有限公司董事会主席兼首席执行官。是国际知名的数据科学研究先驱，领导开发数据分析和机器学习的创新科技。他近年集中研究数据科学和数据挖掘在生命科学、医疗保健、环境科学和创意设计等方面的应用。

2020年8月22日，郭毅可院士在第三届上海人工智能大会发表主旨演讲。演讲题目为：人工智能的热望与冷思考。从伦理道德领域解释了对人工智能的冷静思考。(以下是演讲实录)

郭毅可院士视频演讲现场

大家都知道这几年人工智能的发展，大家都抱有很大的希望，在这个希望中间我们也看到人工智能的发展刚刚开始，有许多重要的问题需要研究，从这个意义上来说，我们需要用冷静的头脑思考它的发展方向，来考虑一些根本性的问题。

一、人工智能的发展要素

1、高质量的数据资源、大数据

2、处理数据非常好的学习算法

3、支撑算法的算力

我们怎么样获得这些大数据？这需要有一个很好的基础架构，也就是需要有一个很好的数据生态环境，数据资产化技术，也就是今天发展很快的区块链技术。

如何把人工智能利用到实际过程当中去，用到生活中？这中间需要一个非常重要的能力——交互能力。在人和机器在一起的时候，我们的形式变化，也是支撑人工智能发展的一个重要的因素。如果我们不重视这个因素的话，那么人工智能的发展也不可能健康，也很难取得进步。

二、人工智能的发展方向

1、机器学习的内涵

所谓的机器学习就是我们机器获得知识的能力，谈到演变，刚才讲了三个方向，数据量、算法越来越丰富，还有就是算力越来越强大。这三个方向同时作用，导致了今天获取知识，从手工获取不需要数据量，到了我们可以向机器描述一些逻辑规则，我们把知识直接告诉他们，还有一个就是中数据量，来进行机器学习，建立一些中等数据量的模型，最后是数据挖掘，一直到今天的深度学习，主要是大数据量，一个比较复杂的算法，超强的计算能力来支撑的。这里面很重要的一点，就是知识获取的自动化程度越来越高。

郭毅可院士视频演讲现场

2、从认知学角度看机器学习

机器学习有很多说法，也有很多数学模型，但是我们讲到底，机器学习和人脑学习的基本逻辑和基本过程是类似的。我们首先通过一个观察，来获得信息，也就是观察结果数据，知识是通过模型来表达的，脑里的知识也是一种模型，对世界的看法，通过观察获得的抽象看法。在这样的模型当中，我们做什么事情呢？对这个世界要做学习判断，如果说我们观察，我看到了和我脑子中得出的判断或者说某种预测相一致的话，这个时候我们就认为模型是正确的模型，我们不会做什么太多的动作，只是得到一些验证，但是如果说这个模型和观察不准，就会出现所谓的预测误差，这个预测误差会导致人做几件事情，第一件事情，我们要改变模型，我们相信观察是正确的，于是就要对模型做一些变化。还有一种可能，就是我们认为模型是怎么样的，我们要做什么，这个不一致就导致了我们对这个世界要做一些改变，改变认知是学习，改变世界是行动，这就是认知学简单来讲对机器学习的理解。

3、机器学习的表达形式

● 找到效用函数  我们在大脑当中有表达形式，在现在的机器学习上，表达模型的形式基本上就是一个函数，也就是说我们学习的目的是找到这样的一种函数，这个函数使得结果和我们的观察比较一致，这就表达为上面的公式，误差最小化。学习的目的一个是找到函数的形式，一个是找到函数的参数，不管学习是什么样的，工作的目标都是一致的，就是找到这样一个模型，这个模型能够和学习目标有一致性，来达到这样的目的。所以学习是一种过程，有一段话，是关于现在学习的一种抽象的概括，图灵奖获得者讲的一句话，需要对现在的人工智能在一个大样本上进行描述，这个观点还是比较客观的。

现在我们就要问几个问题，在这样的学习框架下，我们怎么样向机器表达，反过来讲就是刚才所说的一个很重要的前提，我们要用机器表达我们学习的目的，一个模型和观察之间的隐私性，这样的一个说法，总是以这样一个效用函数来表达，要么最大化要么最小化，不管怎么说，这个时候我们要求一个函数A可能是一个参数，或者说是一种行为，或者说是强化学习，如果是一般性就是一个参数，在这个参数取得的情况下，取得一个X概率，要求平均的损失是最大和最小，如果说收益的话最大，就是这样一个模式，首先要确定一些参数，找到参数，然后参数的目标是要求平均的损失和平均收益，是最大还是最小，损失最小，收益最大。这个时候我们做的时候要求求出来的函数和观察级之间的误差最小，强化学习就要求最大，强度最高，对于不同的行为要求平均的奖励是最高的。这就是效率。

我们人告诉机器做什么，如果说要求机器做的更多的话，要求不仅要达到最好的结果，同时要满足一定的伦理要求，这样的话用这样的效率函数来表达是非常不容易的。

 ● 效用函数求优  找到最大或者最小的参数，先不讲求优的过程，未必能找到最优的结果，我们用算法来保证。第二个问题在于我们这样的模型，因为数据观察的弊端改变，实际上这种模型需要迁移，也就是说模型本身需要不断变化，这个时候我们就有一个很大的问题，就是模型的进化，数据变化之后能不能优化。还有一个很大的问题，求优的过程是学习的过程，这样的过程往往是很难理解的，求优的时候的含义我们并不清晰，所以怎么办，为了求优，我们必须要调整参数，这些调参，我们怎么样改变，这个有点像一个炼金术，我们并不知道，这些都是会导致很大的问题，首先第一个模型是不是可以进化，第二个这个学习过程，是不是能够被解释，这些都是很重要的问题。

郭毅可院士视频演讲现场

4、机器行为

这个行为是指人对机器的感知，这个时候就有很多问题，比如说机器和人一起诊断看病，这是对行为的一个很大的要求，要行为能够解释，我们能够验证正确性，这个行为这个决断是不是正确，凭什么我要相信你，还有一个很重要的就是右边的图，一个军事行为的应用，怎么样保证整个操作，什么时候可以开枪，什么时候必须考虑到平民伤亡等等，这些都是非常重要的行为准则。

讲到机器行为，我们可以稍微做一个抽象的解释。(行为四要素）

● 行为的目的  是不是能够按照人的意图去改变周围的环境，这个非常重要。也就是说你的目的是好的还是坏的，是合理的还是不合理的。

● 行为的原则  做事情的基本原则，你知道什么是错的，什么是不能做的，是不违背人类的伦理和规范。

● 行为的结果  结果是不是你应该做的事情。

● 行为的依据  你得出来的结果是为什么得出这样的结果，根据是什么。

5、机器学习应用的伦理思考

● 政治  撰写一个新闻，原则是不是可以被理解，这个原则是不是合理的，怎么对新闻的生成算法有可靠性。比如说现在的深度构架，这里面有一张照片，蔡英文背后的一张照片，背后是毛主席长征，这样的照片，当然还有很有意思的新闻效果，但是这是真的还是假的，还有就是法律，如果机器人对一些案例做一些机器判断，有没有偏见，是否有不可预测的后果，也就是说实际上这样的投放会导致什么问题，原来犯罪率很低的问题犯罪率高起来了。

● 营销  推荐系统，我们要考虑对消费者的损害。有一个说法是过于泡沫，一个推荐我喜欢什么，一直向我推荐我喜欢的，于是乎就形成了一个泡沫，我只喜欢原来喜欢的东西，我自己给自己构造了一个局限，这种事情是不是合理的。

● 金融  算法定价，算法定价的原则是什么，是价格公平吗？还是说竞争，是否会造成恶性竞争或者价格战。我们都知道我们买飞机票都有一个算法定价问题，因为算法定价常常会造成一个很大的矛盾，看到下雨了需要打车，这个某种程度上来讲，最大化商业利益，伦理是不是正确的，这些都是很重要的要考虑的问题。

● 智能汽车  真正要投入使用，倒不是技术难点，加上自动驾驶最大的问题是路权选，谁有权用这个路，如果两个车一起开，必须保证对人的伤害最小，如果说人和机器在同一个路上的话，如果人知道有这样一个基本原理，可以恶性和机器进行较量，这样的话车永远开不了，这种情况下怎么解决路权选择的问题，人开的车和机器开的车怎么做路权选择。做城市管理的时候有一个道路交通管理，这些方面的平衡，人工智能怎么来做，也是一个非常重要的话题。

● 机器诊断  诊断是否可以验证，健康监护，各种错误的代价，对于紧急情况如何做应对的，这些都是很大的问题。

● 社会信用体系与社会交流  信用低的人剥夺权利，是不是在一个的管理当中是真正合法的，和我刚才说的是一样的，如果说真的做交流的话，未必改变社会关系的组成架构，家庭也有，聊天及其对聊天者的心理影响，性爱机器人是否会改变人类的自然感情，这些问题都是在我们理解机器行为上是非常重要的一些例子。

郭毅可院士视频演讲现场

三、人工智能研究的重要问题

1、如何向机器表达对的目的，也是未来的重要问题。未来的人工智能，我们不求让机器做的多，而是要求机器做的对。做的多应该是相对容易的，但是要机器做的对，就不是那么容易了，我们这里面考虑的是什么是对，这个行为原则，如何向机器表达对的目的，告诉你怎么做什么事情，怎么告诉是准确，怎么样告诉是有效，怎么样告诉是真正的能够表达的清晰一点，这又是一个问题。

2、如何判断机器做的对不对，假定说我已经表达的很清楚了，以前的结果和现在的结果有一个验证。还有一种理解机器做的对的缘由，机器行为的解释和验证，这些都是需要论证的。

● 什么是对  这就是最难的，这就是人工智能的伦理问题，这是一个哲学问题，这里面有很多的原则，这三大原则非常重要，对于什么是对的，在不同的社会环境和价值体系当中都是不一样的，有些我觉得是对的，比如说我们举个例子，首先是要有利他主义，什么意思呢？不是利己，是帮助人类，而不是利益自己。第二个是谦逊法则，我需要把人类价值最大化，但是不知道人类价值到底是什么，不能够凌驾我们之上。第三个是学习能力，不仅是自身学习，也可以观察我们来进行学习，或者说用机器语言来间接学习，从这些方面来学习知识和数据。当然这只是一种，很多人都有不同的理解。

● 怎么表达对  什么样的效用函数可以表达我们的目的，这是模型形态，而不是说控制行为方式。效用函数是合理的或者说有效的方式吗？拿这个效率函数来做人工智能，怎么样来衡量一个行为，怎么样定义这个行为，人工智能是怎样理解的。最大自由化是好现象吗？每个个体的最大自由化就是无政府主义了。验证这个函数的证据是什么，这个机器行为可以用效用函数来完全确定吗？经济学有两个重要的研究，代理人原则，机器人代理了我们的事情，找任何代理人的时候都碰到一个矛盾，要确定这个代理人是以你的利益最大化为原则，还是以自己的利益最大化为原则。比如说我们找律师，这个律师到底是为我找官司，还是说想把这个问题搞的更复杂一点。还有一个不可预知原则，你表达的事情是好事情，但是往往找到不想要的结果。这两个原则都使得我们要认真思考，如何向机器表达我们的目标。

● 如何判断机器做的对不对  第一个验证方法就是和目标是否一致，另一个是求得最优。这里面有两个场景，如果说这两条曲线，一个是更精确，还有一个是敏感度要求更高，这两个不是一个事情，有一个就是假定模型，这个模型很有意思，有哮喘的肺炎患者，死于肺炎的可能性较小，这合理吗？不合理，如果有哮喘应该死亡率高，为什么反而低了。因为有哮喘很快就会受到正常的照顾，这样的话反而容易生存，所以数据不足，所以说90%的AI结构都是没有验证的。

● 如何理解机器做的对的缘由  现有的深度学习模型不能向用户解释其行为，设计者也无法理解其行为过程。这当中有很多研究，有一些早期的工作，比如说现在要拿一个深度神经网络，判断这是什么动物，但是有一个很大问题，我学了一个模型，我给出一个斑马的图形，你可能就判断出行分布了。这个时候怎么样来学习，把一些图片特征编码，每一段编码或者数字代表了什么含义，这样可以通过一个学习办法，把人的特征一起进行学习，这就有一个很大的好处，等于说你做了人的标注，如果说这些过程最重要的原则是用空间来解释，我们现在做的工作把这个概念再扩大一些。

四、人工智能的今天和明天

人机共生世界，在人机共生的社会中，人和机器的互相交流是最重要的，人要理解机器的行为，机器要理解人的意图。对机器行为的解释，理解和验证，以及机器行为的伦理性是人工智能研究的核心课题。学习的可解释性是一个方向，还有一个方向就是向机器表达，作为对机器行为的解释和验证，以及机器行为的伦理是核心的问题，在没有解决这些问题之前，或者说这些问题没有被深入理解之前，我们奢谈人工智能将来什么样，人工智能会不会导致机器统治人类来为时过早。

我们不要神话它：它是实实在在的算法。

我们不要害怕它：它是不可避免的未来。

我们不要轻视它：它会改变我们的社会。

我们不要忽悠它：它不是靠钱可以堆出来的。

我们要以我们东方文明特有的包容来研究和应用它，把它作为我们社会新的存在，想如何和它共处。

这是我理解的发展方向。谢谢大家！

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）云脑研究计划，构建互联网（城市）云脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”