1. 科学突破是很难预测的

1.1. 20世纪初，也许没有哪位核物理学家比质子的发现者、“分裂原子的人”欧内斯特·卢瑟福［Ernest Rutherford］更为杰出

1.1.1. 卢瑟福早就意识到原子核储存了巨大的能量，然而，主流观点认为开发这种能源是不可能的

1.2. 1933年9月匈牙利物理学家利奥·西拉德［Leo Szilard］构想出了中子诱发的链式核反应

1.2.1. 在不到24小时的时间里，释放核能的问题从不可能变成了已经基本解决

1.3. 这个故事的寓意是，与人类的聪明才智打赌是鲁莽的，尤其是在我们的未来岌岌可危的时候

1.4. 在人工智能界，一种否定主义正在出现，它甚至否定成功实现人工智能长期目标的可能性

1.5. 内容推荐算法在社交媒体中发挥的作用

1.5.1. 然这些算法不是特别智能，但它们能够影响整个世界，因为它们直接影响数十亿人

1.5.2. 此类算法旨在最大限度地提高点击率，即用户点击展示条目的概率

1.5.3. 正确的解决方案是改变用户的偏好，从而使他们变得更可预测

1.5.3.1. 对于更可预测的用户，算法可以通过推送他们更可能会点击的条目，而带来更多收入

1.5.3.2. 持有极端政治观点的人往往更容易被预测出会点击哪些条目

2. 历史

2.1. 人工智能的起源可以追溯到很久以前，但它正式启动是在1956年

2.1.1. 数学家约翰·麦卡锡（John McCarthy）和马文·明斯基（Marvin Minsky）说服了著名的信息论创始人克劳德·香农（Claude Shannon）和IBM（国际商业机器公司）第一台商用计算机的设计者纳撒尼尔·罗切斯特（Nathaniel Rochester）加入他们，一起在达特茅斯学院组织一个暑期项目

2.1.2. “学习”的各个方面或“智能”的任何特征在原则上都可以被精确地描述出来，所以人们可以制造一台机器来模拟“学习”或“智能”

2.2. 在达特茅斯会议后10年左右的时间里，人工智能取得了几项重大成功，包括艾伦·罗宾逊（Alan Robinson）的通用逻辑推理算法和阿瑟·塞缪尔（Arthur Samuel）的西洋跳棋程序，这个程序通过自学战胜了它的创造者

2.3. 第一次人工智能泡沫在20世纪60年代末破裂，当时，人们在机器学习和机器翻译方面的早期努力没能达到预期

2.4. 到了20世纪80年代中期，由于所谓的“专家系统”的商业潜力，人工智能正在经历一次巨大的复兴

2.4.1. 当这些系统被证明无法完成人们指派给它们的许多任务时，第二次人工智能泡沫破裂了

2.4.2. 人工智能的寒冬随之而来

2.5. 人们将人工智能与历史悠久的概率论、统计学和控制理论建立了联系

2.6. 从2011年前后开始，深度学习技术开始在语音识别、基于机器视觉的物体识别和机器翻译方面取得巨大进步，以上是人工智能领域最重要的三个开放问题

2.6.1. 从某些方面来看，机器在这些方面的能力已经达到甚至超过了人类的能力

2.7. 2016年和2017年，DeepMind（英国人工智能公司）的AlphaGo（阿尔法围棋）击败了前世界围棋冠军李世石和后来的冠军柯洁

2.8. 如今，人工智能几乎每天都会出现在媒体的头条报道中

2.8.1. 在大量风险投资的推动下，成千上万家初创公司应运而生

2.8.2. 数以百万计的学生参加在线人工智能和机器学习课程，该领域专家的年薪可达数百万美元

3. 5个“人类未来最大事件”的候选选项

3.1. 我们灭亡了（因为小行星撞击、气候灾难、流行病等）

3.2. 我们都能永生（医学攻克了衰老）

3.3. 我们发明了超光速旅行，征服了宇宙

3.4. 高级外星文明造访了我们

3.5. 我们发明了超级人工智能

3.5.1. 超级人工智能的到来在许多方面类似于高级外星文明的到来，但前者更有可能发生

3.5.2. 最重要的是，人工智能不同于外星人，它是我们对其有发言权的东西

3.5.3. 成功了会如何？

3.5.3.1. 人工智能领域的目标一直是创造出达到或超越人类水平的人工智能，但人们很少或根本没有考虑过，如果我们创造出了这样的人工智能会发生什么

3.5.3.2. 这个问题不仅是主流的人工智能研究人员应该考虑的问题，而且可能是人类面临的最重要的问题

3.5.3.3. 超级人工智能的成功将是人类历史上最重大的事件……或许是人类历史上的最后一个事件

4. 出了什么问题？

4.1. 人工智能的历史一直被一句咒语所推动：“越智能越好。”

4.1.1. 因为我们理解智能的方式有误，所以这是一个错误

4.2. 人类是智能的，因为我们的行动有望实现我们的目标

4.2.1. 智能的其他所有特征，例如感知、思考、学习、创造等，都可以通过它们对我们成功行动的能力的贡献来理解

4.3. 机器智能的定义就与之对应

4.3.1. 机器是智能的，因为它们的行动有望实现它们的目标

4.4. 机器与人类不同，它们没有自己的目标，因此我们赋予它们目标，让它们去实现

4.4.1. 我们制造能够自我优化的机器，把目标输入机器中，然后它们就开始运行了

4.5. 问题就出在人工智能的基本定义中

4.5.1. 机器是智能的，因为它们的行动有望实现它们的目标，但我们没有可靠的方法来确保它们的目标与我们的目标相同

4.6. 在设计了从大型喷气机到胰岛素泵等各种控制系统的控制理论领域，系统的任务是使代价函数最小化（代价函数通常被用来衡量实际行为与期望行为的偏差）

4.6.1. 在统计学中，学习算法（learning algorithm）旨在使期望损失函数最小化（损失函数定义了产生预测错误要承担的成本）

4.7. 诺伯特·维纳（Norbert Wiener）的《自动化的一些道德和技术后果》

4.7.1. 如果我们为了达到目的而使用一种我们无法有效干预其运行的机器……我们最好确信我们想让机器达成的目标是我们真正想要实现的目标。

4.8. 如果我们把错误的目标输入比我们更智能的机器里，机器就会实现目标，但我们也就失败了

4.8.1. 迈向超人类智能的步伐似乎是不会停止的，但超人类智能的成功可能意味着人类的毁灭

4.9. 我们的目标在我们自己心中（在全体80亿人和我们多样的社会群体之中），而不在机器中

4.9.1. 目标的不确定性是一个特性，而不是漏洞（也就是说，是好事而不是坏事）

4.9.2. 目标的不确定性意味着机器必须要顺从人类：它们会请求许可，会接受纠正，会允许自己被关闭

4.10. 撤销“机器应该有明确目标”这个假设，意味着我们需要打破并替换人工智能的部分基础，而这些基础其实是我们正在努力构建的东西的基本定义

4.10.1. 意味着要重建大量的上层建筑，即为实际的人工智能工作积累思想和方法

4.10.2. 其结果将是人类和机器之间生成新关系