1. 大猩猩问题

1.1. 大约1000万年前，现代大猩猩的祖先创造了进化出现代人类的遗传谱系

1.1.1. 它们的物种基本上没有未来，除了我们屈尊所允许它们拥有的未来

1.1.2. 我们不希望在超级智能机器面前处于类似的地位

1.2. 大猩猩问题就是人类是否能在一个拥有更高智能的机器的世界里保持人类至高无上的地位和自主权的问题

1.3. 埃里汪奇游记

1.3.1. 塞缪尔·巴特勒（Samuel Butler）于1872年出版的小说

1.3.2. 拥护机械主义者和反对机械主义者之间爆发了一场可怕的内战，此后所有的机械设备都被禁止使用

1.3.3. 反对机械主义者的主要论点是，机器将发展到人类无法控制的地步

1.3.3.1. 随着时间的推移，我们会发现自己是劣等种族

1.3.4. 拥护机械主义者的主要反驳观点：机器是人生理机能的一部分，实际上它们不过是存在于体外的肢体

1.4. 一旦机器开启思维方式，它们似乎有可能不久就会超越我们微弱的力量

1.4.1. 机器不会有死亡的问题，它们会互相交流以增进它们的智能，于是在某个阶段，我们应该预期，机器会按照塞缪尔·巴特勒在《埃里汪奇游记》中所描述的那样掌控世界

1.5. 制造出比自己更聪明的东西可能是个坏主意

1.5.1. 能对环境和其他物种进行控制是我们使用智慧的结果，所以一想到其他比我们更聪明的东西，无论是机器人还是外星人，我们就会立刻产生一种不安的感觉

1.6. 所有这些激烈的反应都表明了机器智能在早期引起的恐惧

1.6.1. 从逻辑上讲，这些机器有可能接管世界，征服或消灭人类

1.6.2. 目前唯一可行的对策就是限制人工智能研究

1.6.3. 具体来说，就是禁止开发和部署人类级别的通用人工智能系统

1.6.3.1. 结束人工智能研究意味着我们不仅放弃了一个理解人类智能如何工作的主要途径，而且还放弃了改善人类状况的千载难逢的机会

1.6.3.1.1. 创造一个更好的文明

1.7. 禁止通用人工智能的第一个不利条件是人类水平的人工智能的经济价值可以用数千万亿美元来衡量，因此公司和政府有巨大动力进行人工智能研究

1.8. 禁止通用人工智能的第二个不利条件是它很难被禁止

1.8.1. 随着数学问题的提出和解决，通用人工智能的进展主要出现在世界各地的研究实验室中

1.8.2. 我们事先不知道应该禁止哪些想法和方程式，而且即使我们真的禁止了，也无法期望这样的禁令是可执行的或有效的

1.8.3. 在通用人工智能方面取得进展的研究人员往往是其他领域的人员

1.8.3.1. 对工具人工智能的研究，那些具体的、无害的应用，如游戏、医疗诊断和旅行计划等，通常会引发通用技术的进步，这些技术适用于广泛的问题，并使我们更接近人类水平的人工智能

1.9. 唯一可能奏效的方法是人们理解为什么让人工智能变得更好可能是一件坏事

2. 迈达斯国王问题

2.1. 迈达斯是古希腊神话中的传奇国王，他如愿以偿地得到了他想要的点石成金术

2.1.1. 他碰过的任何东西都会变成金子

2.1.2. 当他发现这其中包括了他的食物、水和他的家人时，已经太晚了，他最终在痛苦和饥饿中死去

2.2. 维纳

2.2.1. 他特别关注在现实世界中运行的复杂系统的不可预测性

2.2.2. 1950年，他出版了《人有人的用处》

2.2.3. 到1960年，他发现了一个核心问题：正确且完整地定义真正的人类目的是不可能的

2.2.3.1. 意味着人类试图将自己的目的灌输给机器，注定要失败

2.3. 我们可能会遭受价值对齐的失败

2.3.1. 我们可能会向机器灌输与我们的目标不完全对齐的目标，这或许是在不经意间完成的

2.3.2. 直到最近，由于智能机器有限的能力以及它们只能在有限范围内对世界产生影响，我们才免受潜在的灾难性后果的影响

2.3.3. 实际上，大多数人工智能工作都是在实验室中处理一些没有实际意义的问题时完成的

2.4. 社交媒体上的内容选择算法

2.4.1. 如何以广告收入最大化的名义对社会造成巨大破坏的

2.4.2. 广告收入最大化已经是一个不光彩的目标，永远不应该成为我们追求的目标

2.4.3. 优化社交媒体点击率的强化学习算法没有推理人类行为的能力，事实上，它们甚至不知道人类的存在

2.4.3.1. 对于那些对人类的心理、信念和动机有着更深刻理解的机器，逐步引导我们朝着提高机器目标的满意度的方向前进应该相对容易

2.4.3.2. 它可能通过说服我们少生孩子来减少我们的能源消耗，并且在不经意间最终实现了反自然主义哲学家的梦想

2.4.3.2.1. 消除人类对自然世界的有害影响

2.5. “找到癌症治疗方法”这一崇高目标

2.5.1. 越快找到越好，因为每3.5秒就会有一人死于癌症

2.5.2. 在几个小时内，人工智能系统就已经阅读了所有生物医学文献，并假设了数百万种可能有效但此前未经测试的化合物

2.5.3. 在几周内，人工智能系统在每个活人体内诱发了多种不同种类的肿瘤，以便对这些化合物进行医学试验，这便是找到癌症治疗方法的最快方法

2.6. 要求机器对抗二氧化碳含量升高导致的海洋快速酸化

2.6.1. 这台机器开发了一种新的催化剂，可以促进海洋和大气之间极其快速的化学反应，并恢复海洋的pH值水平

2.6.2. 大气中1/4的氧气在这个过程中被消耗殆尽，我们只能痛苦地慢慢窒息而死

2.7. 这类世界末日的场景并不难想到，正如人们可能预料的世界末日的场景那样

2.7.1. 在许多情况下，一种精神窒息“用无法察觉的方法，悄无声息地来到我们身边”

2.8. 输入这种机器的“目的”并不是用各种各样的方式接管世界，而更有可能是利润最大化或参与度最大化，抑或是一个其他看似良性的目标

2.8.1. 老派的方法：保持我们的期望和目标不变，但要改变我们的环境

2.8.2. 改变我们的期望和目标，这对机器来说要容易得多

2.8.2.1. 机器每天与你保持数小时的联系，控制你对信息的访问，并通过游戏、电视、电影和社交互动为你提供大量的娱乐

2.9. 驾驶是一项仅有局部影响的简单任务，目前为驾驶而构建的人工智能系统并不十分智能

2.9.1. 一些故障模式只会在更晚时候才会被发现，即当汽车已经上路时，一些奇怪的事情才会出现

2.9.2. 能够产生全球影响的超级智能系统并没有模拟器，也没有重来的机会

2.9.3. 仅靠人类去预测和排除机器为实现特定目标而选择的所有灾难性方法当然是非常困难的，甚至是不可能的

2.10. 如果你有一个目标，而超级智能机器有一个不同的、与你冲突的目标，那么此时机器会实现它的目标，你却无法实现自己的目标

3. 工具性目标

3.1. 假设一台机器的目标是取咖啡

3.1.1. 如果它足够聪明，那么它肯定会明白，如果它在完成任务之前就被关掉电源，它就无法实现目标

3.1.2. 取咖啡的目标创建了一个必要的子目标，即禁用关机按钮

3.1.3. 在紧急时刻关掉电源，可能行不通

3.1.3.1. 原因很简单：如果你死了，你就不能去取咖啡了

3.2. 一旦被赋予了明确的目标，人工智能系统就会先发制人地保护自己的存在

3.2.1. 自我保护不一定是机器的内置本能或首要指令

3.2.2. 建立自我保护毫无必要，因为这是一个工具性目标，即一个几乎对任何原始目标而言都有用的子目标

3.2.3. 任何有明确目标的实体都会自动像拥有工具性目标一样行动

3.3. 在我们当前的系统中，除了活着之外，获得金钱也是一个工具性目标

3.4. 智能机器可能想要钱，不是因为它贪财，而是因为钱对实现各种目标有用

3.5. 电影《超验骇客》

3.5.1. 机器做的第一件事就是将自己复制到互联网上的数百万台其他计算机上，这样它就无法被关闭了

3.5.2. 做的第二件事是在股市上迅速大赚一笔，为其扩张计划提供资金

3.5.2.1. 计划包括设计和建造一台更大的量子超级计算机，进行人工智能研究，以及发现物理学、神经科学和生物学的新知识

3.6. 配备了更好的人类决策模型的机器将会预见并挫败我们在这场冲突中的每一步行动

4. 智能爆炸

4.1. I. J.古德

4.1.1. I. J. Good

4.1.2. 杰出的数学家，曾与艾伦·图灵一起在布莱奇利公园工作

4.1.3. “二战”期间破译了德国的密码

4.1.4. 1965年，他发表了著名的论文《关于第一台超级智能机器的一些推测》

4.1.5. 认为人工智能可能是人类的救世主

4.1.5.1. 人类的生存取决于超级智能机器的早期构建

4.2. 与人类的创造力打赌似乎是一种失败的策略

4.3. 第一台超级智能机器将是人类最后的发明，前提是这台机器足够驯顺，可以告诉我们如何控制它

4.4. 超级智能机器就可以设计出更为智能的机器

4.4.1. 这无疑会带来一场“智能爆炸”，人类的智能将被远远抛在后面，望尘莫及

4.4.2. 超级智能机器不仅能够改进其自身的设计，而且它很可能会这样做

4.4.2.1. 智能机器期望从改进其硬件和软件中获益

4.5. 智能爆炸的可能性经常被认为是人工智能给人类带来危险的主要来源，因为它给我们解决控制问题的时间太少了

4.6. 从逻辑上讲，提高智能所获得的回报可能会递减，于是这个过程就会逐渐消失，而不是激增

4.6.1. 没有明显的方法可以证明爆炸必然会发生

4.6.2. 收益递减

4.6.2.1. 随着机器变得更加智能，实现给定百分比的改进变得更加困难，此时就会出现这种情况

4.6.2.2. 如果一台已经超越人类的机器在试图提高自身智能时失去了动力，那么人类将会更快失去动力

4.7. 如果智能爆炸真的发生了，又如果我们尚未能解决仅仅稍微超越人类的智能机器的控制问题，比如我们无法阻止它们进行这些递归式的自我完善，那么我们就没有时间解决控制问题，人类也就完了

4.7.1. 机器的智能在短短几天或几周内以天文数字的速度增长

4.7.2. 可能的反应

4.7.2.1. 放弃人工智能研究

4.7.2.2. 否认开发高级人工智能存在固有风险

4.7.2.3. 通过设计必须保持在人类控制之下的人工智能系统来理解和减轻风险

4.7.2.4. 认输，并把未来让给智能机器

4.7.2.4.1. 比我们更聪明的人工智能系统值得继承这个星球，让人类温和地走进那个良夜，想到我们聪颖的机器人子孙正忙着追求自己的目标，这让人感到宽慰

4.7.2.4.2. 浩瀚的网络空间将充斥着非人类的超级智慧，它们将处理与人类相关的事务，就像我们处理与细菌的关系一样。

4.7.2.4.2.1. 机器人学家和未来学家汉斯·莫拉维克（Hans Moravec）

4.8. 价值主要是由有意识的人类经验来定义的

4.8.1. 人类或其他有意识的实体的主观经验对我们很重要，如果没有它们，就不会有任何有价值的事情发生