1.       机器智能存在的风险

1.1.         “人工智能”这个名字应用到几乎所有涉及机器学习的领域

1.2.         技术专家对人工智能的态度也从“人工智能可能永远不会实现”快速转变为“人工智能可能在不久的将来毁灭所有人类”

1.3.         每一项新技术都可能会被滥用，从而造成伤害

1.3.1.           有不足之处的人工智能也被用来跟踪人类、干扰选举、作为夸大宣传手段等

1.3.2.           将武器变得智能和自动化这样的想法是很可怕的

1.3.3.           智能武器可以在没有人类监督的情况下行动，因此它们可以将数以万计的武器部署在不同的地方

1.4.         坏人会试图利用智能机器剥夺他人的自由、威胁他人的生命，但在大多数情况下，一个人利用智能机器做坏事不太可能导致全人类灭绝

1.5.         坏人利用智能机器做坏事是一回事，而如果智能机器本身就是坏人，并决定消灭人类，就是另一回事了

1.6.         人工智能本身存在威胁

1.7.         假设的前提

1.7.1.           我们失去了对自己创造的智能机器的控制

1.7.1.1.            智能机器可能会进行复制，创造出数百万个智能机器副本，或者单个智能机器可能变得无所不能

1.8.         两方面的担忧

1.8.1.           智能爆炸，指的是人类创造了比自身更聪明的机器

1.8.1.1.            让智能机器创造出新的智能机器，从而产生更智能的机器

1.8.1.2.            每一代智能机器问世的时间间隔会越来越短，不久之后，机器的智能就会远远超过我们，这样一来，我们根本无法理解它们在做什么

1.8.1.3.            机器可能就会摆脱我们，因为它们不再需要我们（人类灭绝），或者它们可能决定容忍我们，因为我们对它们有用（人类被征服）

1.8.2.           目标失调，指的是智能机器追求与我们的福祉相反的目标，而我们无法阻止它们

1.8.2.1.            智能机器可能会自发地发展对我们有害的目标，或者，它们可能会追求我们赋予它们的目标，但会以十分残酷的方式实现这些目标，最终消耗地球上所有的资源，在这个过程中，地球不再适合人类居住

1.9.         这些争论似乎都是疯狂的假想，不仅是基于错误的科技概念，而且是基于对智能的错误理解

2.       智能爆炸的威胁

2.1.         智能需要一个世界模型。我们利用世界模型来识别所处的位置，并计划行动

2.2.         当我们想要完成某件事的时候，无论这件事是像冲咖啡一样简单还是像推翻一项法律一样复杂，我们都会利用大脑中的模型决定应该采取怎样的行为来得到期望的结果

2.3.         除了少数例外，学习新思想和新技能需要与世界进行客观上的互动

2.3.1.           无论大脑有多大、思考速度有多快，都不可能仅凭思考就能知道太阳系外行星的分布和组成

2.3.2.           即使是机器，也不可能跳过发现的观察阶段

2.3.2.1.            实践是学习这些感觉-运动关系的唯一方法

2.3.3.           要想学习驾驶直升机，就需要了解你的行为上的微妙变化会对飞行造成哪些微妙的影响

2.3.3.1.            也许机器可通过仿真器进行模拟飞行，理论上，通过这种方法可能比驾驶真正的直升机学得要快，但仍然需要投入时间

2.3.4.           经营一家生产计算机芯片的工厂需要多年的实践

2.3.4.1.            专家已了解了制造过程中可能出错的细节部分以及如何解决这些错误。这种经验是不可替代的

2.4.         智能不是一种可以在软件中编程的东西，也无法确定为一连串规则和事实

2.5.         我们可以赋予智能机器学习世界模型的能力，但它必须学习组成模型的知识，而学习需要时间

2.6.         无论大脑有多大，运行速度有多快，获取新知识和技能都需要时间

2.6.1.           在数学等领域，智能机器可以比人类学得更快

2.6.2.           在大多数领域，学习的速度会受到与世界进行客观互动这一需要的限制

2.7.         机器不可能突然知道得比我们多，智能爆炸的威胁不可能出现

2.8.         超人智能也是不可能实现的，因为我们对世界的了解是不断变化和扩大的

2.9.         发现了一种新的量子通信方式，可以实现超远距离的信息即时传输

2.9.1.           只有发现这一现象的人类才知道它是怎么回事

2.9.2.           如果这一发现以实验结果为基础，没有人能想到它，无论机器多么聪明，同样也无法想到

2.9.3.           除非你认为智能机器已经取代了世界上所有的科学家，以及所有领域的人类专家，否则有些人总是比智能机器更擅长做某些事

2.10.     没有一个人是无所不知的

2.10.1.      这并不是因为没有人足够聪明，而是因为没有一个人可以无处不在、无所不能

2.10.2.      智能机器也是如此

2.11.     全体人类可以完成的事情是如此之多，以至于没有任何机器能在所有领域都超越人类

2.12.     大多数取得成功的人工智能技术都是针对静态任务的，这些问题既不会随时间而改变，也不需要持续学习

2.12.1.      围棋的规则是固定的

2.12.2.      计算器执行的数学运算是不变的

2.12.3.      对图像进行分类的系统也是使用一组固定的标签进行训练和测试的

2.13.     对于这样的静态任务，专用的解决方案不仅可以超越人类，而且可以在无限程度上超越人类

2.14.     世界上的大多数情况都不是固定的，我们需要执行的任务是不断变化的

2.14.1.      没有人或机器能够在任意一项任务上拥有永久的优势，更不用说所有的任务了

2.15.     担心智能爆炸的人把智能描述成一种可以由尚未发现的秘诀创造出来的东西

2.15.1.      一旦这个秘诀为人所知，它就可以得到越来越广泛的应用，从而催生出超级智能机器

2.16.     智能是通过世界上数以千计的小模型创造出来的，每个模型都使用参考系来存储知识并创造行为

2.16.1.      将这种成分添加到机器中并不能立即赋予机器任何功能

2.16.2.      参考系只是为学习提供了一个基础，赋予机器学习世界模型的能力，从而使机器获得知识和技能

2.16.3.      你可以通过旋转厨房灶台上的旋钮来提高温度，但没有一个类似的旋钮来增长机器的知识

3.       目标失调的威胁

3.1.         当智能机器追求的目标对人类有害，而人类无法阻止它时，目标失调这种威胁就会出现

3.2.         智能机器可能也会做一些我们让它做的事，但当我们让它停下来时，它会将停止指令视为完成之前的目标的障碍，从而为了实现之前的目标不惜一切代价

3.3.         “要求机器最大限度地生产回形针”是一个常见的目标失调的例子

3.3.1.           一旦机器开始执行这项任务，便没有什么能够阻止它，它要把地球上所有的资源都变成回形针

3.4.         不可能满足的条件

3.4.1.           尽管智能机器接受了我们的第一个请求，但它会忽略后续的请求

3.4.1.1.            如果不满足第二个条件，它也不会成为存在的威胁

3.4.2.           智能机器有能力征用地球上足够多的资源，让人类无法阻止它

3.4.2.1.            智能机器需要控制世界上绝大多数的通信、生产和运输资源

3.4.2.2.            智能机器让人类无法阻止它的一个可能的方法是：胁迫人类

3.4.2.3.            如果一台智能机器控制了互联网的大部分资源，它可能会威胁通过破坏通信和商业来造成混乱

3.4.2.3.1.             除非我们特地赋予智能机器这种能力，否则它们不会发展错位的目标

3.4.2.4.            我们不会让一个人甚至是极小部分人，掌握世界上的所有资源，对机器也是如此

4.       智能机器并不会威胁人类的生存

4.1.         纵观历史，土著居民都有类似的安全感

4.1.1.           当拥有先进武器和技术的外国人出现时，土著居民会被征服和摧

4.1.2.           土著文化的毁灭是由于侵略者有贪婪、追求名利和对统治的渴望等动机，这些动机都是由旧脑驱动的

4.1.3.           真正的罪魁祸首是简单的生物，它们并没有先进的技术，而是在繁殖动机的驱使下造成了土著居民的大量死亡

4.1.4.           智能在大多数种族灭绝事件中并未扮演主要角色

4.2.         复制：任何能够自我复制的东西都是危险的

4.2.1.           智能机器将不具备自我复制的能力和动机，除非人类特地赋予它

4.3.         动机：生物的动机是进化的结果

4.3.1.           一台不复制或进化的机器，不会突然产生控制或奴役别人的欲望

4.4.         ·智能：智能是最温和的

4.4.1.           智能机器不会自己开始自我复制，也不会自发地发展动机

4.5.         一些智能机器将比人类更聪明、更高效、更有能力

4.5.1.           智能机器会想接管地球、征服人类，或做任何可能伤害人类的事情吗

4.6.         智能机器不会有和人类一样的情感和动机，除非我们将这样的情感和动机赋予机器

4.6.1.           欲望、目标和攻击性不会神奇地出现在智能机器上

4.7.         自我复制对人类的威胁比机器智能大得多

4.7.1.           更有杀伤力的方法是设计出具有高度传染性的、免疫系统无法防御的新型病毒和细菌

4.8.         关键是任何能够自我复制的东西，尤其是病毒和细菌，都是潜在的生存威胁，而智能本身并不是

4.9.         如果被居心叵测的人使用，智能机器也可能会造成巨大的伤害

4.9.1.           我们的最佳选择似乎是努力就“什么是可接受的，什么是不可接受的”这一问题达成可实施的国际协议，就像我们对待化学武器的方式一样

4.10.     我们不会失去对机器智能的控制，任何事情都不会像智能爆炸的支持者担心的那样迅速发生

4.10.1.      如果我们从现在就开始着手处理，就会有足够的时间来梳理风险和回报，并决定前进的方式