万物摩尔定律：人工智能技术的快速迭代将使人类万劫不复？

第一次工业革命：蒸汽机时代；

第二次工业革命：电气化时代；

第三次工业革命：信息化时代；

第四次工业革命：智能化革命。这一场革命正在上演，是人工智能（AI）带给人类的颠覆性革命。

2022年底，ChatGPT横空出世，迅即以席卷之势，在全球掀起惊涛骇浪，标志着人工智能技术达到一个崭新的高度。

ChatGPT是由美国人工智能研究实验室OpenAI研发的聊天机器人程序。ChatGPT在推出5天后，注册用户数过百万；在推出后仅两个月，就获得1亿名月活跃用户，成为历史上增长速度最快的消费者应用程序。

ChatGPT犹如大航海时代的蒸汽机，或者信息时代的操作系统，俨然比肩人类科技史上诸多具有标志意义和节点效应的重大科技进展。人类社会已进入生成式人工智能（Generative AI）阶段，正向着通用人工智能（ Artificial General Intelligence, AGI）时代迈进。

以ChatGPT为代表的大模型快速迭代，人工智能技术正以前所未有的速度大踏步前进。

OpenAI 首席执行官Sam Altman，提出了“一个新版本摩尔定律”，我们把它叫做阿尔特曼定律：

“宇宙中的智能数量将在每18 个月后翻一番。”

这个新摩尔定律是新时代新兴技术的普遍规律，是为“万物摩尔定律”（Moore's Law for Everything）。

万物摩尔定律，正成为智能时代的新引擎。

1 摩尔定律

英特尔联合创始人和前董事长戈登·摩尔（Gordon Moore）于1965年提出摩尔定律（Moore’s law），这个定律在科技领域几乎无人不晓。

我们在电脑和手机上使用的芯片（Chip），本质上就是半导体集成电路（ Integrated Circuit，IC）。IC集成了许多晶体管、电容、电阻、电感等元器件以及相关的电路，用来实现某种特定的功能，已经在各行各业中发挥着非常重要的作用，是现代信息社会的基石。

目前，最先进的IC，在指甲盖大小的面积内集成了上1000亿个晶体管，让我们不得不对人类的超精细加工水平叹为观止。

摩尔定律说的是：当价格不变时，单个芯片上可容纳的元器件的数目，约每隔18-24个月便会增加一倍，性能也将提升一倍。

这种翻倍，反过来意味着芯片中晶体管不断变得更便宜和更小。换言之，处理器的性能大约每两年翻一倍，计算成本呈指数型下降。

注意上图纵轴刻度单位是非均匀的（芯片上集成的晶体管数目），是10倍跨度，也即指数增长。

庄子有言：“一尺之捶，日取其半，万世不竭。”（《庄子·天下》）说的是一尺长的棍棒，每天截取它的一半，永远截不完。形象地说明了物质的无限可分性。摩尔定律所揭示的就是集成电路上的晶体管按照类似“日取其半”的速度不断缩小，所集成的晶体管数量呈指数增加。

这一定律揭示了信息技术进步的速度，集成电路的算力呈指数级增长。这一趋势已经持续了半个多世纪，摩尔定律都非常准确的预测了半导体行业的发展趋势，成为指导计算机处理器制造的黄金准则，也成为了推动科技行业发展的“自我实现”的预言。几十年来，摩尔定律一直被认为是科技进步的主要动力之一，对于计算机、通信和消费电子等行业产生了深远的影响。

摩尔定律不是数学意义上的定理，也不是物理意义上的定律，而是一个半导体行业中的经验规律，是行业的经验法则和努力目标。正因为有了这个定律，才持续鼓舞着高科技产业的从业者，令他们感到“只要我们继续努力，电子产品的价格就将下降，数字化时代将加速”。

摩尔定律是数字技术第一定律，描绘了半导体技术呈指数速度发展，指引着芯片产业前进步调，是技术创新和社会变革的推动力。

《摩尔神话：硅谷数字革命先驱的传奇人生》一书中这么写道：人类的技术史上，硅晶体制造带来的革命性影响，与蒸汽铁路、汽车、飞机比肩。如今的人从没惊叹于半导体史无前例的增长节奏，因为他们对于这种增长早已司空见惯。

2 神奇的幂律：技术的快速迭代

摩尔定律描述的是芯片性能指数式增长、成本指数式降低的现象。其实，这是一种典型的幂次生长规律（幂律）。

在统计学中，幂律（幂定律、幂法则，Power law）表示的是两个量之间的函数关系，其中一个量的相对变化会导致另一个量的相应幂次比例的变化，且与初值无关：表现为一个量是另一个量的幂次方。例如，正方形面积与边长的关系，如果边长扩大到两倍，那么面积扩大到四倍；量子计算机的能力随量子比特数呈幂数增长。

一个幂律图示例，展示了某个人气排名的规律。右侧是数量庞大但人气微弱的“长尾”，左侧则是少数“主宰”。幂律分布又称“80–20法则”，“二八定律”：20%的人拥有80%的财富；一个企业80%的利润来自它20%的项目；一个行业80%的市场被20%的头部公司占据；在创投领域，很可能回报最丰厚的那家公司比剩下其他全部加起来还多……

幂律是自然界中的一个普遍规律。许多复杂系统中幂律通常被认为是层级或特定随机过程的特征。研究幂律关系的起源，并致力于现实世界中对它的观察和验证，是物理学、数学、生物学、计算机科学、地球物理、经济学、统计学、金融学、语言学、社会学、神经科学和人工智能等许多领域研究的一个热门话题。

3 万物摩尔定律：智能时代的新引擎

“每隔一段时间就翻一倍”的进步速度在数字技术领域普遍存在，它们有着各自的“摩尔定律”。我们可以把它叫做泛摩尔定律或者类摩尔定律。

由于经济、技术、物理等因素的影响，摩尔定律被认为已经走到了穷途末路。摩尔定律正接近基本的物理极限，但是新的摩尔定律在这个大时代里应运而生。

比较典型的是带宽方面的吉尔德定律、网络方面的梅特卡夫定律、数据方面的“大数据定律”和能耗方面的库梅定律。

例如：随着人类社会经济快速发展，生产力的提升让数据暴涨。数据爆炸增长的规律被称为大数据新摩尔定律：即人类有史以来的数据总量，每过18-24个月将会翻一番。

领域	名称	提出时间	内容
半导体	摩尔定律（Moore's Law）	1965年	集成电路上晶体管数量每18-24个月翻倍
带宽	吉尔德定律（Gilder's Law）	2000年	主干网的带宽每6个月翻倍
网络	梅特卡夫定律（Metcalfe's Law）	1993年	网络的价值等于该网络内节点数的平方
数据	大数据定律	NA	新产生的数据量每两年翻倍
能耗	库梅定律（Koomey's Law）	2010年	计算设备的耗电量每18个月就会下降一半
人工智能	黄氏定律（Huang’s Law）	2020年	GPU将推动AI性能实现逐年翻倍
人工智能	大模型定律（Large Model Moore's Law）	2021年	大模型的参数和与训练数据量快速增长
人工智能	阿尔特曼定律（Altman’s Law）	2023年	宇宙智能数量每18 个月翻倍

英伟达（Nvidia）首席执行官黄仁勋早年提出取代摩尔定律的“黄氏定律”：GPU将推动AI性能实现逐年翻倍。2023年他更是声称，Nvidia 的 GPU 在过去 10 年中将 AI 处理性能提高了不低于 100 万倍，并将在未来 10 年内将再次令AI性能强大100万倍。“摩尔定律在其最好的日子里，可以在十年内实现 100 倍的增长”，黄解释道。“在接下来的 10 年里，我希望通过新芯片、新互连、新系统、新操作系统、新分布式计算算法和新AI算法，并与开发人员合作开发新模型，我相信我们会将人工智能再加速一百万倍”。

随着AI应用的普及，以及以ChatGPT为代表的大模型的出现，AI相关算力需求正成为高性能计算的主要增长点。整体而言，AI大模型时代的算力需求增长已经远超历史预期。当前，大模型最需要的特点是不断增加模型参数和训练的数据集的规模，来实现更高的预测精度和通用性。

根据OpenAI测算，全球头部AI模型训练算力需求3-4个月翻一番，每年头部训练模型所需算力增长幅度高达10倍。而摩尔定律认为，芯片计算性能大约每18-24个月仅翻一番。

大模型时代算力需求快速增长，增速快于摩尔定律

最快的超级计算机的计算能力指数式增长

因推出 ChatGPT 和 GPT-4而名声大噪的OpenAI 首席执行官Sam Altman，提出了“一个新版本摩尔定律”，我们把它叫做阿尔特曼定律：

“宇宙中的智能数量将在每18 个月后翻一番。”

无论是摩尔定律，或者是各种泛摩尔定律，都表明了信息技术的爆发式指数增长快速迭代特征。新摩尔定律是新时代新兴技术的普遍规律，是为“万物摩尔定律”。

Sam Altman也曾指出：“摩尔定律适用于万物”。财富或技术快速增长，我们可以更廉价的得到它。

4 人工智能技术快速迭代

ChatGPT（Chat Generative Pre-trained Transformer）是由美国OpenAI公司研发的聊天机器人程序，2022年12月一经推出便引发轰动。ChatGPT在推出5天后，注册用户数过百万；在推出后仅两个月，就获得1 亿名月活跃用户，成为历史上增长速度最快的消费者应用程序。

ChatGPT的超强人工智能引发热议，以其为代表的AI大模型展现代际提升的通用AI能力，向“通用人工智能”迈进了一大步，并引发了AI的技术革命和创业热潮。

ChatGPT的强大得益于前期大型语言模型（LLM，Large Language Model）的发展和积累。2017年，Google提出的Transformer架构引入自注意力机制，进一步模拟和优化了人脑学习过程，使得自然语言处理（NLP）能力大幅提升，自此开启了大模型训练之路。至2020年，OpenAI推出的GPT-3展现了出色的多任务语言能力和效果，GPT（Generative Pre-Training Transformer）路线成为当下主流技术路线。AI大模型也引发AI范式发生变化：此前的共识是专有小模型+小算力，用精妙的算法和更高的模型精度，来减少算力投入；而新的共识是“大力出奇迹”，即预训练大模型+大算力+海量数据。

GPT大模型已经成为当前科技领域最为重要的技术突破之一，机器智能以涌现的形式爆发。

大语言模型目前的发展趋势是越来越大（详见下图），原因是大模型在预训练后就具有较好通用性和稳定性。例如，谷歌团队的超大模型PaLM（5400亿参数），在零样本和少量样本测试中均有良好的成绩，并且随着其训练标识符数量的上升，性能仍能提升。这也不难理解，简单来说，模型见得多了，自然会的也多了。

人工智能模型参数演进

AI大模型发展史

2022年8月 Google 发表论文《Emergent Abilities of Large Language Models》，探讨了模型效果与模型规模之间的关系。研究发现，当模型规模达到某个阈值时，模型对某些问题的处理性能突然呈现快速增长。作者将这种现象称为 Emergent Abilities，即涌现能力。

大模型的涌现行为。在LaMDA、GPT-3、Gophper等语言模型中，科学家们观测到，当训练量超过某个阈值的时候，模型的精度突然会暴增。

所谓涌现（emengence，也译作演生、层展、突现、创发），指的是当大量事物作为一个整体行动时出现的自组织集体行为，也即许多小实体交互作用后产生了大实体，而这个大实体展现了组成它的小实体所不具有的特性。直白一点说，就是一些简单普通甚至是无意义的操作，在相互作用之后，产生了具有极大意义的行为。当孤立的每个能力被以某种方式突然组织起来的时候，却暴发出很强大的能力。

当模型足够大，语料足够多的时候，涌现这件事情出现就不足为奇。

值得注意的是，研究者并没有刻意给模型植入这些能力，这些能力是模型自己摸索出来的。

涌现出现在于模型可能已经学到了底层的推理过程而非统计意义上记住了输入-输出的概率分布，这是模型拥有“智能”的一个重要体现，也显著打开了大语言模型未来应用的可为空间。

人类大脑约有1000亿个神经元和100万亿个突触，它们之间遵循着很简单的规则，但却涌现出了我们的意识和智慧。

每个神经细胞只会把从其他细胞传来的信息做简单的加工，再传给另外的细胞。可是这些神经细胞共同工作的产物竟然是人类绚丽的思想，产生莎士比亚，贝多芬，唐诗宋词，牛顿和爱因斯坦。同样，神经细胞没有智力，没有一个细胞知道大脑在想什么。

大模型的参数量超过人类后，会发生什么？

模型	发布时间	参数量	预训练数据量
GPT	2018年6月	1.17亿	5GB
GPT-2	2019年2月	15亿	40GB
GPT-3	2020年5月	1750亿	45TB
GPT-4	2023年3月	~35000亿*	~1000TB*

*注：GPT-4的参数OpenAI公司尚未公布，表中数据为预估

随着GPT-4的影响越来越深，人们对AGI——也就是通用人工智能的期待也越来越强了。超级人工智能时代也许将为期不远。

把大力出奇迹作为信仰的大模型是人工智能的未来吗？

2018-2023年模型参数规模变化图

5 人工智能将威胁人类？

如果说互联网引发了空间革命、智能手机引发了时间革命的话，ChatGPT类技术正在引发人类社会的知识革命。埃隆·马斯克评价说其不亚于iPhone，比尔·盖茨说其不亚于重新发明互联网，周鸿祎认为其可类比蒸汽机和电力的发明。

以ChatGPT为代表的大模型技术飞速发展，从架构演进统一到训练方式转变，再到模型高效适配，大模型技术引起机器学习范式的一系列重要革新，为通用人工智能发展提供了一种新的手段。由单一模态的语言大模型到语言、视觉、听觉等多模态大模型，大模型技术融合多种模态信息，实现多模态感知与统一表示，也将和知识图谱、搜索引擎、博弈对抗、脑认知等技术融合发展，相互促进，朝着更高智能水平和更加通用性方向发展。

万物摩尔定律，成为智能时代的技术进步新引擎。

人工智能技术快速迭代，正以前所未有的速度大踏步前进。

ChatGPT的横空出世引发新一轮人工智能技术竞赛，另一方面，也有越来越多的声音警告强人工智能会给人类带来生存风险。

技术往往是双刃剑。回望历史，科学技术的发展总是在反对和质疑声中一路前行，新技术总会伴随新风险。这一次，我们似乎遇到了一个前所未有的挑战：以目前AI的发展速度，人类会否沦为硅基智慧演化的一个过渡阶段？

科幻电影《黑客帝国》（Matrix）中，人工智能打败并奴役了人类，人类彻底沦为机器人的能源电池

大型语言模型等系统的迅速改进是未来智能增长预期的证据，一旦人工智能系统达到一定的复杂程度，就可能无法控制它们的行为。人们越来越担心能够自己思考和推理的超级人工智能会超越我们以为的速度更快到来。人工智能技术的发展速度足够快，以至于存在的风险可能比人类密切关注的速度更快地成为一个问题。

2023年3月下旬，在 GPT-4 诞生两周之际，有1000多名科技界和AI领域的重量级人物签署公开信，其中包括特斯拉首席执行官马斯克、苹果公司联合创始人沃兹尼亚克、Stability AI总裁莫斯塔克、AI企业DeepMind的多名研究员。后来，签名者超过了33000名。

这封公开信的主要内容是呼吁在6个月内暂停高级人工智能的开发。理由是人工智能实验室陷入了一场失控的竞赛，他们没有办法理解、预测或可靠地控制自己创造的大模型，人类社会对其可能造成的影响也没有做好准备，AI可能对社会和文明构成潜在风险。

在业内有“AI教父”之称的计算机科学家杰弗里·辛顿（Geoffrey Hinton）5月初宣布离职谷歌，进一步加深了人们对AI是否已经失控的担忧。

辛顿曾长期担任谷歌副总裁兼工程研究员，他说离开谷歌“以便更自由地谈论人工智能的危险”。

“这些东西（AI）实际上可以比人类变得更聪明”。Hinton提到他此前也和大部分人一样，认为AI威胁人类是很遥远的事情，至少发生在30年至50年之后。但近期他已经不再认为其很遥远。

2023年5月30日，超过370名AI专家签署公开信《AI风险声明》，信中警告称如果对先进人工智能的发展监管不当，可能会对人类构成生存威胁。

这声明只有一句话：减轻被人工智能灭绝的风险，应该与流行病和核战争等其他大规模社会性风险一样，成为全球优先解决的事项。

许多签署者在 AI 实验室、大型科技公司担任要职。其中包括图灵奖得主 Geoffrey Hinton、Yoshua Bengio，OpenAI首席执行官 Sam Altman，Google DeepMind 联合创始人兼 CEO Demis Hassabis，微软首席技术官 Kevin Scott，谷歌副总裁 James Manyika，OpenAI 首席科学家 Ilya Sutskever，GAN 之父 Ian Goodfellow 等。