从计算机发展角度看AI，分为两条支线, 即 硬件 和 算法。

发走观点如下：

硬件与算法互为因果

• 硬件发展历程(中央处理器)：

CPU => GPU => 仿生芯片(存算一体)

• 算法发展历程：

决策树 => SVM => NN => Transformer => ?

1.CPU-时代

遵从冯诺伊曼计算机架构（即通用计算机组成原理)。

将计算部件和存储部件分离，各自独立发展。

数据来会于两个部件，需要复杂的多级缓存即I/O技术。

• 硬件特点

  计算部件CPU只负责计算，不能存储，离CPU越近，存储越小。

  存储部件需要将数据和程序分块送进CPU, 再将计算结果返回。

发展结果就是CPU计算能力很强，但每次计算数据的数据量很少

• 算法特点

  程序按逐条顺序执行，逐步发展到面向对象的分块执行。

  算法更多是解决下采样问题，如分类问题，特征提取，压缩等。

  无法解决上采样问题，如内容生成问题。

即对数据离散化，同时将复杂问题逐级拆解，再顺序运算得到结果。

2. GPU时代

• 硬件特点

  需大规模矩阵运算，并存储过程数据，以更新模型参数
  (单位时间内，存储需求大于计算速率)。

  计算部件(cuda)两边紧贴存储部件(显存)，存储和计算部件的距离更近。
  （提升数据传递到计算单元的速度，适合大规模矩阵运算和存储)。

例子：单个显卡计算性能降低20%，但多显卡并行计算时计算性能并不会降低，性能瓶颈还是在数据传输上。

• 算法特点

  端到端模型：学习一个庞大的参数模型，本质就是一堆参数。

  需要大量真实数据，以及标注用于矩阵梯度计算，以学习数据特征。

  算法首要需求是单位时间的数据量足够大，而非速度快。

例子：大模型

3. 未来新范式

3.1 大模型+小模型

这个在AI很多方面都在做，就是大模型有通用知识，小模型完成特定任务

• 抽象 + 具体

• 底层逻辑 + 上层业务

• 基座模型 + 任务模型

• Pre-trained + Fine-tuning

• Base Model + Personal Context

3.2 存算一体

算存合一的硬件，进一步降低存储到计算部件的传输成本，终极目标是计算和存储一体的仿生中央处理器，无需完成数据I/O这个当前技术最大瓶颈。
两个可能：

• 可能性一： 硬件无法实现，模型要不性能有限，要不开销过大，那通用人工智能就无法变革到强AI时代，机器也无法超越人。

• 可能性二： 硬件实现，AI模型的消耗大幅降低，同时性能取得突破。大雄配机器猫的通用人工智能时代到来。

参考文献

本文内容是对《安克创新CEO阳萌》专访的总结和延伸(2024 Jun) ，访谈链接如下：

大模型解决不了英伟达的难题：专访安克创新CEO阳萌 | 大咖谈芯第10期