从大脑中汲取灵感，能效提高了1000倍，新芯片拓展AI的可能性

来源：ScienceAI

人工智能算法无法以目前的速度保持增长。像深度神经网络这样的算法——它受到大脑的松散启发，多层人工神经元通过称为权重的数值相互连接——每年都在变大。但如今，硬件改进已无法跟上运行这些海量算法所需的大量内存和处理能力。很快，人工智能算法的规模可能会碰壁。

即使我们可以不断扩大硬件以满足人工智能的需求，还有另一个问题：在传统计算机上运行它们会浪费大量能源。运行大型人工智能算法产生的高碳排放已经对环境有害，而且随着算法变得越来越庞大，情况只会变得更糟。

一种称为神经形态计算的解决方案从生物大脑中汲取灵感来创建节能设计。不幸的是，虽然这些芯片在节能方面可以超过数字计算机，但它们缺乏运行大型深度神经网络所需的计算能力。这让人工智能研究人员很容易忽视它们。

这在8月终于改变了，当时Weier Wan, H.-S. Philip Wong、Gert Cauwenberghs团队揭示了一种名为 NeuRRAM 的新型神经形态芯片，该芯片包括300万个存储单元和数千个内置于其硬件中的神经元，用于运行算法。

论文链接：

https://www.nature.com/articles/s41586-022-04992-8

它使用一种相对较新的内存类型，称为电阻式RAM或RRAM。与以前的RRAM芯片不同，NeuRRAM被编程为以模拟方式运行，以节省更多的能源和空间。虽然数字存储器是二进制的——存储1或0——但NeuRRAM芯片中的模拟存储单元可以在一个完全连续的范围内存储多个值。这使得芯片可以在相同数量的芯片空间中存储来自大量AI算法的更多信息。

因此，新芯片可以像数字计算机一样执行复杂的人工智能任务，如图像和语音识别，作者声称它的能效提高了 1000 倍，为微型芯片在以前不适合智能手表和手机等人工智能的小型设备中运行越来越复杂的算法开辟了可能性。

未参与这项工作的研究人员对结果印象深刻。「这篇论文非常独特.」香港大学长期RRAM研究员王中锐说,「它在不同的层面做出了贡献——在设备层面、电路架构层面和算法层面。」

创造新的回忆

在数字计算机中，运行AI算法时浪费的大量能源是由一个简单且普遍存在的设计缺陷造成的，该缺陷使每一次计算都效率低下。通常情况下，计算机的内存——它保存计算过程中处理的数据和数值——被放置在远离处理器的主板上，而处理器就是在那里进行计算的。

对于通过处理器传输的信息，「这有点像你花了八个小时在通勤上，但你只做了两个小时的工作。」曾在斯坦福大学工作的计算机科学家Wan说，他最近搬到了人工智能初创公司Aizip。

图示：NeuRRAM芯片可以在其内存中运行计算，它存储的数据不是传统的二进制数字，而是模拟频谱。（来源：网页）

用将内存和计算放在同一个地方的新型一体化芯片来解决这个问题似乎很简单。它也更接近于我们的大脑可能如何处理信息，因为许多神经科学家认为计算发生在神经元群体中，而记忆是在神经元之间的突触加强或削弱它们的连接时形成的。但事实证明，制造这样的设备很困难，因为目前的内存形式与处理器中的技术不兼容。

几十年前，计算机科学家开发了这些材料来制造新的芯片，这些芯片可以在存储内存的地方执行计算——一种被称为内存计算的技术。但由于传统的数字计算机表现非常出色，这些想法被忽视了几十年。

「这项工作，就像大多数科学工作一样，被遗忘了。」斯坦福大学教授Wong说。

事实上，第一个这样的设备至少可以追溯到1964年，当时斯坦福大学的电气工程师发现他们可以操纵某些称为金属氧化物的材料来打开和关闭其导电能力。这很重要，因为材料在两种状态之间切换的能力为传统内存存储提供了支柱。通常，在数字存储器中，高电压状态对应于1，低电压状态对应于0。

论文链接：

https://www.sciencedirect.com/science/article/abs/pii/0038110164901315

为了让RRAM设备切换状态，这里需要在连接到金属氧化物两端的金属电极上施加电压。通常，金属氧化物是绝缘体，这意味着它们不导电。但是有了足够的电压，电流就会积聚起来，最终穿过材料的薄弱环节，形成通往另一侧电极的路径。一旦电流突破，它就可以沿着该路径自由流动。

Wong将这个过程比作闪电：当云中积聚了足够多的电荷时，它会迅速找到一条低电阻路径并发生雷击。但与路径消失的闪电不同，穿过金属氧化物的路径仍然存在，这意味着它可以无限期地保持导电。并且可以通过向材料施加另一个电压来擦除导电路径。因此研究人员可以在两种状态之间切换RRAM，并使用它们来存储数字存储器。

20世纪中叶的研究人员没有认识到节能计算的潜力，他们也不需要使用他们正在使用的更小的算法。直到2000年代初，随着新金属氧化物的发现，研究人员才意识到这种可能性。

当时在IBM工作的Wong回忆说，一位在RRAM上工作的获奖同事承认他并不完全了解所涉及的物理学。「如果他不明白.」Wong回忆道，「也许我不应该尝试去理解它。」

但在2004年，三星电子的研究人员宣布他们已经成功地将RRAM内存集成在传统计算芯片之上，这表明内存计算芯片最终可能成为可能。Wong决定至少尝试一下。

用于人工智能的内存计算芯片

十多年来，像Wong这样的研究人员一直致力于将RRAM技术构建到能够可靠地处理高性能计算任务的地步。大约在2015年左右，计算机科学家开始认识到这些节能设备对于大型AI算法的巨大潜力，并开始起飞。那一年，加州大学圣巴巴拉分校的科学家表明，RRAM设备可以做的不仅仅是以一种新的方式存储内存。他们可以自己执行基本的计算任务——包括在神经网络的人工神经元中进行的绝大多数计算，这些都是简单的矩阵乘法任务。

论文链接：

https://www.nature.com/articles/nature14441

在NeuRRAM芯片中，硅神经元内置于硬件中，RRAM存储单元存储权重——代表神经元之间连接强度的值。由于NeuRRAM存储单元是模拟的，它们存储的权重代表了设备在低电阻状态和高电阻状态之间切换时出现的所有电阻状态。这实现了比数字RRAM存储器更高的能效，因为该芯片可以并行运行许多矩阵计算，而不是像数字处理版本那样一个接一个地同步运行。

但由于模拟处理仍落后于数字处理数十年，仍有许多问题需要解决。一是模拟RRAM芯片必须异常精确，因为物理芯片上的缺陷会引入可变性和噪声。（对于只有两种状态的传统芯片，这些缺陷几乎没有那么重要。）这使得模拟RRAM设备运行AI算法变得更加困难，因为如果RRAM设备的导电状态并非每次都完全相同，那么识别图像的准确性就会受到影响。

「当我们看到一条照明路径时，每次都是不同的。」Wong说，「因此，RRAM表现出一定程度的随机性——每次对它们进行编程都会略有不同。」Wong的团队证明，如果对算法进行训练以适应芯片上遇到的噪音，RRAM设备可以存储连续的AI权重，并且仍然与数字计算机一样准确，这一进步使他们能够生产NeuRRAM芯片。

他们必须解决的另一个主要问题涉及支持各种神经网络所需的灵活性。过去，芯片设计人员必须将微型RRAM器件排列在较大的硅神经元旁边的一个区域中。RRAM设备和神经元是硬连线的，没有可编程性，因此只能在一个方向上执行计算。为了支持具有双向计算的神经网络，需要额外的电线和电路，从而增加了能量和空间需求。

因此，Wong的团队设计了一种新的芯片架构，其中RRAM存储设备和硅神经元混合在一起。这种对设计的微小改动减少了总面积并节省了能源。

瑞士苏黎世联邦理工学院的神经形态研究人员Melika Payvand说：「我认为 [这种安排] 真的很漂亮……我绝对认为这是一项开创性的工作。」

几年来，Wong的团队与合作者一起在NeuRRAM芯片上设计、制造、测试、校准和运行AI算法。他们确实考虑使用其他新兴类型的内存，这些内存也可以用于内存计算芯片，但RRAM具有优势。因为它在模拟编程方面具有优势，并且相对容易与传统计算材料集成。

他们最近的结果代表了第一个可以运行如此庞大而复杂的AI算法的RRAM芯片——这一壮举以前只能在理论模拟中实现。德雷克塞尔大学计算机科学家Anup Das说：「当涉及到真正的硅时，这种能力就缺失了……这项工作是第一次演示。」

Cauwenberghs曾说过，「数字人工智能系统灵活而精确，但效率要低几个数量级。」现在，Cauwenberghs认为，他们灵活、精确和节能的模拟RRAM芯片「首次弥合了差距」。

扩大规模

该团队的设计使NeuRRAM芯片很小——只有指甲大小——同时压缩了300万个可以用作模拟处理器的RRAM存储设备。虽然它至少可以像数字计算机一样运行神经网络，但该芯片也（并且是第一次）可以运行在不同方向上执行计算的算法。他们的芯片可以向RRAM阵列的行输入电压并从列中读取输出，这是RRAM芯片的标准，但它也可以从列反向到行，因此它可以用于处理不同方向的数据流动的神经网络

与RRAM技术本身一样，这早已成为可能，但没有人想过这样做。「为什么我们以前没有考虑过这个？」 Payvand问道，「事后看来，我不知道。」

「这实际上开辟了许多其他机会。」Das说。作为例子，他提到了一个简单的系统能够运行多维物理模拟或自动驾驶汽车所需的大量算法。

然而尺寸是个问题。最大的神经网络现在包含数十亿个权重，而不是新芯片中包含的数百万个权重。Wong计划通过堆叠多个NeuRRAM芯片来扩大规模。

在未来的设备中保持较低的能源成本或进一步缩小它们同样重要。实现这一目标的一种方法是更紧密地复制大脑，以采用真实神经元之间使用的通信信号：电脉冲。这是当细胞内外的电压差达到临界阈值时，从一个神经元向另一个神经元发出的信号。

「那里有很大的挑战。」伦敦大学学院的纳米技术研究员Tony Kenyon说，「但我们可能仍想朝那个方向发展，因为……如果您使用非常稀疏的尖峰，您可能会获得更高的能源效率。」然而，Kenyon指出，要在当前的NeuRRAM芯片上运行峰值算法可能需要完全不同的架构。

目前，该团队在NeuRRAM芯片上运行大型AI算法时实现的能源效率创造了新的希望，即内存技术可能代表AI计算的未来。也许有一天，我们甚至能够匹配人类大脑的860亿个神经元和连接它们的数万亿个突触，而不会耗尽能量。