通过学习生物范式，寻找解决AI识别噪音的新方法

来源：ScienceAI

编辑：萝卜皮

人工智能可以看到我们看不到的东西——通常是有害的。虽然机器在识别图像方面已经非常擅长，但仍然很容易愚弄它们。只需在输入图像中添加少量人眼无法察觉的噪声，AI 就会突然将校车、狗或建筑物归类为完全不同的对象，例如鸵鸟。

在 2021 年 6 月份一篇在线发表的论文中，多伦多大学的 Nicolas Papernot 和他的同事研究了处理语言的不同类型的机器学习模型，并找到了一种通过在人类不可见的过程中干预输入文本来欺骗它们的方法。隐藏的指令只有在计算机读取文本背后的代码以将字母映射到其内存中的字节时，才会被计算机看到。Papernot 的团队表明，即使是很小的添加，比如为空白编码的单个字符，也会对模型对文本的理解造成严重破坏。这些混淆也会对人类用户产生影响——在一个例子中，单个字符导致算法输出一个句子，则会告诉用户向错误的银行账户汇款。

论文链接：https://arxiv.org/abs/2106.09898

这些欺骗行为是一种称为对抗性示例的攻击，故意更改输入以欺骗算法并使其出错。2013 年，当研究人员欺骗了一个深度神经网络（一种具有多层人工「神经元」来执行计算的机器学习模型）时，该漏洞在 AI 研究中变得突出。

目前没有针对任何对抗样本媒介的万无一失的解决方案，但该问题也并非未能全不能解决。对于图像识别，研究人员可以特意用对抗性图像训练深度神经网络，以便更轻松地看到它们。不幸的是，这种称为对抗性训练的方法只能很好地抵御模型已经看到的对抗性示例。此外，它会降低模型在非对抗性图像上的准确性，并且计算成本很高。最近，人类很少被这些相同的攻击所欺骗的事实，促使一些科学家寻找受生物视觉启发的解决方案。

布里斯托大学的计算神经科学家 Benjamin Evans 说：「数百万年来，进化一直在优化许多生物体，并找到了一些非常有趣和创造性的解决方案。我们有必要看看这些解决方案，看看我们是否可以对它们进行逆向工程。」

专注于中央凹

人类和机器视觉感知之间的第一个明显差异始于这样一个事实，即大多数人通过我们的眼睛处理世界，而深度神经网络则不然。由于我们的中央凹的位置，我们在视野中间最清楚地看到事物，中央凹是我们眼球后部瞳孔后面的一个小坑。在那里，数以百万计的光感受器比其他任何地方都更密集地聚集在一起。

「我们认为我们看到了周围的一切，但这在很大程度上是一种错觉。」麻省理工学院计算神经科学家 Tomaso Poggio 说。

机器通过分析代表图像中每个像素的颜色和亮度的数字网格来「看到」。这意味着他们在整个视野中（或者更确切地说，他们的数字网格）具有相同的视力。Poggio 团队想知道是否像我们眼睛那样处理图像——焦点清晰，边界模糊——可以通过减少外围噪声的影响来提高对抗性的稳健性。他们用经过编辑的图像训练深度神经网络，只在一个地方显示高分辨率，模仿我们的眼睛可能聚焦的地方，随着分辨率的降低而向外扩展。由于我们的眼睛四处移动以注视图像的多个部分，因此它们还包括具有不同高分辨率区域的同一图像的多个版本。

他们 2020 年发表的结果表明，使用「注视点」图像训练的模型可以提高对抗对抗样本的性能，而不会降低准确性。但是他们的模型在对抗攻击方面仍然不如对抗性训练（顶级的非生物解决方案）有效。Poggio 实验室的两位博士后研究人员 Arturo Deza 和 Andrzej Banburski 正在继续这项工作，将更复杂的注视点计算纳入其中，更加强调发生在我们周边视觉中的计算。

论文链接：https://arxiv.org/abs/2006.16427

镜像视觉神经元

当然，光线照射到我们眼睛的细胞只是第一步。一旦来自光感受器的电信号离开我们的眼睛后部，它们就会沿着神经纤维传播，直到到达我们大脑后部的视觉处理位置。关于单个神经元如何在那里分层组织以表示视觉特征（例如线的方向）的早期突破启发了计算机科学家 Kunihiko Fukushima 在 1980 年开发了第一个卷积神经网络（CNN）。这是现在的一种机器学习模型广泛用于图像处理，已发现它可以模仿整个视觉皮层的一些大脑活动。

CNN 的工作原理是使用过滤器扫描图像以提取特定特征，例如对象的边缘。但是发生在我们视觉皮层中的处理仍然有很大不同，也更加复杂，有些人认为更密切地反映它可以帮助机器看到更像我们的东西——包括对抗对抗样本。

麻省理工学院 James DiCarlo 和布里斯托大学 Jeffrey Bowers 的实验室一直在这样做。两个实验室都添加了一个特殊的过滤器，该过滤器近似于单个神经元如何在被称为初级视觉皮层的区域中提取视觉信息，而 DiCarlo 的实验室则更进一步添加诸如噪声发生器之类的功能，旨在复制大脑中随机发射的噪声神经元。这些新增功能通过防止过度依赖纹理（一个常见的 AI 问题）和图像失真（如模糊）的困难，使机器视觉更加人性化。

当 DiCarlo 的实验室针对对抗性示例尝试使用增强的 CNN 时，结果表明，这些修改使其对抗性图像的准确性提高了四倍，与标准 CNN 模型相比，在干净图像上的准确性仅略有下降。它还优于对抗性训练方法，但仅适用于训练期间未使用的对抗性图像类型。他们发现所有受生物学启发的添加物协同工作以抵御攻击，最重要的是他们的模型添加到每个人工神经元的随机噪声。

在2021 年 11 月发表的一篇新的会议论文中，DiCarlo 的实验室与其他团队合作，进一步研究了神经噪声的影响。他们向一个新的人工神经网络添加了随机噪声，这一次的灵感来自我们的听觉系统。他们声称这个模型还成功地抵御了语音的对抗样本——他们再次发现随机噪声发挥了重要作用。「我们还没有完全弄清楚为什么噪音会与其他特征相互作用。」论文的共同作者 Joel Dapello 说，「这是一个相当开放的问题。」

论文链接：

https://proceedings.neurips.cc/paper/2021/hash/8383f931b0cefcc631f070480ef340e1-Abstract.html

会「睡觉」的机器

当我们闭上眼睛并且我们的视觉皮层不处理外部世界时，我们的大脑所做的事情可能对我们抵御攻击的生物盔甲同样重要。加利福尼亚大学圣地亚哥分校的计算神经科学家 Maksim Bazhenov 花了二十多年时间研究我们睡觉时大脑中发生的事情。最近，他的实验室开始研究让算法进入睡眠状态是否可以解决许多 AI 问题，包括对抗性示例。

他们的想法很简单。睡眠在记忆巩固中起着至关重要的作用，这就是我们的大脑如何将最近的经历转化为长期记忆的方式。像 Bazhenov 这样的研究人员认为，睡眠也可能有助于建立和存储我们对每天遇到的事物的普遍知识。如果是这样的话，那么做类似事情的人工神经网络也可能会在存储有关其主题的广义知识方面变得更好——并且不太容易受到来自对抗性示例的少量噪音的影响。

「睡眠是大脑实际上有时间关闭外部输入并处理其内部表征的阶段。」Bazhenov 说，「就像生物系统一样，[机器]可能需要一段时间的睡眠。」

Timothy Tadros 主导的 2020 年会议论文中，Bazhenov 的实验室在训练人工神经网络识别图像后，将其置于睡眠阶段。在睡眠期间，网络不再被迫根据一种依赖于最小化误差的常见学习方法（称为反向传播）来更新其神经元之间的连接。相反，该网络可以以无监督的方式自由地更新其连接，模仿我们的神经元根据一种称为赫布可塑性的有影响力的理论更新其连接的方式。与没有睡眠的神经网络相比，睡眠后的神经网络需要向对抗性样本添加更多噪声才能被愚弄。但是对于非对抗性图像，准确性略有下降，对于某些类型的攻击，对抗性训练仍然是更强的防御。

不确定的未来

尽管最近在开发受生物学启发的方法以防止对抗样本方面取得了进展，但在被接受为行之有效的解决方案之前，它们还有很长的路要走。另一位研究人员能够击败这些防御措施可能只是时间问题——这在对抗性机器学习领域非常普遍。

并不是每个人都相信生物学甚至是正确的观察地点。

「我不认为我们对系统的理解或训练程度，足以知道如何创建一个不受此类攻击不利影响的生物启发系统。」卡内基·梅隆大学的计算机科学家 Zico Kolter 说。

Kolter 预测，最成功的前进道路将涉及在大量数据上训练神经网络——这种策略试图让机器看到和我们一样多的世界，即使它们以不同的方式看待世界。