来源：未来科技前沿

没有人喜欢早上起床，但现在人工智能驱动的算法可以设置我们的闹钟、管理我们家中的温度设置以及选择适合我们心情的播放列表，贪睡按钮的使用越来越少。人工智能安全辅助系统使我们的车辆更安全，人工智能算法优化警察巡逻，使我们开车经过和居住的社区也更安全。在我们周围，人工智能无处不在，它为塑造我们环境的工具和设备提供动力，增强和协助我们的日常生活，并推动我们选择吃什么、穿什么、买什么——无论是否经过我们的同意。然而，当我们的智能设备开始决定我们当中谁是可疑的，当一个边缘化社区是不成比例地成为警察巡逻的目标，当一辆自动驾驶汽车撞死一个乱穿马路的人时。

人工智能在日常生活中无处不在，战争也不例外。报道甚至表明，2020 年 11 月对伊朗顶级核科学家的暗杀是由一种自主的、人工智能增强的步枪执行的，该步枪每分钟可发射 600 发子弹。俄罗斯和中国正在迅速发展，并在某些情况下部署支持人工智能的非正规战争能力，而为我们的日常生活提供动力的人工智能系统开始出现同样的裂痕、偏见和不良后果只是时间问题出现在用于发动战争并旨在杀戮的人工智能系统中。

鉴于人工智能和机器学习在战略竞争中的作用，我们必须了解这些系统带来的风险以及它们创造战略优势的能力。通过探索对抗性方法，可以开始建立这样的理解。四类考试对抗性方法的数量为了解这些系统中的漏洞提供了一个窗口。在本文中，我们将以目标识别问题作为基础示例，探讨如何攻击 AI 系统的学习和思维。虽然这个例子发生冲突，但我们描述的方法也可以在对抗中使用。该分析得出两个重要结论：首先，在任何使用人工智能的过程中，人类都必须参与其中。其次，人工智能在大国竞争时代可能无法为美国提供战略优势，但我们必须继续投资并鼓励人工智能在道德上的使用。

对抗方法

与其他军事系统一样，人工智能系统经历了多个不同的生命周期阶段——开发（数据收集和训练）、测试、操作和维护。在这些阶段中的每一个阶段都存在必须识别的独特漏洞，我们对此进行了很多解释。我们将继续开发一个假设的人工智能目标识别系统，该系统正在学习识别敌方装甲车辆。在每个阶段，我们都将探索相关类别的对抗方法——训练投毒、规避攻击、逆向工程和推理攻击——以及我们如何保护我们的系统免受每种方法的侵害。

训练投毒

任何人工智能系统开发的第一步都是问题识别和数据收集。随着我们识别敌方装甲车的挑战，我们必须定义我们的问题。我们想识别所有敌方装甲车，还是只识别特定对手的某种类型？这个问题定义为一组相关数据的收集和准备提供了信息，在这种情况下，这些数据将包括大量感兴趣的敌方装甲车辆的图像。我们不仅必须积累所有感兴趣的车辆的图像，而且还需要各种条件下的图像——例如，不同的光线、不同的角度、有限的曝光和备用通道（例如红外线、日光）。然后由数据分析师准备数据，用于人工智能系统的训练。然而，开发人工智能系统所需的大量数据会造成漏洞。数据量意味着分析师没有能力验证每张收集的图像是真实的敌方装甲车，或者图像代表了装甲车的全部类型。

这一发展阶段是对手可以通过一种称为投毒的技术攻击人工智能系统的第一个阶段。中毒的目的是改变 AI 系统在训练中使用的数据，从而使 AI 学习到的数据存在缺陷。此过程会在系统投入运行之前攻击系统的完整性。

制作恶意原始数据以得出有缺陷的分析结果的基本方法与传统的军事欺骗相同。“水银行动”是二战期间盟军入侵诺曼底之前的一项欺骗行动，旨在攻击德国的防御分析模型。为了完成这次攻击，盟军创建了一支由乔治·巴顿中将领导的幽灵军队（中毒数据），以歪曲德国人对他们应该将防御集中在哪里（模型输出）的分析（模型）。

如此大规模的欺骗作战，在当今互联互通的社会中可能更难实现，但毒化数据是可行的。我们的对手知道我们正在追求支持人工智能的目标识别。知道这样的人工智能系统需要他们当前装甲车辆的训练图像，对手可以通过操纵他们的车辆外观来毒化这些训练图像。这可能就像在他们怀疑可能受到监视的车辆上添加一个独特的符号（如红星）一样简单。然后，我们的人工智能系统将根据这些故意操纵车辆的有毒图像进行训练，并“学习”所有敌方装甲车辆都有红星。

虽然这种中毒攻击会在竞争状态下发生，但当对手部署没有红星的装甲车以避免被发现时，这种影响就会在冲突中体现出来。此外，对手可以在民用车辆上涂上红星，以诱导我们的人工智能系统错误地将平民识别为战斗人员。

可以通过多种方式确保我们的系统正确学习。详细的数据管理可以帮助减轻风险，但会消耗宝贵的时间和资源。相反，可扩展的解决方案包括数据治理策略，以提高用于 AI 系统的数据的完整性和代表性。在 AI 生命周期的所有阶段，适当放置技术控制和训练有素的人员将进一步降低中毒攻击的风险。

规避攻击

下一种攻击类型—一规避，依赖于类似的基本攻击原理，但在 AI 系统运行时部署它们。规避攻击不是毒化 AI 正在学习的内容，而是针对 AI 学习的应用方式。这听起来可能微不足道。但是，它对攻击者成功所需的资源以及防御者需要采取的行动具有重大影响。在投毒攻击中，攻击者需要控制或操纵用于训练模型的数据的能力。在规避攻击中，攻击者至少需要能够在操作期间控制 AI 系统的输入。

规避攻击非常适合计算机视觉应用，例如面部识别、对象检测和目标识别。一种常见的规避技术涉及稍微修改某些图像像素的颜色，以攻击系统如何应用它所学到的知识。在人眼看来，似乎什么都没有改变；然而，人工智能现在可能会对图像进行错误分类。研究人员展示了这种技术的效果，当一个先前正确识别熊猫图像的人工智能被显示看起来是相同的图像但在整个图像中添加了人眼无法察觉的颜色时，它被操纵了。人工智能不仅将熊猫误认为是长臂猿，而且非常自信。

还可以访问系统输出或预测的攻击者可以开发出更强大（所有熊猫图像都被错误识别）或有针对性（所有熊猫都被视为另一种特定动物）的逃避方法。

规避攻击原理也可以在物理世界中使用——例如，戴上特制的太阳镜来遮挡或改变你在面部识别摄像头上的图像，这与伪装背后的原理相同。在这种情况下，对手的目标是模型的感知而不是人类的感知。在军事环境中，如果对手知道我们的 AI 瞄准系统是在带有沙漠伪装的坦克上训练的，那么对手的坦克可以简单地重新涂上林地伪装，以故意逃避我们的 AI 系统的检测。人工智能增强的自主侦察系统现在可能无法有效识别目标，也无法为指挥官提供及时准确的情报。

规避攻击是研究最广泛的对抗性方法之一，因此防御所有可能的攻击媒介将被证明具有挑战性。然而，强化我们的人工智能系统的步骤可以增加我们对它们按预期运行的整体信心。其中一个步骤是在部署之前实施评估工具。这些工具针对各种已知的对抗性方法测试 AI 系统，为我们提供对其稳健性的定量测量。在操作过程中尽可能保持人员参与也可以减轻规避攻击。

逆向工程

前两类攻击在开发和操作期间针对 AI 系统具有相似的基本原则。这些攻击也与欺骗和伪装等传统军事概念有着天然的相似之处。然而，人工智能系统面临的风险并不那么简单，在开发和运营之外还存在潜在的漏洞。人工智能系统在维护或存储时存在哪些漏洞？如果对手通过网络入侵或在战场上捕获下一代支持人工智能的无人机来访问人工智能系统，会有什么风险？

在称为逆向工程的攻击类别中，攻击者攻击 AI 系统的目的是提取 AI 系统所学的内容，并最终使模型得以重建。要进行逆向工程攻击，对手需要能够将输入发送到模型并观察输出。这种攻击绕过了模型本身的任何加密或混淆。对于我们假设的目标识别 AI，这种攻击可以由对手发出不同类型的车辆（输入）并观察哪些车辆引起 AI 的响应（输出）来进行。虽然这种攻击需要时间并冒着资源损失的风险，但最终对手将能够了解目标识别模型认为什么是威胁。

有了这些信息，对手就可以开发出自己的人工智能系统版本。除了使其他对抗性攻击更容易开发之外，直接了解人工智能如何做出决策还使对手能够预测我们的反应或完全避免它们。这种对我们人工智能增强决策过程的洞察力将对我们在整个冲突过程中的运营安全构成重大威胁。

保护我们的系统免受逆向工程可能很困难，特别是因为任务要求可能要求系统允许许多查询或加权输出，而不是简单的二元决策。这凸显了需要一系列量身定制的政策来管理与对抗性方法相关的风险。这些可能包括对支持人工智能的系统的严格问责，特别是那些部署在边缘的系统，如无人机或智能护目镜。此外，我们可以通过只允许授权用户查看系统输出来施加访问限制。

推理攻击

最后一类攻击，称为推理攻击，与逆向工程有关。对手不是试图恢复 AI 系统学到的东西，而是试图提取 AI 系统在其学习过程中使用的数据。这是一个微妙但有意义的区别，对在敏感或分类数据上训练的模型具有重要意义。

为了进行推理攻击，与逆向工程一样，对手需要能够将输入发送到模型并观察输出。通过一组输入和输出，对手可以训练一个对抗性 AI，该 AI 预测是否使用给定的数据点来训练我们的友好模型。

想象一下，我们的目标识别 AI 是根据对手新武器系统的机密图像进行训练的。使用推理攻击，对手可以得知该武器系统的机密性已被泄露。换句话说，对我们的人工智能系统的推理攻击可能会促进机密情报的妥协。如果在对抗期间这样做，可能会对危机和冲突产生重大影响。

与逆向工程非常相似，管理与推理攻击相关的风险将主要通过策略决策来处理。除了访问策略决策之外，在 AI 系统的训练中何时使用敏感或机密数据、使用什么类型的数据以及使用多少数据等问题，也将面临艰难的决策。这些决策需要平衡性能与风险，以开发仍能满足任务要求的人工智能系统。

对大国竞争的启示

当然，这显然不是对所有对抗方法的详尽解释。然而，这个框架应该提供一个充分的概述，领导者可以借此探索将人工智能系统整合到我们的队伍中的积极和消极的全部影响。美国和我们的对手都在追求这项技术，以在未来的战略竞争中获得不对称优势，双方都无法赢得这样的优势。

数据不对称

当我们考虑技术和不对称优势时，从第一原则开始并考虑对“原材料”的相对获取是有用的。在人工智能系统中，原材料是数据——大量的数据。美国是否可以获得与我们的对手相同质量和数量的数据？鉴于美国国家安全中围绕隐私和数据安全的法律因素和社会规范——它们本身就是关键话题——答案显然不是“是”。这表明美国在人工智能系统的开发和部署方面将处于固有劣势。

开发能力

训练有素的人员是人工智能系统的另一个关键资源。正如美国陆军已确定其“以人为本”战略，拥有合适的人员对于美国在战略竞争中的成功至关重要。美国在工业、学术界和军队方面都有人才。能否招募、留住这些人员，并将其用于解决棘手的国家安全问题，这是一个值得深思的悬而未决的问题。在短期内，应该识别已经在我们的队伍中的有才华的人，并且应该同步各个组织在人工智能方面的不同努力。

人工智能只是一种工具

人工智能是一种工具。像任何其他工具一样，它具有固有的优势和劣势。通过对这些优势和劣势进行深思熟虑和现实的评估，美国可以在人工智能的风险和回报之间找到最佳平衡。虽然人工智能可能无法提供美国在战略竞争中寻求的最大不对称优势，但我们也不能将技术让给在该领域大量投资的对手.。相反，美国可以而且应该支持人工智能的道德使用，促进对强大人工智能的研究，并为人工智能系统开发防御性最佳实践。在了解人工智能系统的脆弱性和局限性的基础上实施这些行动和其他行动，将引导美国更有效地将人工智能纳入大国竞争时代的战略。

作者：Nick Starck 上尉是美国陆军网络军官，目前在陆军网络研究所担任研究科学家。他的研究重点是信息战和数据隐私。大卫比尔布劳尔上尉是美国陆军的一名通信官。他于 2021 年获得约翰霍普金斯大学应用数学和统计学工程学硕士学位。Bierbrauer 上尉目前是陆军网络研究所的数据工程师和数据科学家。

Paul Maxwell 博士于 1992 年被任命为装甲军官，并担任过 XO/S-3 营、S-4 旅、连长、侦察排长、XO 连和机械化步兵排长。在美国军事学院，先后担任电气工程与计算机科学系讲师、助理教授、副教授。他目前的职位是西点军校陆军网络研究所的副主任。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”