Gartner发布新兴技术指南：生成式人工智能和深度伪造对身份验证的影响

使用生成式人工智能(GenAI)技术生成的 Deepfakes（深度伪造）对身份验证的完整性构成了根本威胁。身份验证产品领导者必须了解这一新兴威胁，并采取积极主动的方法来区分和保护其解决方案产品。

主要发现

活体检测技术对于防御深度伪造以及在身份验证过程的“自拍捕获步骤”期间验证个人用户的真实存在变得至关重要。这促使供应商结合多种因素来区分其解决方案并提供更全面的保护。
生成式人工智能的最新进展使深度伪造变得越来越复杂和适应性更强，因为高级攻击者现在可以以惊人的精度模仿面部表情、眨眼模式甚至微妙的微动作，甚至混淆了最先进的检测算法。身份验证领域的产品领导者正在被迫采用更全面的方法，其中结合了多层防御策略来防御深度伪造。
深度伪造攻击者正在将 GenAI 的快速发展武器化，不断发明新的、更复杂的攻击技术。随着 GenAI 的不断快速发展，身份验证产品领导者将需要积极与人工智能和安全专家合作，以预测未来的攻击向量并主动制定对策。

建议

为了防御这些不断增加的深度伪造攻击，身份验证产品领导者必须：

投资开发和实施主动和被动活体检测组合策略，以评估真实存在并检测深度伪造，随着人工智能技术的成熟和攻击变得更加复杂，战略重点将放在被动活体检测上。
集成指示攻击的其他信号的检测功能，通过评估产品成熟度和商品化水平，在内部开发或与现有供应商的合作/并购 (M&A) 之间进行选择。
投资了一个威胁情报团队，专注于跟踪新兴的深度伪造相关威胁并收集攻击者使用的各种技术的情报。此外，产品领导者应该充分利用GenAI 的优势，使用合成数据来加强机器学习 (ML) 算法训练。

战略规划假设

到 2026 年，使用 AI 生成的面部生物识别深度伪造的攻击将意味着 30% 的企业将不再认为此类身份验证和身份验证解决方案是可靠的。

分析

技术说明

GenAI 技术可以通过从原始源内容的大型存储库中学习来生成内容、策略、设计和方法的新派生版本。GenAI 可以对业务的各个方面产生深远的影响，包括内容发现、创建、真实性和监管；人类工作的自动化；以及客户和员工体验。

GenAI 的出现提高了身份验证供应商必须防御的攻击的复杂性。GenAI 工具能够以最少的技术投入生成看似真实的语音、视频和图像格式的内容，而深度伪造的滥用可能会破坏验证过程。尽管深度伪造已经存在了一段时间，但用户友好工具的激增使得它们的创作变得更容易，甚至对于技术熟练程度有限的个人来说也是如此。2023 年全球检测到的深度伪造数量是2022年检测到的数量的 10 倍。Gartner 估计深度伪造达到早期多数（即超过 16% 的目标市场采用率）的时间是一到三年，因为深度伪造是同步进行的。与支持其创作的 GenAI 进步携手并进。这就要求身份验证供应商采取多管齐下的方法来防范这些不断上升的深度伪造攻击。

市场定义

Gartner 将身份验证定义为远程交互期间的活动组合，在组织风险承受范围内带来真实世界的身份声明。以 SaaS 或本地方式提供的身份验证功能可确保真实世界的身份存在，并且声明该身份的个人是其真正的所有者，并且在远程交互过程中真实存在。

这通常涉及一个人捕获其带照片的身份证件的实时图像，该工具会检查该图像是否有伪造或伪造的迹象。一旦确定文件的真实性，系统就会提示该人拍摄其脸部的照片或视频片段。在此步骤中，该工具使用活体检测（或正式的演示攻击检测）来确定该人的真实存在，然后将生物识别面部与身份证件中的照片进行比较。

一些身份验证供应商还在验证过程中捕获声纹，以便将来用于联络中心语音身份验证。该用户流很容易受到语音深度伪造的影响，一些供应商也在投资实时语音深度伪造检测功能。然而，出于本研究报告的目的，我们重点关注针对自我或身份验证过程中的视频捕获过程的深度伪造。图 1 总结了本文档中讨论的深度伪造检测的关键见解。

图 1：Deepfake 检测的关键见解

关键洞察：活性检测机制对于颠覆深度伪造攻击至关重要。

在身份验证过程中，攻击者可以通过以下两种方式使用深度伪造来瞄准面部匹配步骤或文档验证步骤，或两者兼而有之：

演示攻击——攻击者使用设备的摄像头捕获可能已打印出来或正在另一台设备的屏幕上显示的深度伪造图像或视频。
注入攻击——攻击者直接将深度伪造图像或视频注入供应商的 API 或软件开发工具包 (SDK)，欺骗供应商的系统，使其相信图像或视频来自设备的摄像头。

攻击者更容易实施演示攻击。Gartner 与最终用户组织和供应商的讨论表明，随着 GenAI 技术和工具引起了公众的关注，去年此类攻击的数量急剧增加。此类攻击也更容易检测，因为许多供应商可以确定图像是否正在从另一台设备的屏幕上拍摄，尽管在使用超高分辨率屏幕时这会变得更加困难。另一方面，注入攻击更难实施，因为它们需要更多的技术专业知识，但也更难检测。

就技术能力而言，活体检测可以成为检测深度伪造的重要工具。供应商使用该技术在身份验证过程的“自拍捕获步骤”中评估个人的真实存在。主动技术依赖于用户在自拍捕捉过程中必须采取一些动作，例如按照指示转动头部或微笑。通过引入用户必须采取的随机的、令人惊讶的行动来迷惑攻击者，可以进一步加强这种评估。这有助于避免熟悉自拍捕获过程和相关活体检测要求的攻击者呈现预先录制的深度伪造视频的情况。相反，攻击者需要实时创建一个深度伪造来响应随机挑战。另一方面，被动技术可能涉及寻找面部的微运动、3D 深度分析以及血液在皮肤动时光反射的变化。

没有明确的证据表明主动或被动活体检测更适合检测深度伪造。有主动和被动活体检测解决方案符合 iBeta 针对国际标准化组织（ISO） 30107-3 标准的 2 级认证的示例，但应该注意的是，该标准的范围不包括注入攻击。最近美国国家标准与技术研究院（NIST）针对 PAD 的人脸分析技术评估也是如此。一方面，主动活体检测迫使攻击者创建视频而不是单个图像，并且它引入了有助于深度伪造检测的时空伪影。另一方面，通过被动活体检测，攻击者无法轻松了解如何评估活体，因此无法生成专门针对检测过程量身定制的深度伪造攻击。

对产品领导者的近期影响

提供身份验证解决方案的供应商应该预料到，如果出现伪造/篡改的文档或深度伪造的图像、视频和/或音频，现有客户和销售前景可能会对其解决方案的可行性提出挑战和担忧。客户和潜在客户可能希望讨论今天遇到的此类攻击的类型和频率。这提供了一个通过思想领导力（例如博客、白皮书、网络研讨会）在拥挤的市场中脱颖而出的机会，承认该问题并解释缓解方面的最新技术水平。如果供应商无法用简单的术语来解释其解决方案的准确性，那么他们可能会发现自己比这样做的竞争对手处于劣势。

从技术能力的角度来看，主动和被动活体检测技术在对用户体验（UX）的影响以及建立真实用户存在的准确性方面都有利有弊。鉴于深度伪造技术的进步速度，供应商应该假设主动活体检测将更容易受到攻击，因为随着GenAI技术的进步，可以实时复制请求的动作手势。因此，被动检测在未来可能是一种更具战略性的方法。然而，在短期内同时部署主动和被动技术可能更为谨慎。

当涉及合成文档图像的特定用例时，使用NFC进行文档验证可能是评估文档真实性的一种更准确的方法。但这也带来了一系列挑战，涉及芯片文档和 NFC 智能手机的有限采用，以及需要下载移动应用程序对用户体验的影响。

建议采取的行动

投资活体检测，以评估深度伪造时的真实存在，战略重点是被动活体检测。
不要仅仅依靠 iBeta 或 NIST 测试来证明在活体检测方面的功效。仅将这些视为基线资格。向客户证明使用一组更广泛、更强大的攻击媒介（涉及深度伪造和注入攻击）来测试活体检测。
决定策略是否包括在内部开发深度伪造检测功能，鉴于 GenAI 的快速发展，需要持续投资，或者是否应该寻找专注于实时性和深度伪造检测的可能供应商。
积极地承认深度伪造的挑战，并教育客户针对这些攻击的防御策略。

关键洞察：更广泛地防御深度造假需要使用多个信号来指示攻击。

如今，许多人工智能生成的假图像在进行更深入的检查时，在手、眼睛和牙齿等更精细的特征上缺乏清晰度，尽管这些图像正在迅速改善。可以使用计算机视觉机器学习模型来检测缺陷，该模型可以发现不同面孔上微妙但异常的身份特征，例如在提交的多张假照片或文档中具有相同配置的发丝。检测深度伪造的其他方法包括寻找是否缺乏自然运动（例如眨眼）或自然元素（例如阴影）。在身份验证用例中，模型甚至可以将扬声器的面部运动与先前的视频实例进行比较。

然而，人工智能的快速发展很可能导致该技术达到无法通过这些技术或上述被动和主动活体检测相结合来检测深度伪造的程度。在这种情况下，对于身份验证产品领导者来说，更可靠的方法是将其防御扩展到深度伪造检测之外，以查看可以指示攻击的信号组合，跨上下文和设备数据层进行关联和评分。这种策略有助于确保即使深度伪造本身由于其高真实性而未被系统检测到，该攻击也很可能会被检测到。表1列出了许多可用于检测攻击的其他功能。

表1 ：用于检测深度伪造攻击的功能

能力	描述	应用
设备分析	通过确定性规则运行从设备硬件（CPU、GPU、屏幕分辨率）和软件（操作系统、浏览器、语言、时区）收集的元数据来识别异常	演示攻击和注入攻击
行为分析	会话跟踪功能，可监控用户与受保护服务的交互，以构建信任模型来区分真实用户和机器人	演示攻击和注入攻击
位置智能	利用从设备和环境中收集的大量信号对 GPS 或 IP 地址报告之外的特定位置进行指纹识别，以检测欺诈行为	演示攻击和注入攻击
3D图像检测	检测到不存在 3D 存在，表明所呈现的 2D 图像可能是深度伪造的、从屏幕打印或投影的	演示攻击
屏幕检测	检测是否存在眩光或反射，这可能是屏幕用于向相机显示图像或视频的迹象	演示攻击
模拟器检测	检测虚拟相机以及在大型机器上运行的虚拟移动设备	注射攻击
元数据检查	检测设备摄像头在图像尺寸和分辨率等方面与供应商期望的偏差。可能注入了不符合预期的图像或视频。	注射攻击
泄密签名	向通过 API 或 SDK 拍摄的图像或视频添加水印。任何不包含这些泄露特征的图像或视频都可能已被注入到工作流程中。	注射攻击
API/SDK有效载荷完整性	对从供应商的 API/SDK 发送到其服务器的有效负载（包含图像或视频）进行加密签名，这有助于防止网络级别（而不是设备级别）的注入攻击	注射攻击
数据肯定	从身份证明文件中提取数据，然后对照其他来源（例如身份图谱、信用局或政府发证机构）进行检查	演示攻击和注入攻击
人类分析师	使用人类分析师进行图像检查，以防 ML/AI 模型无法生成高置信度分数	演示攻击和注入攻击

资料来源：Gartner（2024 年 1 月）

对产品领导者的近期影响

在更广泛的层面上，身份验证供应商不能仅仅将防御深度伪造攻击的方式依赖于主动/被动深度伪造检测，而还应该监控可以指示攻击的其他信号，例如设备分析、行为分析和位置情报。然而，旨在内部开发所有这些能力可能并不谨慎。对于某些功能，例如设备智能、设备分析和位置智能，与成熟的行业供应商合作在资源和预算优先级方面可能更明智。其他功能，例如屏幕检测、模拟器检测、泄露签名、分层评分上下文和 API/SDK 有效负载完整性，并不容易商品化，需要内部开发工作。

在所有上述信号中，人类分析师可以在“图像检查”层上增加价值，而所有其他层（活体检测、设备/位置、元数据、泄露签名等）生成 ML 模型需要的信号解释。从理论上讲，人类可以在检测深度伪造中发挥重要作用。但是，如果ML算法无法产生足够高的置信度得分，则许多身份验证供应商提供的混合选项可能不如人们期望的那样有效。

到目前为止，大多数针对该主题进行的多项研究表明，人类可以以与机器学习模型相同的准确度（甚至更高）来识别深度伪造品。人类和人工智能工具具有各自的优势。例如，AI更好地检测了深击中的细微差别或模式，而人类倾向于更多地依赖上下文信号，例如为什么视频中的主题会以特定方式行事。人类也可能更擅长识别或质疑虚假视频背后的道德或政治动机。

虽然这些可以成为识别公共领域中的虚假内容的强大功能，但在身份验证供应商针对的大多数用例中都缺乏这种上下文信号。因此，随着技术的进步和深度伪造变得更加复杂，人类分析师在深度伪造检测中的作用可能会减弱。

建议采取的行动

不要仅仅依赖于能够检测欺诈性文件或深度伪造品本身。投资添加设备分析、行为分析和位置情报等信号——这些信号可能是检测攻击的绝佳背景，即使欺诈性文档或深度伪造本身仍未被发现。
对于表 1 中列出的不同功能，可以选择内部开发（需要持续投资以不断重新训练 AI 模块）或评估市场以寻找正在开发该能力专业知识的可能合作伙伴/收购目标。在某种程度上，选择将取决于能力的商品化水平。

关键洞察：了解攻击者如何创建深度伪造品对于阻止新兴威胁至关重要。

GenAI 是一项快速发展的技术，新 GenAI 工具的广泛可用性要求供应商做出积极努力，以保持领先攻击者一步。在这方面的一个重要步骤是投资于威胁情报部门或团队，该部门或团队专注于了解攻击者利用的最新工具和技术来生成深度伪造并绕过既定检查。了解攻击者利用的实际工具和策略、技术和程序（TTP）可以使产品负责人及时了解最新的攻击模式，并通过加速训练检测算法来加强自己的防御。供应商可以了解某些模型技术的特征，并将其构建到他们的检测功能中。

GenAI 开发合成数据集的能力可以为产品领导者提供一种有趣的方式来使用该技术进行防御。通过对攻击变体进行逆向工程，模拟从上述工作中识别出的新兴攻击模式的合成数据集可用于调整算法以获得更好的检测率。

在严格的安全环境之外，GenAI 还可用于帮助身份验证产品领导者解决面部生物识别过程中的人口统计偏差问题。许多供应商面临的挑战是获取大型人脸数据集，并在其生物识别平台上训练机器学习模型。保留用户的生产图像以进行机器学习训练是一个法律和商业雷区。购买大型数据集是许多供应商追求的选择。这两种方法面临的挑战是如何生成在性别、种族和年龄等人口统计方面真正多样化的训练数据集。训练数据缺乏多样性可能会导致机器学习算法出现偏差。使用 GenAI创建深度伪造图像是应对这一挑战的一种解决方案。可以通过人为提高人口较少人口群体的训练数据水平来创建大型合成面孔数据集，以更好地表示多样性。这可以降低获取数据集的成本和工作量，还有助于最大限度地减少生物识别过程中引入的偏差。

对产品领导者的近期影响

攻击者正在利用 GenAI 发起前所未有规模的复杂攻击，而供应商仅通过手动防御方法来阻止这些攻击变得越来越困难。主动威胁追踪可以帮助供应商领先于攻击者。这可以包括投资错误赏金计划，以奖励任何向组织发出有关如何利用虚假内容绕过护栏的警报的人。

另一个重要的应对策略是建立专注于与客户互动的专门团队。这种促进直接和动态沟通渠道的努力可以帮助产品领导者持续了解客户在实地遇到的威胁的不断变化的性质。

建议采取的行动