原文地址：https://venturebeat.com/ai/how-to-secure-ai-system-development/

数据科学家、人工智能工程师和网络安全专家如果在开发过程中未能确保人工智能系统的安全性，可能会使组织面临巨大的经济损失和声誉风险。那么，他们应采取哪些措施来防范这些风险呢？

网络安全专家需关注的常见风险

数据集污染是网络安全专家面临的主要挑战之一，因为它带来的风险巨大且往往不易被发现。一旦攻击者用错误或无关的信息污染了少量数据源，就可能在训练过程中对模型造成破坏。

另一个需要关注的重大威胁是提示注入攻击。攻击者通过劫持模型的输出来迫使模型产生非预期的行为。研究表明，这种攻击的成功率极高，有的研究团队甚至报告称其攻击尝试有97.2%都成功了。通过利用这种模型，攻击者可以获取训练数据、触发动作或引起意外的反应。

在提示注入攻击中，特别值得注意的是提示提取，攻击者通过操纵人工智能系统来获取其规则集。一旦掌握了这些信息，攻击者就可能进一步访问和窃取敏感数据。

模型反转是另一种攻击手段，攻击者通过逆向工程的模型的输出来获取其训练数据集的访问权限，进而窃取敏感或私人信息。这种隐私泄露可能会严重损害组织的声誉。

AI engineers

cybersecurity professionals

Prompt injection

97.2% of their attempts

受损的人工智能系统对组织的冲击

当组织的人工智能系统遭受损害时，其整体安全状况将受到冲击。大多数人已经认识到这一点，因此他们采取了预防措施。实际上，有六成的公司已经在努力降低与人工智能相关的网络安全风险。这种预防意识凸显了可能出现的负面商业后果。

一旦攻击者成功操纵或利用了某个模型，他们就能引发未预期的后果，破坏相连的组件，并在未经授权的情况下访问存储系统。他们的最终目的通常是数据泄露，窃取敏感信息、知识产权或个人识别信息等训练数据集内容。

根据被窃数据的类型和受影响组织的行业，数据泄露可能导致法律诉讼、监管审查和公众的强烈反应。这些情况最可能的结果是财务损失。

six in 10 companies 

sensitive information

在设计人工智能系统时，应提前考虑的安全要素

在设计人工智能系统时，网络安全专家必须牢记几个关键的安全考虑因素。数据集的选择至关重要，因为数据污染攻击和篡改可能会导致模型在早期就受到广泛的——甚至是永久性的——破坏。

即使人工智能工程师使用预训练模型来训练他们的算法，数据集的完整性仍然是关键的安全考虑因素，因为原始模型有可能已经被破坏。至少，它可能存在攻击者可以在部署后轻易利用的漏洞。

选择外包模型设计而不是雇佣内部人工智能工程师的组织必须考虑他们的第三方供应商是否谨慎可靠。供应商——无论是因为疏忽还是恶意——都可能迅速引入安全漏洞。如果没有监督和偶尔的检查，小的弱点可能会变成重大的安全问题。

Dataset integrity

在开发人工智能系统时，关键的安全要点

在人工智能系统的开发中，安全性的考虑至关重要。数据科学家在引入新信息时，必须更新算法的参数，这往往是一个既耗时又资源密集的过程。如果他们为了加速开发而走捷径，就可能会无意中创造新的安全弱点。

即便数据科学家和人工智能工程师没有偏离预期，他们在开发过程中仍可能遇到安全问题。人工智能的“黑箱”问题——缺乏可解释性——使得识别妥协指标（IOCs）变得具有挑战性。当模型的输出无法解释时，识别数据集污染或篡改可能很困难。

大多数攻击源自威胁行为者，但专业人士不应排除不满或疏忽的员工。毕竟，人为错误是95%的网络安全事件的根源。无论开发是在内部还是外部进行，他们在人工智能系统开发过程中都应警惕物理和数字威胁。

95% of cybersecurity incidents

开发质量不达标如何影响部署

如果网络安全专业人员在人工智能系统部署完成之前未能识别妥协指标或认识到腐败迹象，那么他们可能面临持续的、看似无法解释的网络威胁。

准备部署的人工智能工程师必须考虑开发不达标可能带来的安全后果。如果关键漏洞未被注意到，那么意外的模型行为和数据泄露就变得可能。随着时间的推移，组织的安全状况将受到负面影响。

如何在开发过程中保护人工智能系统

网络安全专业人员可以通过与数据科学家和人工智能工程师合作，以确保在开发过程中尽可能减少漏洞的引入，从而提高他们的韧性。信息共享可以显著提高威胁缓解措施的有效性。这也意味着潜在问题可以更早被识别。

尽管与其他部门协调可以提高威胁缓解效果，但结合使用多种方法是最理想的。限制措施可能非常有帮助，因为它们充当了一种保险措施，防止攻击者利用系统触发恶意行为。

网络安全专业人员还应在开发过程中考虑利用模型可解释性，以简化识别IOCs的过程。这样，他们可以更早地识别数据集污染和提示注入攻击。

自然，例行审计是开发最佳实践的关键部分。人工智能工程师应与网络安全专业人员合作，彻底测试他们的系统。这样，他们可以在问题出现之前识别并消除腐败和漏洞。

网络安全专业人员应考虑保留一个基线，以回滚他们的人工智能系统。如果其他一切失败并且发生妥协，这是在不必花费数周时间进行事件响应和恢复的情况下保护模型的少数方法之一。

significantly improve the effectiveness

人工智能系统开发的基本指南

多个监管机构已发布安全人工智能开发的指南。最突出的是美国、加拿大和英国的联合指南。这些国家与澳大利亚、以色列、新加坡、意大利、法国、德国、韩国和日本等国家的机构合作。

像网络安全和基础设施安全局（CISA）、国家安全局（NSA）和国家网络安全中心（NCSC）这样的主要机构共同制定了关于人工智能安全和负责任开发的20页文件。

美国和英国政府针对提供商提出了关于人工智能系统安全设计、部署和操作的指南。它声称有助于减少组织在开发过程中面临的风险。虽然它并不太技术性，但它突出了最佳实践，并全面覆盖了开发者的责任。

claims to help reduce the risk

在应对威胁时，采取主动策略是最为理想的

在缓解威胁时，主动努力是理想的。网络安全专业人员应关注可能在开发过程中危害他们人工智能系统的因素。如果他们主动，将有更好的机会消除威胁，实现更好的商业成果。