文│阿里巴巴标准化部 朱红儒、彭骏涛、孙勇；中国信息通信研究院安全研究所 静静

人工智能（AI）作为新一轮科技革命的重要驱动力量，正在有效推动着数字化转型，其带来巨大机遇的同时，也伴随着新的风险和挑战。当前，人工智能仍处于快速发展阶段，其技术自身固有的脆弱性和管理体系落后于技术发展等诸多问题是客观存在的，人工智能的安全及治理是现阶段的重要课题。纵观全球，世界各国对人工智能的治理还没有统一认识，治理方案正在热议且尚处于起步阶段，但随着各国政策的逐步出台和实践，人工智能治理的特点正在逐渐明朗。近年来，党和国家高度重视人工智能研发利用，在“十四五”的开局之年，我国相继出台和制定了一系列纲领性文件及法律法规，在核心原则、制度要求等方面提出了领先的人工智能治理中国方案，为产业发展人工智能提供了指引方向，同时，国内外相关标准的建设也初具规模，补充了规范人工智能发展的技术及管理细则。

一、国际人工智能治理政策特点

（一）国际人工智能治理特点之一：治理目标坚持发展与规制并行

欧盟既推出产业和数据治理政策，希望加速人工智能产业发展，又同步推进监管规则制定。2018 年 4 月，欧盟委员会发布《欧盟人工智能战略》，通过提高技术和产业能力、应对社会经济变革、建立适当的伦理和法律框架三大支柱，来确立欧盟人工智能价值观。2018 年 5 月，欧盟实施《通用数据保护条例》（GDPR），在数据安全及隐私安全上制定了全球最严格的合规政策，其中涉及人工智能的主要有：GDPR 要求人工智能的算法具有一定的可解释性，这对于“黑箱”人工智能系统来说可能具有挑战性。同时，GDPR 第 22 条对包括画像在内的自动化决策提出了要求：如果自动化决策产生的法律效力涉及数据主体，或对数据主体有类似的重要影响，则数据主体应有权不成为此决策的对象。为了确保人工智能的发展尊重人权并获得信任，2021 年 4 月 21 日，欧盟发布了《人工智能法案》（草案），为人工智能治理提供“硬法”支持，旨在促进欧洲在人工智能领域的创新能力，同时支持在整个欧盟经济中发展和采用合乎伦理且可信的人工智能。2022年，欧盟委员会提出了《人工智能责任指令》提案，进一步提出人工智能安全责任认定机制，来确定当人工智能发生故障或造成伤害时谁应该承担责任，以扫除企业担忧。

美国强调监管的科学性和灵活性，坚持监管的前提是鼓励人工智能的创新和发展，给行业更大的发展空间。2020 年 1 月，美国联邦政府发布了《人工智能应用的监管指南》，这是美国发布的首个人工智能监管指南，其意在为联邦政府对人工智能发展应用采取监管和非监管措施提供指引，要求联邦政府在对人工智能技术和相关产业采取监管和非监管措施时，应以减少人工智能技术应用的障碍和促进技术创新为目标。2023 年 1 月美国众议院推动国会支持监管人工智能技术。2023 年 3 月，美国白宫发布 2024 年预算草案，支持人工智能和量子计算研发。

（二）国际人工智能治理特点之二：为技术创新与发展提供“安全港”

欧盟和美国都越来越重视保障和促进人工智能技术创新与发展。

美国联邦政府 2020 年出台的《人工智能应用的监管指南》中，不仅侧重维护美国核心价值，而且更加强调对人工智能创新与发展的促进，避免一刀切式的过度干预。其优先考虑不通过政策手段阻碍人工智能技术和产业发展，降低创新门槛和成本，它高度重视为人工智能应用创建“安全港”、监管豁免等：一是允许为特定人工智能应用程序提供安全港的试点计划；二是采取成本效益分析，在对人工智能进行监管之前，充分考虑人工智能发展应用的社会成本、益处、影响等，以权衡人工智能活动的利弊并衡量风险大小。

欧盟在《人工智能法案》中提出监管沙盒机制，即建立一个受控的环境，以在有限时间内测试创新性技术，数字创新中心提供检测和实验设施，以帮助创新型公司、中小型企业和初创企业在遵守法规的同时继续创新，这有助于在不影响创新发展的同时，提高人工智能的信任。

（三）国际人工智能治理特点之三：治理模式更加市场化

欧盟和美国都主张采用多元主体参与、协同共治的模式，人工智能治理从政府主导向“政府+市场”主导转型。在过去几年，政府是发布人工智能治理规则的主体，企业技术创新和科学家的研究是被动的治理对象。但是，最新发展趋势显示，企业逐渐从被动接受治理规则转向主动参与制定规则。企业成为越来越重要的治理主体，比如谷歌发布了一个数据集以助力检测合成声音。Meta、Partnership AI 与其他组织发起了“深度造假”视频检测竞赛。电气和电子工程师协会（IEEE）商业委员会在 2020 年第一季度发布第一份题为《对企业使用人工智能的呼吁》的倡议，进一步强调企业在人工智能治理中的主体作用。美国持续推动企业自愿标准和框架，比如，美国国家标准与技术研究院（NIST）和 IEEE 的标准制定机构一直在征求意见并起草行为准则和自愿框架的提案，希冀在人工智能领域减轻风险并消除歧视。

二、我国人工智能政策现状与趋势：建立中国特色的体系化方案

我国具有产业规模、数据、基础设施等的优势，互联网产业发展处于前列。随着进入人工智能时代，中美在该领域竞争日趋激烈，国家高度重视人工智能技术的发展，政府陆续发布了一系列政策文件，以促进人工智能产业发展和加强安全治理。

（一）促进发展：对人工智能发展给予更多政策支持，配套发布一系列产业政策文件

2017 年 7 月，国务院公布了《新一代人工智能发展规划》，这是我国发展人工智能的远景规划。该规划明确提出，未来将要对人工智能发展给予更多资金、政策支持，以及国家级的统筹规划。该计划明确提出了 2020 年和 2025 年的发展目标，并希望到 2030 年中国能成为人工智能领域的全球创新中心，在理论、技术及应用等方面处于领先地位。在此之后，我国陆续发布了一系列产业政策文件，包括《促进新一代人工智能产业发展三年行动计划（2018-2020）》《国家新一代人工智能创新发展试验区建设工作指引》《中华人民共和国国民经济和社会发展第十四个五年规划和 2035 年远景目标纲要》等，旨在引导和促进中国人工智能产业的发展。在国家产业政策之下，部分地方也出台人工智能产业促进文件，以《深圳经济特区人工智能产业促进条例》和《上海市促进人工智能产业发展条例》为例，这些地方积极推进人工智能与经济、生活、城市治理等领域深度融合，促进鼓励人工智能创新发展。

（二）重视治理：建立了算法治理的“法治之网”，确定了现阶段算法治理的重点场景

算法是人工智能的核心要素和监管的重要维度之一。2021 年，中国开始出台法律文件，加强对算法的监管。根据《关于加强互联网信息服务算法综合治理的指导意见》和《互联网信息服务算法推荐管理规定》等文件，中国将逐步建立算法综合治理体系；针对生成合成类、个性化推送类、排序精选类、检索过滤类、调度决策类等五类算法，提出了建立内部管理制度、评估验证、公示说明、用户自主管理、算法备案等要求。目前，国家网信办已公布三批完成备案的算法应用。

近年来，随着人工智能合成技术的突破，以 ChatGPT 为代表的生成式语言大模型的快速发展，人工智能合成技术成为业界关注的焦点和未来主要的战略技术方向。针对生成式人工智能技术与应用，我国迅速出台相关法律法规，比如《互联网信息服务深度合成管理规定》《生成式人工智能服务管理办法（征求意见稿）》等，加强针对性治理与监管。

（三）伦理约束：明确科技伦理原则，提出治理要求，加强科技伦理治理

在科技伦理方面，我国在逐步探索人工智能的基本伦理规范。2021 年《关于加强科技伦理治理的指导意见》将“增进人类福祉”“尊重生命权利”“坚持公平公正”“合理控制风险”和“保持公开透明”明确为科技伦理原则，并分别对创新主体、科研人员、科技类社会团体、科技人员在科技伦理治理中的角色进行定义。随后发布的《新一代人工智能伦理规范》明确了人工智能的基本伦理规范，并提出了人工智能应用管理规范、研发规范、供应规范和使用规范等一系列规范。企业应重点关注研发规范与供应规范，如在算法设计、实现与应用等环节，提升透明性、可解释性、可理解性、可靠性和可控性，增强人工智能系统的韧性、自适应性和抗干扰能力。在数据采集和算法开发环节，提升数据质量，考虑差异化诉求，避免可能存在的数据与算法偏见。在提供人工智能产品和服务环节，应充分尊重和帮助弱势群体与特殊群体，根据需要提供相应替代方案。同时，要保障人类拥有充分自主决策权，确保人工智能始终处于人类控制之下。2023 年 4 月，科技部官网发布“关于公开征求对《科技伦理审查办法（试行）》意见的公告”，旨在加强科技伦理审查和监管，促进负责任创新。该办法提到，开展可能带来伦理风险挑战的科技活动以及依据相关规定需要进行科技伦理审查的科技活动等应依照本办法进行科技伦理审查。

三、国内外人工智能治理重要标准洞察

标准是“软法”工具箱中核心组成部分，具有高度的灵活性，能够适应复杂化、动态化的社会现实。在多方共治的新格局下，治理复杂度也呈倍数增加。标准是协同人工智能产业力量，实现多方共治的重要工具。人工智能亟需借助标准优势提高治理效能，明确清晰、适应人工智能发展的安全及治理标准化体系，是高效贯彻国家方针、加速产业发展和充分发挥治理价值的基础。

目前，国内外标准洞察如下：

（一）国际标准洞察

国际标准化组织（ISO）

2017 年 10 月，ISO/IEC JTC1 成立人工智能的分委员会 SC42。它负责人工智能标准化工作，重点围绕数据质量与治理、可信与安全展开研制工作，并被许多国家及地区作为监管参考，用于人工智能安全及治理工作。

ISO/IEC SC42 WG2 已经开展了 5259 系列人工智能数据质量国际标准，人工智能和数据是鱼和水的关系，数据质量是人工智能发展的生命线，数据安全更是人工智能安全和治理的基础，ISO/IEC 5259 系列是用于衡量和评估人工智能系统中的机器学习和分析的数据质量标准。其中 ISO/IECCD 5259-2 数据质量度量模型和框架部分由日本牵头制定；ISO/IEC DIS 5259-3 数据质量管理要求和指引部分由德国牵头制定；ISO/IEC DIS 5259-4 数据质量过程框架部分为中国牵头的标准，该标准定义的数据质量过程框架包括数据准备、数据处理、数据评估、数据优化等，标准中也规范了数据质量、数据标注质量的评估方法和指标。

ISO/IEC SC42 WG3 可信工作组在国际上关注度非常高，它负责人工智能中可信、伦理、监管、管理、安全等方面的标准制定工作。该工作组开展的 ISO/IEC 23894《信息技术 人工智能 风险管理》国际标准由德国牵头制定。本标准为组织在开发、生产、部署、应用人工智能技术的产品、系统和服务过程中提供针对人工智能的特定风险管理的指南，涉及数据安全、隐私保护、算法特性面临的风险的防护。ISO/IEC TR 24028《信息技术 人工智能 人工智能可信概述》由英国牵头制定。本标准从宏观角度提出了人工智能系统可信赖问题，并分析了人工智能系统存在技术脆弱性的影响因素与缓解措施，进一步提高了人工智能系统可信度的方法，如改善人工智能系统的透明度与可控性等。其中 ISO/IEC TS 8200《信息技术人工智能 自动化人工智能系统的可控性》由中国牵头编制，本标准旨在确保自动化人工智能系统的可控性，促进人工智能的负责任发展。

国际电信联盟（ITU）

ITU-T 关注机器学习与人工智能技术应用中的安全问题，我国企业及组织也积极参与其中。ITU-T SG16 Q5/16 提出了人工智能视觉模型鲁棒性训练框架，ITU-T SG17 Q4/17 TR 提出基于机器学习的反垃圾邮件技术框架；ITU-T SG17 Q15/17TR 利用全同态加密技术为机器学习中的安全推理服务和数据聚合提供安全指导，并提出了人工智能技术安全管理导则。

电气与电子工程师协会标准协会（IEEE SA）

IEEE SA 开展了多项人工智能伦理道德研究，发布了多项人工智能伦理标准和研究报告。IEEE SA 已发布的 IEEE P7000 系列标准，用于规范人工智能系统道德规范方面的问题。

此外，IEEE SA 还关注人工智能鲁棒性、人工智能公平性、可解释人工智能、深度学习评估、人工智能责任化等问题，如 IEEE P3129《人工智能图像识别服务鲁棒性测试和评估标准》、IEEEP3168《机器学习自然语言处理鲁棒性评估标准》、IEEE P3198《机器学习的公平性评估方法标准》，IEEE P2894《可解释人工智能的体系结构框架指南》，IEEE P2841《深度学习评估过程与框架》，IEEE P2840《责任化人工智能许可标准》等。

（二）国内标准洞察

2020 年 7 月，国家标准委、中央网信办、发展改革委、科技部、工业和信息化部联合印发《国家新一代人工智能标准体系建设指南》，形成标准引领人工智能产业发展的新格局。我国标准化体系建设及工作的开展，也为落实人工智能相关政策文件及法规要求，提供了更贴近产业的实施细则。

全国信息安全标准化技术委员会（TC260）

TC260 目前正在研制人工智能自身或基础共性的安全发展标准，国标《信息安全技术 机器学习算法安全评估规范》（在研）规定了机器学习算法应用全生命周期的安全要求和证实方法，同时也对应《互联网信息服务算法推荐管理规定》中生成合成、检索过滤、排序精选、个性化推荐、调度决策五大类算法服务提出了规范要求。该国标不仅适用于对机器学习算法应用的安全评估，也供机器学习算法应用提供者开展自我评估。

国标《信息安全技术 人工智能计算平台安全框架》（在研），定义人工智能计算平台要达成的安全功能效果，一方面保障平台自身安全；另一方面，围绕上层应用面临的多场景共性问题，它保障人工智能模型与数据等核心资产安全，减少应用方的重复投入。

全国信息技术标准化技术委员会（TC28）

2018 年 1 月，TC28 成立了“人工智能标准化总体组”。2020 年 3 月成立了人工智能分技术委员会（SAC/TC 28/SC42），国际对口 ISO/IEC JTC 1/SC 42，它负责人工智能基础、技术、风险管理、可信赖、治理、产品及应用等人工智能领域国家标准制与修订工作。目前，它已发布《人工智能标准化白皮书（2018 版）》《人工智能标准化白皮书（2021 版）》《国家新一代人工智能标准体系建设指南》与《人工智能伦理风险分析报告》。

中国通信标准化协会（CCSA）

CCSA 作为行业标准组织，在可信人工智能、人工智能技术、人工智能数据，以及人工智能垂直场景等领域开展相关安全治理及测评标准，同时也开展了一系列如数字水印、人工智能合成内容检测等治理技术相关的标准规范。

四、我国人工智能治理政策与标准建议

政策与标准都是推动人工智能治理的不可或缺的有效制度，政策指明前进方向，标准实现具体细则，两者支撑协同，共同推动我国人工智能健康发展。

（一）从垂直控制为主的“硬法”模式向结合行业自律的“软法”“硬法”并行的多方协同治理模式转变

为了全面建成人工智能治理体系，标准化是不可或缺的关键环节。将标准作为准则和实践之间的桥梁，针对不同应用场景做出对应的规定，深化标准对技术的规范作用，通过树立行业标杆，进一步补全顶层原则到行业落地的细则指引，进而激发行业自主创新能力，普及先进技术，帮助降低成本，提高整体行业水位。

同时，加速打造多方协同的治理模式，促进政产学研用治理深度融合，包括构建“政产学研用”协同的治理机制、建设人工智能治理创新示范区、建立公共技术服务或检验检测平台等手段。

（二）综合场景、风险等因素建设我国人工智能分类分级治理制度

应基于我国人工智能安全及伦理中不同场景的风险特点，加快人工智能应用分类分级安全准则、保护要求等方面的制度建设。重点围绕规范性文件相对完善且风险程度较高的人工智能细分领域攻关专项治理技术，如，自动驾驶、智能医学、智慧金融、智能媒体/舆情等，对于风险等级较低的场景类型给予更多技术引导，避免过度治理导致发展受限。

从风险角度来看，前沿新技术的应用，往往其安全和治理的需求也在不断变化，首先需要认清“已知”的风险及问题，汇聚技术、产业力量着重解决，如，在人工智能场景中面对现实场景的鲁棒性问题仍未解决、偏见和歧视进一步被强化、透明可解释性缺乏统一判别标准、外部攻击手段和技术提升导致的威胁持续加剧等；对于“未知”风险，不能以“放弃机会来规避风险”，而是需要产业、各界以共治的方式共同面对，小步快走，迭代试错，在小范围分解问题，并尝试提出社会利益最大的解决方案。

（三）鼓励持续发展治理技术，在监管框架下合理分配主体责任，寻求发展与治理的平衡模式

近年来，联邦学习、对抗测试、形式化验证、公平性评估等技术工具不断得到关注与研发，很大程度上提高了行业整体人工智能安全与治理水平，建议继续给与科技企业进行技术治理的空间，进一步提升治理技术水平，例如数据匿名化机制等以激发更多数据价值，数字水印技术来保障人工智能生成内容的可溯源防篡改能力。以发展促治理，同时也以治理促发展，积极探索适配创新科技高速发展的合理模式，避免抑制人工智能的发展与应用潜力。

随着生成式人工智能的发展和普及，未来数据来源的合法合规性将成为治理重点，例如知识产权、生成式内容的真实准确性等问题也会给行业带来全新的挑战，考虑到生成式人工智能场景中数据来源的多样性、具有多方责任主体等特征，不合理的主体责任分配将带来的治理成本的剧增，例如，由技术支持者承担内容安全责任，在实践中很难操作落地，内容平台进行生成合成识别的难度及成本远高于技术或服务提供者进行水印标识。因此建议，结合行业实际情况，在监管框架下合理区分各方的主体责任，降低治理成本和发展约束，给与行业更多的创新空间。

（四）加强国际规则及标准的制定，提高中国人工智能安全与治理方案的国际话语权

我国人工智能产业具有数据与产业规模的巨大优势，同时也具备众多先进核心原则与顶层规范的先发优势，在如今人工智能新时代的拐点中，我们应进一步发挥优势，加大人工智能治理与安全国际规则及标准制定的权重，尤其是鼓励产业一线企业、组织的参与与贡献，从而提升中国方案在国际上的竞争力和话语权。

（本文刊登于《中国信息安全》杂志2023年第5期）