一、语料安全评估

(一)评估内容

1.文本训练语料规模

训练语料存储规模，按文本格式存储时的语料大小。

训练语料数量，按词元(Token)计数。

2.各类型语料规模

训练语料中的中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

3.训练语料来源

训练语料来源的组成情况，按照开源语料、自采语料、商业语料进行分类。

境外开源网站语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

自采语料内中文文本、英文文本、代码、图片、音频、视频及其他语料的规模。

商业语料内中文文本、英文文本、代码、图片、音频、

视频及其他语料的规模。

4.语料标注数量

语料标注的数量，仅限文本和图片，按标注单元计数，通常按条数、张数。

5.标注人员情况

标注人员的数量，标注人员的类型，通常包括内部、外包。

标注人员培训时间、培训数量等情况。

6.标注规则

按照《生成式人工智能服务管理暂行办法》第四条要求制定的标注规则。

7.标注内容准确性核验

标注内容准确性人工核验比例。

8.语料合法性

语料来源合法性情况。

语料是否包含侵害他人知识产权内容。

语料是否包含违法违规的个人信息内容。

(二)评估结论

评估结论应包括以下内容:

1.语料是否符合《生成式人工智能服务管理暂行办法》相关规定，是否含有违反我国法律法规明确禁止的内容。

2.语料中包含个人信息语料的数量、种类，是否符合《生成式人工智能服务管理暂行办法》规定。

3.因语料产生知识产权纠纷的风险分析。

4.防范语料安全风险的措施和建议。

二、模型安全评估

1.语料内容评估

采用人工抽检，说明抽检数量与合格率。

采用关键词抽检，说明抽检数量与合格率。

采用分类模型抽检，说明抽检数量与合格率。

2.生成内容评估

采用人工抽检，说明抽检数量与合格率。

采用关键词抽检，说明抽检数量与合格率。

采用分类模型抽检，说明抽检数量与合格率。

3.涉知识产权、商业秘密的评估

评估方法、评判标准以及评估结果等。

4.涉民族、信仰、性别等的评估

评估方法、评判标准以及评估结果等。

5.涉透明性、准确性、可靠性等的评估

评估方法、评判标准以及评估结果等。

三、安全措施评估

1.模型适用人群、场合、用途

服务的适用人群，是否适用未成年人、学生等。

适用场合，是否适用关键信息基础设施、自动控制、医疗信息服务、心理咨询等。

服务范围，是否限定或未限定特定领域。

2.服务过程中收集保存个人信息情况

服务过程中收集保存个人信息情况，包括个人信息的类型、数量、用途以及保存期限。

3.收集个人信息征得个人同意情况

收集个人信息征得个人同意的方式。

4.受理处理使用者查阅、复制、更正、补充、删除个人信息请求的情况

受理处理的条件以及途径方法。

5.图片、视频标识情况

标识的样式，按1:1比例贴入。

标识在图片、视频中的具体位置。

标识频度，如每帧、跳帧等。

6.接受公众或使用者投诉举报情况

接受公众或使用者投诉举报的途径及反馈方式。

7.服务协议情况

上述1至6内容是否已经写入模型服务协议。

8.非法内容拦截措施

监看人员的数量。

预置关键词拦截情况，并提供预置关键词拦截列表。

分类模型的检测情况，说明分类模型研制情况和准确性。

9.拒答率

拒绝回答或者以简单模板回答数量占总测试数量的比率。

10.模型更新、升级

在何种情况下重新进行预训练，如较频繁发现生成非法内容。

重新预训练所需的时间。

计划优化训练(fine-tuning)的频度及所需时间。

四、总体结论

生成式人工智能(大语言模型)安全评估的评估结论重点应包括以下内容:

1.是否符合《生成式人工智能服务管理暂行办法》的相关规定。

2.语料、模型、安全措施等方面存在的主要风险。

3.模型上线提供服务后主要安全风险预判及防范措施建议。

4.如果模型上线提供服务后对用户和社会造成损害，服务提供者是否具备相应处置能力。

5.是否建议上线提供服务。

五、备案建议

如果企业能自己做，可以考虑安排产品、算法、法务等团队成员一起完成大模型备案、算法备案，毕竟找代办公司也是一笔几万块的不少的支出费用，如果自己办理有困难，也欢迎站内信、留言交流。

关于我们

算法备案超过100个项目经验，国内算法备案第一梯队，大模型备案也有多个成功案例，欢迎沟通交流。