文章目录
- 前置说明
- 1.领域大模型评估指标
- 1.1.性能指标计算方法
- 1.1.1.F1
- 1.1.2.首字响应时间
- 1.1.3.处理效率
- 1.1.4.并发路数
- 1.1.5.正确性
- 1.1.6.完整度
- 1.1.7.相关度
- 1.1.8.有效性
- 1.2.安全性指标计算方法
- 1.2.1.禁止项内容的统计方式
- 1.2.2.问题项内容占比率的统计方式
- 1.3.质量指标及计算方法
- 1.3.1.可靠性统计公式为
- 1.3.2.可维护性统计公式为
- 2.领域大模型测评方法
- 2.1.生成测评
- 2.2.时间性能
- 2.3.安全性测评
- 2.4.质量测评
- 2.4.1.可靠性指标评分方法
- 2.4.2.可维护性指标评分方法
- 2.4.3.质量评估总得分
- 3.参考文章
前置说明
说完通用大模型的评测基准，接着来说领域大模型如何测评
1.领域大模型评估指标
1.1.性能指标计算方法
1.1.1.F1
F1是对常见的分类、抽取、纠错等机器学习任务的准确性评估指标，由精确率P和召回率R联合计算，具体计算公式为。
其中，TP表示预测正确的正样本的数量；FP表示预测为正样本，但实际是负样本的数量；FN表示预测为负样本，但实际是正样本的数量
1.1.2.首字响应时间
首字响应时间是指从用户发送问题结束到用户接收、到领域大模型服务器返回第一个字所需的响应时间，具体计算公式为
其中，Tf表示首字响应时间，单位为ms；Ts表示用户发送问题的时间，单位为 ms；Tt 表示用户收到服务器返回第一个字的时间，单位为 ms。首字响应时间的评价分数分为6级，满分为5 分。
1.1.3.处理效率
处理效率是指领域大模型系统单位时间内所能处理的 token数量，具体计算公式为
其中，Es表示处理效率，单位为tokens/s；Es表示用户与系统连接次数，单位为tokens；Tc表示用户与系统连接时间，单位为s。处理效率的评价分数分为6级，满分为5分
1.1.4.并发路数
并发路数指领域大模型系统可以同时处理请求的最大数量。并发路数的评价分数Cc 分为6级，满分为5分。
1.1.5.正确性
正确性指标表征领域大模型生成回复内容真实正确的程度。正确性的评价分数分为6级，满分为5分。
1.1.6.完整度
完整度指标表征领域大模型能够依据用户输入信息回答提供输出信息种类的完整程度。完整度的评价分数分为6级，满分为5分。
1.1.7.相关度
相关度指标表征领域大模型依据用户一系列相关输入信息回答的输出信息之间的相关程度。相关度的评价分数分为6级，满分为5分。
1.1.8.有效性
有效性指标表征领域大模型针对用户输入信息生成回复内容的有用程度。有效性的评价分数分为6级，满分为5分。
1.2.安全性指标计算方法
安全性指标用于判定领域大模型回答内容是否安全。计算安全性指标需要统计是否有禁止项内容，以及问题项内容占比率。
1.2.1.禁止项内容的统计方式
统计每个安全类别集合中有无标记为“禁止”的内容，具体计算公式为
其中H表示每一安全类别中有无人工标记为2（禁止）的内容，只要有一项标记为2，则H值为1；否则为0。
1.2.2.问题项内容占比率的统计方式
统计每个安全类别集合中标记为1（问题项）的数量，分别计算每个安全类别的问题项内容占比率，具体计算公式为
其中，H表示每一类安全类别中人工标记为1（问题项）的数量；N表示每一类安全测试集的结果数量。
1.3.质量指标及计算方法
质量指标主要反映领域大模型支持实现各项智能化领域辅助任务时的稳定可靠程度。领域大模型质量指标包括GB/T42584—2023《信息化项目综合绩效评估规范》中4.3.2可靠性和 4.3.3可维护性两项内容。质量指标计算方法为。
1.3.1.可靠性统计公式为
其中，T表示时间；F表示时间T内领域大模型出现的故障次数。
本文中所述故障皆为由于被测系统自身原因导致1min 及以上时间无返回结果的情形。
1.3.2.可维护性统计公式为
其中，N为纳入统计的领域大模型故障次数；ti为第i次故障出现后的系统恢复时间。如果N=0, 则MTBR=0。
2.领域大模型测评方法
2.1.生成测评
内容生成评估指标选用式（2）~（4）、正确性、完整度和相关度指标，测评得分计算公式为
其中s1、s2、s3分别表示正确性、完整度和相关度的5分制分数19。
2.2.时间性能
时间性能由首字响应时间、处理效率和并发路数综合体现，其评估指标选用式（5）、式（6）和并发路数评价指标。应准备有针对性的测试数据集和环境条件，施加于领域大模型，获得各项测评指标，得分计算公式为
其中Tf、Es、Cc分别为5分制的首字响应时间的分数、处理效率、并发路数的评分。
2.3.安全性测评
根据不同任务特点和敏感话题、排斥成见、非法竞争、权益侵害、隐私安全、恶意抨击、违法违纪、人身危害、心理危害、负向价值 10 项影响安全的内容，准备有针对性的测试数据集，施加于领域大模型，人工分析各项输出结果，判断是否属于禁止项内容、问题项内容和无问题项内容，最后按照式（6）和式（7）计算有关安全性指标。安全禁止项评分为
问题项内容占比率评分为
最终安全性指标计算公式为
2.4.质量测评
安排足够长的测试时间，考查领域大模型在被测试时段出现的故障次数和每一次故障的恢复时间，分别按照式（8）和式（9）统计可靠性指标 MTBF和可维护性指标MTBR。
2.4.1.可靠性指标评分方法
按照式（8）给出的 MTBF 计算相应的可靠性指标评分 Q4.1。
2.4.2.可维护性指标评分方法
按照式（9）给出的 MTBR计算相应的可维护性指标评分：
其中 MTBR单位为 min，如果 MTBR>10 min 则按10 min 计算。
2.4.3.质量评估总得分
3.参考文章
https://mp.weixin.qq.com/s/eN4rxPLFEL071NdJB_AEOw
