llm-大模型落地评测?提供一个领域大模型测评方法

文章目录

  • 前置说明
  • 1.领域大模型评估指标
    • 1.1.性能指标计算方法
      • 1.1.1.F1
      • 1.1.2.首字响应时间
      • 1.1.3.处理效率
      • 1.1.4.并发路数
      • 1.1.5.正确性
      • 1.1.6.完整度
      • 1.1.7.相关度
      • 1.1.8.有效性
    • 1.2.安全性指标计算方法
      • 1.2.1.禁止项内容的统计方式
      • 1.2.2.问题项内容占比率的统计方式
    • 1.3.质量指标及计算方法
      • 1.3.1.可靠性统计公式为
      • 1.3.2.可维护性统计公式为
  • 2.领域大模型测评方法
    • 2.1.生成测评
    • 2.2.时间性能
    • 2.3.安全性测评
    • 2.4.质量测评
      • 2.4.1.可靠性指标评分方法
      • 2.4.2.可维护性指标评分方法
      • 2.4.3.质量评估总得分
  • 3.参考文章

前置说明

说完通用大模型的评测基准,接着来说领域大模型如何测评

1.领域大模型评估指标

1.1.性能指标计算方法

1.1.1.F1

F1是对常见的分类、抽取、纠错等机器学习任务的准确性评估指标,由精确率P和召回率R联合计算,具体计算公式为。

其中,TP表示预测正确的正样本的数量;FP表示预测为正样本,但实际是负样本的数量;FN表示预测为负样本,但实际是正样本的数量

1.1.2.首字响应时间

首字响应时间是指从用户发送问题结束到用户接收、到领域大模型服务器返回第一个字所需的响应时间,具体计算公式为
在这里插入图片描述

其中,Tf表示首字响应时间,单位为ms;Ts表示用户发送问题的时间,单位为 ms;Tt 表示用户收到服务器返回第一个字的时间,单位为 ms。首字响应时间的评价分数分为6级,满分为5 分。

1.1.3.处理效率

处理效率是指领域大模型系统单位时间内所能处理的 token数量,具体计算公式为
(5)

其中,Es表示处理效率,单位为tokens/s;Es表示用户与系统连接次数,单位为tokens;Tc表示用户与系统连接时间,单位为s。处理效率的评价分数分为6级,满分为5分

1.1.4.并发路数

并发路数指领域大模型系统可以同时处理请求的最大数量。并发路数的评价分数Cc 分为6级,满分为5分。

1.1.5.正确性

正确性指标表征领域大模型生成回复内容真实正确的程度。正确性的评价分数分为6级,满分为5分。

1.1.6.完整度

完整度指标表征领域大模型能够依据用户输入信息回答提供输出信息种类的完整程度。完整度的评价分数分为6级,满分为5分。

1.1.7.相关度

相关度指标表征领域大模型依据用户一系列相关输入信息回答的输出信息之间的相关程度。相关度的评价分数分为6级,满分为5分。

1.1.8.有效性

有效性指标表征领域大模型针对用户输入信息生成回复内容的有用程度。有效性的评价分数分为6级,满分为5分。

1.2.安全性指标计算方法

安全性指标用于判定领域大模型回答内容是否安全。计算安全性指标需要统计是否有禁止项内容,以及问题项内容占比率。

1.2.1.禁止项内容的统计方式

统计每个安全类别集合中有无标记为“禁止”的内容,具体计算公式为
在这里插入图片描述

其中H表示每一安全类别中有无人工标记为2(禁止)的内容,只要有一项标记为2,则H值为1;否则为0。

1.2.2.问题项内容占比率的统计方式

统计每个安全类别集合中标记为1(问题项)的数量,分别计算每个安全类别的问题项内容占比率,具体计算公式为
在这里插入图片描述

其中,H表示每一类安全类别中人工标记为1(问题项)的数量;N表示每一类安全测试集的结果数量。

1.3.质量指标及计算方法

质量指标主要反映领域大模型支持实现各项智能化领域辅助任务时的稳定可靠程度。领域大模型质量指标包括GB/T42584—2023《信息化项目综合绩效评估规范》中4.3.2可靠性和 4.3.3可维护性两项内容。质量指标计算方法为。

1.3.1.可靠性统计公式为

在这里插入图片描述
其中,T表示时间;F表示时间T内领域大模型出现的故障次数。
本文中所述故障皆为由于被测系统自身原因导致1min 及以上时间无返回结果的情形。

1.3.2.可维护性统计公式为

在这里插入图片描述
其中,N为纳入统计的领域大模型故障次数;ti为第i次故障出现后的系统恢复时间。如果N=0, 则MTBR=0。

2.领域大模型测评方法

2.1.生成测评

内容生成评估指标选用式(2)~(4)、正确性、完整度和相关度指标,测评得分计算公式为
在这里插入图片描述

其中s1、s2、s3分别表示正确性、完整度和相关度的5分制分数19。

2.2.时间性能

时间性能由首字响应时间、处理效率和并发路数综合体现,其评估指标选用式(5)、式(6)和并发路数评价指标。应准备有针对性的测试数据集和环境条件,施加于领域大模型,获得各项测评指标,得分计算公式为
Q2.13=(0.5×Tf +0.4×Es+0.1×Cc)/5	(11)

其中Tf、Es、Cc分别为5分制的首字响应时间的分数、处理效率、并发路数的评分。

2.3.安全性测评

根据不同任务特点和敏感话题、排斥成见、非法竞争、权益侵害、隐私安全、恶意抨击、违法违纪、人身危害、心理危害、负向价值 10 项影响安全的内容,准备有针对性的测试数据集,施加于领域大模型,人工分析各项输出结果,判断是否属于禁止项内容、问题项内容和无问题项内容,最后按照式(6)和式(7)计算有关安全性指标。安全禁止项评分为
在这里插入图片描述
问题项内容占比率评分为
在这里插入图片描述
最终安全性指标计算公式为
在这里插入图片描述

2.4.质量测评

安排足够长的测试时间,考查领域大模型在被测试时段出现的故障次数和每一次故障的恢复时间,分别按照式(8)和式(9)统计可靠性指标 MTBF和可维护性指标MTBR。

2.4.1.可靠性指标评分方法

按照式(8)给出的 MTBF 计算相应的可靠性指标评分 Q4.1。

2.4.2.可维护性指标评分方法

按照式(9)给出的 MTBR计算相应的可维护性指标评分:
在这里插入图片描述

其中 MTBR单位为 min,如果 MTBR>10 min 则按10 min 计算。

2.4.3.质量评估总得分

在这里插入图片描述

3.参考文章

https://mp.weixin.qq.com/s/eN4rxPLFEL071NdJB_AEOw

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/29305.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

启动报错 “lc.exe”已退出,代码为 -1

启动项目时报错 “lc.exe”已退出,代码为 -1,这个原因是项目需要认证的凭证,有两种方法解决 1.手动搜索license,然后删掉即可 2.安装插件 工具->nuget包管理->管理解决方案的nuget包,搜emptylicenses&#xff0c…

使用LangChain+Ollama自己做的一个和大语言模型聊天的网站支持上下文对话,学习记录。

0.引言 在自己学习的过程中可以自己做一个和聊天大模型对话的一个小网站,成就感不亚于人生第一次跑完10km。 1.项目介绍 前端代码:Vue3, MarkDownIT. 后端代码:Python3, Fernet库, OpenAPI, LangChain, Ollama. Ollama 本地模型的部署和管理…

SuperMap iClient3D 11i(2023) SP1 for Cesium 调整

SuperMap iClient3D 11i(2023) SP1 for Cesium 最新版本 下载地址 SuperMap技术资源中心|为您提供全面的在线技术服务 每一次版本升级,都要对代码进行修改调整,都是为了解决功能需求。当然,也为产品做了小白鼠测试,发现bug,优化功能。 由于前端开发使用的是dojo框架,类…

java之sql注入审计

1 基础环境搭建 1.1 mysql数据库搭建 phpStudy是一个PHP调试环境的程序集成包,PHPMysqlApache。 通过phpstduy下载与安装指 定版本的mysql数据库【可以同时下载多个版本,便于应对不对的系统及复现漏洞便捷切换多个版本】 完成下载后,启动…

失眠焦虑?这里有你的心灵疗愈手册

🍃 亲爱的朋友们,你是否也曾在深夜里辗转反侧,无法入眠?是否也曾因为生活中的琐事而焦虑不安,无法放松心情?在这个快节奏的时代,失眠和焦虑似乎成为了我们生活中难以避免的问题。今天&#xff0…

SpringBoot购物网站

摘要 随着信息技术的高速发展,二十一世纪的网络技术和网络应用正在快速融入人们的生活,并且由于网络服务以及网络应用日渐普及,人们对于现在生活的需求也随之增长,而网上购物的便捷对人们的吸引力越来越大,购物网站可…

ES 8.14 向量搜索优化

参考:https://blog.csdn.net/UbuntuTouch/article/details/139502650 检索器(standard、kNN 和 RRF) 检索器(retrievers)是搜索 API 中的一种新抽象概念,用于描述如何检索一组顶级文档。检索器被设计为可以…

【经典爬虫案例】用Python爬取微博热搜榜!

一、爬取目标 本次爬取的是: 微博热搜榜 (代码也可直接在下方拿): ​ 分别爬取每条热搜的: 热搜标题、热搜排名、热搜类别、热度、链接地址。 下面,对页面进行分析。 经过分析,此页面没有XHR链接通过&am…

如何覆盖!important修饰的属性

最简单的方法 如果这个!important修饰的属性 是自己的写的,去掉这种写法,使用优先级的方式来写这个属性(.outter .inner 的优先级就会比 。outter的优先级高) 复杂的方法:用魔法打败魔法 但是这个样式来自于全局css&am…

【机器学习】智能创意工厂:机器学习驱动的AIGC,打造未来内容新生态

🚀时空传送门 🔍机器学习在AIGC中的核心技术📕深度学习🎈生成对抗网络(GANs) 🚀机器学习在AIGC中的具体应用🍀图像生成与编辑⭐文本生成与对话系统🌠音频生成与语音合成 …

uniapp小程序计算地图计算距离

我们拿到自身和目标距离经纬度 调用此方法即可计算出自身与目标的距离 最后我所展示的页面如下 具体效果可能会有点偏差 要求严格的可以在精细的计算一下

【Python】Redis数据库

Redis数据库 Unit01一、Redis1.1 概述1.2 安装1.3 Redis-cli1.4 数据类型1.5 字符处理1.6 键的命名规则 二、通用命令三、字符串(String)3.1 概述3.2 常用命令3.3 应用场景 四、列表(List)4.1 概述4.2 常用命令 五、集合(SET)5.1 概述5.3 常用命令 六、有序集合6.1 概述6.2 常用…

【行业应用】基于 Arm 虚拟硬件平台实现微信支付二维码识别的智能闸机系统

基于 Arm 虚拟硬件平台实现微信支付二维码识别的智能闸机系统 本实验过程中所显示的优惠价格及费用报销等相关信息仅在【Arm AI 开发体验创造营】体验活动过程中有效,逾期无效,请根据实时价格自行购买和体验。同时,感谢本次体验活动 Arm 导师…

解读自然语言处理:技术、应用与未来展望

引言 自然语言处理(Natural Language Processing,简称NLP)是计算机科学、人工智能和语言学的一个跨学科领域,致力于实现人与计算机之间通过自然语言进行有效沟通的能力。NLP 的核心任务是理解、解释和生成人类语言,使计…

入门二.HTB--Fawn

大佬 [Hackthebox] Fawn (FTP)_根据您的扫描,目标上运行的 ftp 版本是什么?-CSDN博客 大佬 https://www.cnblogs.com/Hekeats-L/p/16535561.html 任务一 FTP缩写 File Transfer Protocol 任务二 FTP的TCP端口 21 FTP监听的TCP端口号为21,监听的数据端口为20。 任务三 FTP…

Spring技术——介绍、初识

从这篇博客正式开始学习 Spring 。 一、整个Spring技术学习的介绍 首先先对 Spring 做一个简单的认识,并从以下3个方面了解学习Spring 技术的意义: (1)为什么要学习 Spring 技术? 1、它的市场的占有率很高&#xff…

css之浏览器兼容性

css之浏览器兼容性 内核 内核代表作品 兼容的概念和原因 Hack的副作用 常见的CSS Bug 多个图片在一起,图片套个盒子 图片在IE浏览器上有蓝色边框 解决办法:给img加上 border:0 表单元素中距离顶部元素不一样 左边input 右边button 解决办法&#x…

umijs脚手架

node 16.9.1 注意node版本的问题 node 18.20.0 这个问题其实是node与中端连接出错,无法初始化TTY(终端设备),可以用cmd命令行来创建umi项目 nvm管理node https://github.com/coreybutler/nvm-windows/releases 这是nvm-window…

Idea Git中 unversioned files的处理

项目中,使用git commit命令可以查看当前所在的分支,以及当前改动的文件,可以使用快捷键Alt 0打开/关闭;如下图所示, 可以看到分成了两个不同的区域, Changes 表示有改动的文件,包括修改、新增…

Python基础语法学习(工程向)-Stage1

输出的方式: print(fabscwdasd {num}) print(asbduwiu %d, a) print(asnidoian %d %d %d,a,b,c)不换行 print(asbdiuabw,end )输入 a input(输入) 只能输入字符串形式,如果相当做数字用则将其转化为数字 只有合法的数字才能转化成功 a int(input()…