语言模型评价指标

1. BLEU(Bilingual Evaluation Understudy)

目标:衡量生成文本和参考文本之间的词汇相似性。

计算步骤:
  1. N-gram 匹配

    • 将生成文本和参考文本分解成 1-gram、2-gram、…、N-gram(通常取到 4-gram)。
    • 统计生成文本中的 N-gram 是否出现在参考文本中。
  2. 精确匹配率

    • 对每个 N-gram,计算生成文本中匹配的数量与总数量的比值:
      Precision n = 生成文本中匹配的 N-gram 数 生成文本中的 N-gram 总数 \text{Precision}_n = \frac{\text{生成文本中匹配的 N-gram 数}}{\text{生成文本中的 N-gram 总数}} Precisionn=生成文本中的 N-gram 总数生成文本中匹配的 N-gram 
  3. 加权平均

    • 对不同的 N-gram 精确率取加权几何平均(权重通常相等):
      BLEU N = exp ⁡ ( ∑ n = 1 N w n ⋅ log ⁡ ( Precision n ) ) \text{BLEU}_N = \exp\left(\sum_{n=1}^N w_n \cdot \log(\text{Precision}_n)\right) BLEUN=exp(n=1Nwnlog(Precisionn))
      其中, w n = 1 N w_n = \frac{1}{N} wn=N1
  4. 长度惩罚

    • 如果生成文本的长度与参考文本长度差距过大,BLEU 分数会受到惩罚:
      BP = { 1 , 生成文本长度 > 参考文本长度 exp ⁡ ( 1 − 参考文本长度 生成文本长度 ) , 否则 \text{BP} = \begin{cases} 1, & \text{生成文本长度} > \text{参考文本长度} \\ \exp\left(1 - \frac{\text{参考文本长度}}{\text{生成文本长度}}\right), & \text{否则} \end{cases} BP={1,exp(1生成文本长度参考文本长度),生成文本长度>参考文本长度否则
  5. 最终公式
    BLEU = BP ⋅ exp ⁡ ( ∑ n = 1 N w n ⋅ log ⁡ ( Precision n ) ) \text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^N w_n \cdot \log(\text{Precision}_n)\right) BLEU=BPexp(n=1Nwnlog(Precisionn))


2. ROUGE(Recall-Oriented Understudy for Gisting Evaluation)

目标:衡量生成文本覆盖参考文本的程度,更关注召回率

主要变体:
  1. ROUGE-N(基于 N-gram 的召回率):

    • 计算生成文本中匹配的 N-gram 占参考文本中 N-gram 的比例:
      ROUGE-N = 匹配的 N-gram 数量 参考文本中的 N-gram 总数 \text{ROUGE-N} = \frac{\text{匹配的 N-gram 数量}}{\text{参考文本中的 N-gram 总数}} ROUGE-N=参考文本中的 N-gram 总数匹配的 N-gram 数量
  2. ROUGE-L(基于最长公共子序列的匹配):

    • 计算生成文本与参考文本的最长公共子序列(LCS),然后基于 LCS 的长度计算召回率和精确率:
      R = LCS 参考文本长度 , P = LCS 生成文本长度 R = \frac{\text{LCS}}{\text{参考文本长度}}, \quad P = \frac{\text{LCS}}{\text{生成文本长度}} R=参考文本长度LCS,P=生成文本长度LCS
      ROUGE-L = ( 1 + β 2 ) ⋅ P ⋅ R R + β 2 ⋅ P \text{ROUGE-L} = \frac{(1 + \beta^2) \cdot P \cdot R}{R + \beta^2 \cdot P} ROUGE-L=R+β2P(1+β2)PR
      其中, β \beta β 是召回权重。
  3. ROUGE-S(基于跳跃的二元词对):

    • 计算生成文本和参考文本中,所有词对的匹配情况。

3. METEOR(Metric for Evaluation of Translation with Explicit ORdering)

目标:解决 BLEU 无法捕获语义相似性和顺序的重要性问题。

计算步骤:
  1. 匹配策略

    • 包括词形匹配(exact)、同义词匹配(synonymy)、词干匹配(stemming)。
    • 对生成文本中的每个词,找出参考文本中最优匹配。
  2. 精确率与召回率

    • 计算生成文本与参考文本的匹配精度(P)和召回率(R):
      P = 匹配的词数 生成文本的总词数 , R = 匹配的词数 参考文本的总词数 P = \frac{\text{匹配的词数}}{\text{生成文本的总词数}}, \quad R = \frac{\text{匹配的词数}}{\text{参考文本的总词数}} P=生成文本的总词数匹配的词数,R=参考文本的总词数匹配的词数
  3. 调和平均

    • 对 P 和 R 使用 F1 分数加权:
      F = ( 1 + β 2 ) ⋅ P ⋅ R R + β 2 ⋅ P F = \frac{(1 + \beta^2) \cdot P \cdot R}{R + \beta^2 \cdot P} F=R+β2P(1+β2)PR
  4. 惩罚因子

    • 考虑词序对齐情况,加入惩罚因子 (P_{\text{penalty}}),对不连贯的匹配施加惩罚:
      Penalty = γ ⋅ ( chunk 数量 匹配词数 ) 3 \text{Penalty} = \gamma \cdot \left(\frac{\text{chunk 数量}}{\text{匹配词数}}\right)^3 Penalty=γ(匹配词数chunk 数量)3
  5. 最终分数
    METEOR = F ⋅ ( 1 − Penalty ) \text{METEOR} = F \cdot (1 - \text{Penalty}) METEOR=F(1Penalty)


4. Perplexity

目标:衡量语言模型生成文本的连贯性和预测能力,表示模型对句子的不确定性。

计算公式:
  • 对于语言模型给定的句子 w 1 , w 2 , … , w N w_1, w_2, \ldots, w_N w1,w2,,wN,Perplexity 定义为:
    Perplexity = 2 − 1 N ∑ i = 1 N log ⁡ 2 P ( w i ∣ w 1 , … , w i − 1 ) \text{Perplexity} = 2^{-\frac{1}{N} \sum_{i=1}^N \log_2 P(w_i | w_1, \ldots, w_{i-1})} Perplexity=2N1i=1Nlog2P(wiw1,,wi1)
解释:
  1. 概率计算

    • P ( w i ∣ w 1 , … , w i − 1 ) P(w_i | w_1, \ldots, w_{i-1}) P(wiw1,,wi1) 表示模型预测第 i i i 个词的概率。
    • 高概率(模型更确定)对应低 Perplexity。
  2. 直观意义

    • Perplexity 越低,说明模型越能有效预测文本。
    • Perplexity 是对数似然的指数变换:
      Perplexity = exp ⁡ ( − 1 N ∑ i = 1 N log ⁡ P ( w i ) ) \text{Perplexity} = \exp\left(-\frac{1}{N} \sum_{i=1}^N \log P(w_i)\right) Perplexity=exp(N1i=1NlogP(wi))

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/pingmian/65512.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

2-199基于Matlab-GUI的混合粒子群算法求解TSP问题

基于Matlab-GUI的混合粒子群算法求解TSP问题,多种路径可选,可设置微粒数目、迭代次数,动态展示路径规划过程及迭代曲线,得到叫佳的路径,输出最优路径序列及最终距离。程序已调通,可直接运行。 2-199基于Ma…

【ArcGIS Pro】完整的nc文件整理表格模型构建流程及工具练习数据分享

学术科研啥的要用到很多数据,nc文件融合了时间空间数据是科研重要文件。之前分享过怎样将nc文件处理成栅格后整理成表格。小编的读者还是有跑不通整个流程的,再来做一篇总结篇,也分享下练习数据跟工具,如果还是弄不了的&#xff0…

2412d,d语言中写汇编

原文 嗨,我只是想共享该要点,它展示了如何在ASM中用D编写你好. D中写汇编非常方便!这是我写的: extern(C) int main() {auto hip "hello D\n".ptr;size_t len 8;//write(1,消息,长度)asm {mov RDX, len;//缓冲长度mov RSI, hip;//消息缓冲mov EDI, 1;//Stdout文描…

VM虚拟机配置ubuntu网络

目录 桥接模式 NAT模式 桥接模式 特点:ubuntu的IP地址与主机IP的ip地址不同 第一部分:VM虚拟机给ubuntu的网络适配器,调为桥接模式 第二部分:保证所桥接的网络可以上网 第三部分:ubuntu使用DHCP(默认&…

C++软件设计模式之观察者模式

观察者模式的动机意图 观察者模式(Observer Pattern)是一种行为型设计模式,它定义了对象之间的一种一对多的依赖关系,使得当一个对象的状态发生改变时,所有依赖于它的对象都能够自动收到通知并进行相应的更新。 动机…

评分模型在路网通勤习惯分析中的应用——启发式搜索(2)

接上文《评分模型在路网通勤习惯分析中的应用——提出问题(1)》,本文内容主要针对上文提出的问题解决思路,详细讨论每一步骤中的具体处理措施。 4、问题的详细解决过程 4.1、对地图数据进行结构化 地图的本质是一种有向加权图结…

Mysql(MGR)和ProxySQL搭建部署-Kubernetes版本

一、Mysql(MGR) 1.1 statefulSet.yaml apiVersion: apps/v1 kind: StatefulSet metadata:labels:app: mysqlname: mysqlnamespace: yihuazt spec:replicas: 3serviceName: mysql-headlessselector:matchLabels:app: mysqltemplate:metadata:labels:app: mysqlspec:affinity:p…

【C语言】库函数常见的陷阱与缺陷(三):内存分配函数[3]--realloc

C语言中的realloc函数用于重新分配先前分配的内存块的大小,并可能更改其位置。然而,realloc函数的使用也存在一些陷阱与缺陷。 一、功能与常见用法 realloc 函数用于调整之前通过 malloc 或 calloc 分配的内存块的大小。它既可以增加也可以减少内存的大小,具体取决于请求的…

Lecture 17

10’s Complement Representation 主要内容: 1. 10’s 补码表示: • 10’s 补码表示法需要指定表示的数字位数(用 n 表示)。 • 表示的数字取决于 n 的位数,这会影响具体数值的解释。 2. 举例: • 如果采用 3 位补码&…

【Hackthebox 中英 Write-Up】Web Request | 分析 HTTP 请求和响应

欢迎来到我的writeup分享!我希望大家不要只关注结果或答案,而是通过耐心阅读,尝试逆向工程理解背后的运作原理。在这里,你不仅能找到解题的思路,还能学到更多与Hack The Box等平台相关的技术和技巧,期待与你…

linux 点对点语音通话及直播推流实践一: linux USB声卡或耳机 基本配置

inux USB声卡或耳机 基本配置 工具安装查看设备录放音操作录音放音声音配置获取控制信息音量配置本文介绍 linux下alsa声音原件 工具使用方法,包括设备查询、声卡基本配置、录音放音等。 保证 alsa套件可正常操作和配置声卡,是实现SIP语音通话、音视频 采集及推拉流功能的基础…

《优势谈判》——阅读笔记

投入 思想准备:一个谈判是要双赢的,至少需要让对手这么认为;进行一场谈判,需要看到对面是否真的愿意和你谈判 谈判技巧 永远不要接受首次报份;如果对方临时变更了要求,则可以通过立刻要求对方做补偿等方…

PPT画图——如何设置导致图片为600dpi

winr,输入regedit打开注册表 按路径找,HKEY_CURRENT_USER\Software\Microsoft\Office\XX.0\PowerPoint\Options(xx为版本号,16.0 or 15.0或则其他)。名称命名:ExportBitmapResolution 保存即可,…

高性能网络框架--fstack

【欢迎关注编码小哥,学习更多实用的编程方法和技巧】 Fstack 是一个高性能的网络框架,主要用于构建高性能的网络应用程序,特别是在处理大量并发连接时。它基于 Linux 的 epoll 机制,使用了多线程和事件驱动的编程模型。以下是对 …

电商项目-数据同步解决方案(三)商品上架同步更新ES索引库

一、 需求分析和业务逻辑 主要应用技术有:Feign远程调用, 消息队列-RabbitMQ ,分布式搜索引擎-ElasticSearch,Eureka,Canal 商品上架将商品的sku列表导入或者更新索引库。 数据监控微服务需要定义canal监听器&#x…

Unity游戏环境交互系统

概述 交互功能使用同一个按钮或按钮列表,在不同情况下显示不同的内容,按下执行不同的操作。 按选项个数分类 环境交互系统可分为两种,单选项交互,一般使用射线检测;多选项交互,一般使用范围检测。第一人…

前端正在被“锈”化

jeff Atwood 在 2007 年说:"any application that can be writen in JavaScript , willeventually be written in JavaScript",翻译过来就是:“任何可以使用 JavaScript 来编写的应用,并最终也会由 JavaScript 编写”&a…

穷举vs暴搜vs深搜vs回溯vs剪枝_全排列_子集

46. 全排列 递归解决:一开始选一个数,递归进入下一层再选一个新的数,直到到最后一个数。反会上一层遍历其它数。 每次递归到叶子节点就找到了一种组合,思路有了具体怎么实现? 1.怎么记录每条路径? 定义一个…

【openGauss】正则表达式次数符号“{}“在ORACLE和openGauss中的差异

一、前言 正则作为一种常用的字符串处理方式,在各种开发语言,甚至数据库中,都有自带的正则函数。但是正则函数有很多标准,不同标准对正则表达式的解析方式不一样,本次在迁移一个ORACLE数据库到openGauss时发现了一个关…