M3ID和CD的区别

M3ID的公式:
在这里插入图片描述
CD的公式(概率空间版本):
在这里插入图片描述

在这里插入图片描述

CD的公式(logits空间版本):
在这里插入图片描述


为简单对比,主要比较概率空间版本。logits空间版本已有证明和概率空间版本等效,在此不做详细讨论,证明过程详见原论文的appendix

(1)mask的区别

CD的mask:

在这里插入图片描述
意思是:概率太低的logits直接排除,既不做CD,甚至直接不可能作为输出,因为其logits直接被置为-inf

M3ID的mask:

在这里插入图片描述
注意,这里是指:当最大的logits小于阈值时,才使用CD;即若模型对某个预测十分自信时,则不需要使用CD,直接输出即可

和原始CD的区别:原始CD对每个t,都排除掉较小的logits,然后全部t都使用CD
而M3ID,并没有排除掉较小的logits,而是仅对部分t使用CD
其实两种策略并无冲突,是可以结合的

(2) β \beta β的区别

这里我们以logits空间的版本为例,因为logits空间的版本的公式和M3ID更像,也就是解耦了输出的scale和偏移direction的版本。此时,偏移direction由 β ( c o n d i t i o n − u n c o n d i t i o n ) \beta(condition-uncondition) β(conditionuncondition)决定。

M3ID的 β \beta β

β = 1 − e ( − λ t ) e ( − λ t ) \beta=\frac{1-e^{(-\lambda{t})}}{e^{(-\lambda{t})}} β=e(λt)1e(λt),其中 λ = 0.02 \lambda=0.02 λ=0.02
当t=34.65时, β = 1 \beta=1 β=1,当t=100时, β = 6.389 \beta=6.389 β=6.389 β \beta β是一个单调递增函数,且随着t的增大,差值(或者说比值)会逐渐占据主导

注意,logP=log_softmax(logits)和logits是近似等效的。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/bicheng/25013.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Ceph入门到精通-ceph经典盘符飘逸问题处理步骤

在Ceph存储系统中,"盘符飘逸"通常指的是Ceph OSD(Object Storage Daemon)使用的磁盘在系统重启后没有被正确挂载或识别。这可能是由于多种原因造成的,例如磁盘连接问题、驱动问题或配置错误。以下是解决此问题的步骤: 确认磁盘状态: 使用lsblk或fdisk -l命令来…

C#编码中间语言IL,也称为 MSIL 或 CIL

C# 是一种编译型语言,它的源代码(.cs 文件)首先被编译成中间语言(IL,也称为 MSIL 或 CIL,即 Microsoft Intermediate Language),然后这个中间语言代码通常被封装在一个程序集&#x…

Linux网络 - json,网络计算服务器与客户端改进

文章目录 前言一、json1.引入库2. 使用步骤2.Calculator.hpp3.Task.hpp4.serverCal.hpp 新客户端 前言 本章内容主要对上一章的网络计算器客户端和服务器进行一些Bug修正与功能改进。 并学习如何使用json库和daemon函数。 一、json 在我们自己的电脑上一些软件的文件夹中&…

springboot003图书个性化推荐系统的设计与实现-手把手调试搭建

springboot003图书个性化推荐系统的设计与实现-手把手调试搭建 springboot003图书个性化推荐系统的设计与实现-手把手调试搭建

如何删除电脑端口映射?

在使用电脑进行网络连接时,有时需要进行端口映射以实现不同设备之间的信息远程通信。当这些端口映射不再需要时,我们需要及时删除它们以确保网络的安全和稳定。本文将介绍如何删除电脑端口映射的方法。 操作系统自带的工具 大多数操作系统都提供了自带…

电机控制系列模块解析(29)—— 逆变器带输出LC滤波器

一般长线驱动(港口和油矿)和超高速电机(高频)等驱动系统可能会要求加装输出LC滤波器。 此图片来源于会议PPT 一、逆变器带输出LC滤波器 逆变器输出端配置LC滤波器(电感L与电容C组成的无源滤波电路)旨在改…

pdf文件如何防篡改内容

PDF文件防篡改内容的方法有多种,以下是一些常见且有效的方法,它们可以帮助确保PDF文件的完整性和真实性: 加密PDF文档: 原理:通过设置密码来保护PDF文档,防止未经授权的访问和修改。注意事项:密…

创新实训2024.06.03日志:完善Baseline Test框架、加入对Qwen-14B的测试

1. Baseline Test框架重构与完善 在之前的一篇博客中(创新实训2024.05.29日志:评测数据集与baseline测试-CSDN博客),我介绍了我们对于大模型进行基线测试的一些基本想法和实现,包括一些基线测试的初步结果。 后来的一…

通过无障碍控制 Compose 界面滚动的实战和原理剖析

前言 针对 Compose UI 工具包,开发者不仅需要掌握如何使用新的 UI 组件达到 design 需求,更需要了解和实现与 UI 的交互逻辑。 比如 touch 事件、Accessibility 事件等等。 Compose 中对 touch 事件的处理和原理,笔者已经在《通过调用栈快…

状态设计模式完成商品的创建状态之间的流转

/** * 产品状态:1编辑、2提审、3撤审、4通过、5运行(审核通过后worker扫描状态)、6拒绝、7关闭、8开启 */ public enum ActivityState { /** 1:编辑 */EDIT(1, "编辑"),/** 2:提审 */ARRAIGNMENT(2, "提审"),/** 3&#…

[office] excel2003横向求和的方法步骤图 #媒体#笔记#经验分享

excel2003横向求和的方法步骤图 Excel中经常需要横向求和,横向求和具体该如何操作呢?下面是小编带来的关于excel2003横向求和的方法,希望阅读过后对你有所启发! excel2003横向求和的方法 横向求和步骤1:下面这个表格就是我们需要求和的示例表…

应对差旅报销的“三多一低”,科世达、众瑞智能、高仙机器人为何都选择分贝通?

制造企业是典型的复杂体,从研发、采购、生产、销售到售后等盘根错节。在业务复杂度、流程规范化等持续进阶的同时,报销单据量更是月月破万,可企业在差旅报销的管理依然保持“传统风格”。 从申请、审批、预订到报销,环节复杂冗长,这也逐渐形成了制造业特有的支出管理难题———…

【Linux】进程(9):进程控制1

大家好,我是苏貝,本篇博客带大家了解Linux进程(9)进程控制1,如果你觉得我写的还不错的话,可以给我一个赞👍吗,感谢❤️ 目录 1 fork函数2 进程终止(A)终止是…

java中异常-异常概述+异常体系结构

一、异常概述 1、什么是异常? java程序在运行时出现的不正常情况 2、java中提供的默认的异常处理机制 java中对java程序运行时可能会出现的每种不正常情况都创建了一个唯一对应的类,在java程序运行时如果出现不正常情况,java程序就会创建…

[minepy][python]minepy所有whl文件下载地址汇总

minepy是一个基于最大信息系数(MIC和MINE族)的Python库,它提供了对非参数勘探的有力支持。以下是关于minepy的详细介绍: 主要功能与特点: minepy提供了APPROX-MIC、MIC_e、总信息系数(TIC)和广义…

Java | Leetcode Java题解之第140题单词拆分II

题目&#xff1a; 题解&#xff1a; class Solution {public List<String> wordBreak(String s, List<String> wordDict) {Map<Integer, List<List<String>>> map new HashMap<Integer, List<List<String>>>();List<List…

USB Type-C 和 USB供电数据和电源角色

USB Type-C 连接器生态系统随着现代平台和设备需求的变化而不断发展。 USB Type-C 连接器生态系统可满足现代平台和设备不断变化的需求&#xff0c;并且符合更小、更薄且更轻便的外形设计趋势。此外&#xff0c;针对 Type-C 连接器修改 USB PD 有助于满足高耗电应用的需求。 …

自己做的精灵图制作,图片合成,卓宠,窗口置顶,磁力链下载等工具软件

欢迎使用和提bug&#xff0c;才v1.0.2&#xff0c;有新奇的自己需要的功能可以提给我&#xff0c;我看看能不能做。 网站地址 github

Qt对二进制文件进行加密及解密操作

在工作中可能会做一些二进制文件加密及解密的任务&#xff0c;比如说仪器的时序指令bin文件。 #include <iostream> #include <fstream> #include <vector> #include <QCryptographicHash> #include <QFile> #include <QDataStream> #inc…

Next.js初始化和一些配置

Next.js初始化和一些配置 Next.js初始化和一些配置初始化配置路径别名跨域问题图片跨域问题 Next.js初始化和一些配置 我的版本是14.2.3 初始化 配置 路径别名 跨域问题 改为服务端组件 把发起跨域请求的组件顶层的use client删掉使用后端接口转发 在Next.js自定义一个接…