英伟达开源新利器NV-Embed向量模型,基于双向注意力的LLM嵌入模型,MTEB 56项任务排名第一

前言

文本嵌入模型能够将文本信息转化为稠密的向量表示,并在信息检索、语义相似度计算、文本分类等众多自然语言处理任务中发挥着关键作用。近年来,基于解码器的大型语言模型 (LLM) 开始在通用文本嵌入任务中超越传统的 BERT 或 T5 嵌入模型,展现出更强的语义理解能力和更灵活的应用潜力。

  • Huggingface模型下载:https://huggingface.co/nvidia/NV-Embed-v1

  • AI快站模型免费加速下载:https://aifasthub.com/models/nvidia

技术特点

英伟达近期推出了全新开源模型 NV-Embed,旨在提升解码器 LLM 的嵌入能力,使其成为更强大的通用嵌入模型。NV-Embed 结合了独特的架构设计和训练方法,在性能上取得了突破性的进展,主要体现在以下几个方面:

  • 双向注意力: 传统解码器 LLM 为了预测下一个词,采用了因果注意力机制,限制了模型对整个文本的理解能力。NV-Embed 巧妙地移除了因果注意力机制,采用双向注意力机制,使模型能够同时关注文本中的所有词语,从而提升文本表示的质量。

  • 潜在注意力层: 为了更有效地对文本进行池化,获取更具表达力的文本表示,NV-Embed 引入了潜在注意力层。该层通过与可训练的潜在数组进行交叉注意力,对文本序列进行重新编码,并通过多层感知器 (MLP) 进一步优化表示。

  • 两阶段指令微调: 为了使模型在检索和非检索任务 (例如分类、聚类) 上都表现出色,NV-Embed 采用了两阶段指令微调方法。第一阶段,模型在检索数据集上进行对比训练,利用批内负样本和人工筛选的困难负样本进行优化。第二阶段,将精心选择的非检索数据集加入到第一阶段的训练数据中,并关闭批内负样本训练。这种策略不仅提高了非检索任务的准确性,也意外地增强了检索性能。

性能表现

NV-Embed 模型在 MTEB (Massive Text Embedding Benchmark) 上取得了令人瞩目的成绩。该基准包含 56 项任务,涵盖了信息检索、重排序、分类、聚类和语义文本相似度等多种任务。NV-Embed 在这 56 项任务中获得了 69.32 的总分,排名第一,超越了包括 E5-mistral-7b-instruct、SFR-Embedding、Voyage-large-2-instruct 等在内的所有领先模型。值得注意的是,NV-Embed 在 BEIR (Benchmark for Information Retrieval) 基准测试 (包含 MTEB 中的 15 个检索任务) 上也获得了最高分 59.36。

应用场景

NV-Embed 拥有强大的文本嵌入能力,能够在各种自然语言处理任务中发挥作用,例如:

  • 信息检索: 更精准地找到与用户查询相关的文档。

  • 问答系统: 提升问答模型的理解能力,生成更准确的答案。

  • 语义相似度计算: 更精确地判断两个文本之间的语义关系。

  • 文本分类: 将文本准确地分类到相应的类别中。

  • 聚类分析: 将文本按照语义进行分组。

总结

NV-Embed 是一种基于双向注意力的解码器 LLM 嵌入模型,它融合了创新的架构设计和训练方法,在 MTEB 和 BEIR 基准测试中取得了突破性的成绩。NV-Embed 的开源发布,为研究人员和开发者提供了一个强大的文本嵌入工具,推动着文本嵌入模型的进一步发展和应用。

模型下载

Huggingface模型下载

https://huggingface.co/nvidia/NV-Embed-v1

AI快站模型免费加速下载

https://aifasthub.com/models/nvidia

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/21818.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Centos 7之Hadoop搭建

介绍 Hadoop Distributed File System简称 HDFS,是一个分布式文件系统。HDFS 有着高容错性(fault-tolerent)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throu…

Java的扩展性

Java的扩展性主要体现在其面向对象编程的特性上,以及通过抽象、继承、接口和多态等机制来实现代码的重用和扩展。以下是关于Java扩展性的详细描述: 一、基本概念 面向对象编程:Java是一种完全面向对象的编程语言,它支持将现实世…

三分钟“手撕”队列与习题

代码放开头,方便大家查阅 目录 一、实现代码 二、什么是队列 三、队列常见方法 入队push() 出队 四、Queue使用 Java自带的Queue 双端队列 五、习题 循环队列 用队列实现栈 用栈实现队列 一、实现代码 package demo2;publi…

怎么做 Redis 容灾

Redis容灾通常指的是数据备份和恢复机制,以确保在发生故障时可以尽快恢复服务。Redis提供了几种方法来保证数据的高可用性: 1. 使用RDB快照:通过配置文件设置定时快照,可以在指定的时间间隔保存数据集到磁盘。 2. 使用AOF日志&a…

一款小众清新的Typecho主题

源码介绍 DearLicy主题,一款小众化小清新风格的博客主题 主题支持Typecho所支持的所有版本PHP 简约、小众、优雅 源码截图 安装教程 将主题上传至/usr/themes/文件夹下解压后台进行启用访问前台查看效果 源码下载 https://www.qqmu.com/3378.html

LeetCode刷题第2题

给你两个 非空 的链表,表示两个非负的整数。它们每位数字都是按照 逆序 的方式存储的,并且每个节点只能存储 一位 数字。 请你将两个数相加,并以相同形式返回一个表示和的链表。 你可以假设除了数字 0 之外,这两个数都不会以 0 …

一键设置常用纸张和页面边距-Word插件-大珩助手

Word大珩助手是一款功能丰富的Office Word插件,旨在提高用户在处理文档时的效率。它具有多种实用的功能,能够帮助用户轻松修改、优化和管理Word文件,从而打造出专业而精美的文档。 【新功能】常用纸张和常用边距 1、一键设定符合中国人常用…

PyTorch、显卡、CUDA 和 cuDNN 之间的关系

概述 PyTorch、显卡、CUDA 和 cuDNN 之间的关系及其工作原理可以这样理解: 显卡 (GPU) 显卡,特别是 NVIDIA 的 GPU,具有大量的并行处理单元,这些单元可以同时执行大量相似的操作,非常适合进行大规模矩阵运算&#x…

273 基于matlab的改进型节点重构小波包频带能量谱与 PNN(概率神经网络)的联合故障诊断新方法

基于matlab的改进型节点重构小波包频带能量谱与 PNN(概率神经网络)的联合故障诊断新方法。针对风电机组故障信号的非平稳性以及故障与征兆的非线性映射导致的故障识别困难问题,提出了改进型的节点重构小波包频带能量谱与PNN(概率神…

大数据数据治理工具

大数据数据治理-CSDN博客 大数据数据治理工具: 开源工具: Apache Atlas: 一个开源的数据治理和元数据框架,为Hadoop生态系统提供数据分类、管理和安全功能。 Apache Ranger: 一个集中式安全管理框架,用于…

Java Web学习笔记2——Web开发介绍

什么是Web? Web:全球广域网,也称为万维网(WWW World Wide Web),能够通过浏览器访问的网站。 1)淘宝、京东、唯品会等电商系统; 2)CRM、OA、ERP企业管理系统&#xff1…

ubuntu-server(22.04)安装

准备工作 首先我们先从网上获取ubuntu的iso镜像文件 Index of /ubuntu-releases/22.04/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirror 我们安装这个最小包即可 找到我们ubuntu安装完成后所需要下载安装源的网址(常用是阿里云) ubuntu安装…

手写节流throttle

节流throttle 应用场景 滚动事件监听scroll:例如监听页面滚动到底部加载更多数据时,使用节流技术减少检查滚动位置的频率,提高性能。鼠标移动事件mousemove:例如实现一个拖拽功能,使用节流技术减少鼠标移动事件的处理…

【论文阅读】K-Pointer-Network for Express Delivery Routes Planning

文章目录 论文基本信息摘要1.引言2. THE METHOD3. RESULT4. DISCUSSION5. 总结补充 论文基本信息 《K-Pointer-Network for Express Delivery Routes Planning》 摘要 在本研究中,作者打算提供一个合适的快速分配路径的设计,以缩短交货时间。如果路线…

分布式session共享配置

目录 1、spring-session 1.1 添加依赖 1.2 spring-mvc.xml配置文件 1.3 web.xml 2、tomcat配置session、共享 2.1 Tomcat配置 2.2 Web.xml配置 1、spring-session 官方文档:https://docs.spring.io/spring-session/docs/1.3.0.RELEASE/reference/html5/ 1.…

OpenCV中的圆形标靶检测——斑点检测算法(一)

1.导读 在上一节内容中我们简要描述了OpenCV中实现圆形标靶检测的API的使用方法,其处理流程可大致分为1)斑点形状的检测,和2)基于规则的斑点形状的过滤与定位。第一步将类似圆斑形状的区域检测出来,但可能存在一些误检测的噪声,第二步则利用圆斑的分布规则(M*N排列)进行…

攻防世界---misc---can_has_stdio?

1、下载附件是一个没有后缀的文件,尝试将后缀改为txt发现里面有一些特殊字符的编码 2、查阅资料得知它是一种编程代码 3、知道了它是什么代码之后,我们就去解码(网址:El Brainfuck (copy.sh)) 4、 flag{esolangs_for_f…

ChatTTS,语气韵律媲美真人的开源TTS模型,文字转语音界的新魁首,对标微软Azure-tts

前两天 2noise 团队开源了ChatTTS项目,并且释出了相关的音色模型权重,效果确实非常惊艳,让人一听难忘,即使摆在微软的商业级项目Azure-tts面前,也是毫不逊色的。 ChatTTS是专门为对话场景设计的文本转语音模型&#x…

文件上传题目练习

[HNCTF 2022 Week1]easy_upload 先尝试上传一个php文件,发现直接就成功了 用蚁剑测试连接成功 找到flag [NISACTF 2022]bingdundun~ 白名单上传 这里因为尝试了很多绕过方式都不成功,去搜索了一下wp,发现要用到Phar://伪协议 补充&#xff…

SSRF及相关例题

SSRF及相关例题 服务端请求伪造(Server Side Request Forgery, SSRF)指的是攻击者在未能取得服务器所有权限时,利用服务器漏洞以服务器的身份发送一条构造好的请求给服务器所在内网。SSRF攻击通常针对外部网络无法直接访问的内部系统。 SSR…