英伟达开源最强通用模型Nemotron-4 340B

英伟达的通用大模型 Nemotron,开源了最新的 3400 亿参数版本。

本周五,英伟达宣布推出 Nemotron-4 340B。它包含一系列开放模型,开发人员可以使用这些模型生成合成数据,用于训练大语言模型(LLM),可用于医疗健康、金融、制造、零售等所有行业的商业应用。

高质量的训练数据在自定义 LLM 的响应性能、准确性和质量中起着至关重要的作用 —— 但强大的数据集经常是昂贵且难以访问的。通过独特的开放模型许可,Nemotron-4 340B 为开发人员提供了一种免费、可扩展的方式来生成合成数据,从而帮助人们构建强大的 LLM。

Nemotron-4 340B 系列包括基础、Instruct 和 Reward 模型,它们形成了一个 pipeline,用于生成训练和改进 LLM 的合成数据。这些模型经过优化,可与 NVIDIA NeMo 配合使用,后者是一个用于端到端模型训练的开源框架,包括数据管理、定制和评估。它们还针对开源 NVIDIA TensorRT-LLM 库的推理进行了优化。

英伟达表示,Nemotron-4 340B 现已可从 Hugging Face 下载。开发人员很快就能在 ai.nvidia.com 上访问这些模型,它们将被打包为 NVIDIA NIM 微服务,并带有可在任何地方部署的标准应用程序编程接口。

Hugging Face 下载:https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

技术交流

技术要学会分享、交流,不建议闭门造车。一个人可以走的很快、一堆人可以走的更远。

成立了大模型算法面试和技术交流群,相关资料、技术交流&答疑,均可加我们的交流群获取,群友已超过2000人,添加时最好的备注方式为:来源+兴趣方向,方便找到志同道合的朋友。

方式①、微信搜索公众号:机器学习社区,后台回复:加群
方式②、添加微信号:mlc2040,备注:来自CSDN + 技术交流

导航 Nemotron 以生成合成数据

大语言模型可以帮助开发人员在无法访问大型、多样化标记数据集的情况下生成合成训练数据。

Nemotron-4 340B Instruct 模型创建了多样化的合成数据,模仿了现实世界数据的特征,有助于提高数据质量,从而提高自定义 LLM 在各个领域的性能和鲁棒性。

为了提高 AI 生成的数据的质量,开发人员可以使用 Nemotron-4 340B Reward 模型来筛选高质量的响应。Nemotron-4 340B Reward 根据五个属性对响应进行评分:可用性、正确性、连贯性、复杂性和冗长性。它目前在 AI2 创建的 Hugging Face RewardBench 排行榜上名列第一,用于评估奖励模型的能力、安全性和缺陷。

图片

在这个合成数据 pipeline 中,(1)Nemotron-4 340B Instruct 模型用于生成基于文本的合成输出。然后,评估模型(2) Nemotron-4 340B Reward 评估生成的文本并提供反馈,从而指导迭代改进并确保合成数据的准确。

研究人员还可以使用自己的专有数据,结合已包含的 HelpSteer2 数据集,来定制 Nemotron-4 340B 基础模型,从而创建自有的 Instruct 模型或奖励模型。

图片

论文地址:https://d1qx31qr3h6wln.cloudfront.net/publications/Nemotron_4_340B_8T_0.pdf

方法介绍

Nemotron-4-340B-Base 模型架构是一种标准的仅解码器 Transformer 架构,具有因果注意力掩码、旋转位置嵌入 (RoPE)、SentencePiece tokenizer 等。Nemotron-4-340B-Base 的超参数如表 1 所示。它有 94 亿个嵌入参数和 3316 亿个非嵌入参数。

图片

下表为 Nemotron-4-340B-Base 模型的一些训练细节,表中总结了批大小渐变的 3 个阶段,包括每次迭代时间和模型 FLOP/s 利用率。

图片

为了开发强大的奖励模型,英伟达收集了一个包含 10k 人类偏好数据的数据集,称为 HelpSteer2,并公开发布了这个数据集 。

数据集地址:https://huggingface.co/datasets/nvidia/HelpSteer2

回归奖励模型 Nemotron-4-340B-Reward 建立在 Nemotron-4-340B-Base 模型之上,并用新的奖励头替换最后的 softmax 层。这个头是一个线性投影,它将最后一层的隐藏状态映射到 HelpSteer 属性(有用性、正确性、连贯性、复杂性、冗长性)的五维向量中。在推理过程中,这些属性值可以通过加权和聚合为总体奖励。这种奖励模式为训练 Nemotron-4-340B-Instruct 提供了坚实的基础。

该研究发现这样的模型在 RewardBench 上表现非常出色:

图片

用 NeMo 微调,用 TensorRT-LLM 优化推理

使用开源的 NVIDIA NeMo 和 NVIDIA TensorRT-LLM,开发者可以优化他们的指导模型和奖励模型的效率,从而生成合成数据并对响应进行评分。

所有 Nemotron-4 340B 模型都使用 TensorRT-LLM 进行了优化,以利用张量并行性,这是一种模型并行性,其中单个权重矩阵在多个 GPU 和服务器上分割,从而实现大规模的高效推理。

Nemotron-4 340B Base 经过 9 万亿个 token 的训练,可以使用 NeMo 框架进行定制,以适应特定的用例或领域。这种微调过程受益于大量的预训练数据,并为特定的下游任务提供更准确的输出。

在这当中,NeMo 框架提供了多种定制方法,包括监督微调和参数高效微调方法,如低秩自适应 (LoRA)。

为了提升模型质量,开发者可以使用 NeMo Aligner 和由 Nemotron-4 340B Reward 注释的数据集对其模型进行对齐。对齐是训练大型语言模型的一个关键步骤,其中模型行为通过使用类似 RLHF 算法进行微调,以确保其输出安全、准确、符合上下文且与其既定目标一致。

寻求企业级支持和生产环境安全的企业也可以通过云原生的 NVIDIA AI Enterprise 软件平台访问 NeMo 和 TensorRT-LLM。该平台为生成式 AI 基础模型提供了加速和高效的运行时环境。

评测数据

图 1 突出显示了 Nemotron-4 340B 模型家族在选定任务中的准确性。具体来说:

Nemotron-4-340B-Base 在 ARC-Challenge、MMLU 和 BigBench Hard 基准等常识推理任务上与 Llama-3 70B、Mixtral 8x22B 和 Qwen-2 72B 等开放访问基础模型相媲美。

在指令遵循和聊天功能方面,Nemotron-4-340B-Instruct 超越了相应的指令模型。Nemotron-4-340B Reward 在 RewardBench 上实现了最高准确率,甚至超越了 GPT-4o-0513 和 Gemini 1.5 Pro-0514 等专有模型。

图片

在 Nemotron-4-340B 推出后,评测平台立即放出了它的基准成绩,可见在 Arena-Hard-Auto 等硬基准测试中它的成绩超越了 Llama-3-70b

图片

这是否意味着,新的业界最强大模型已经出现?

参考链接:

https://blogs.nvidia.com/blog/nemotron-4-synthetic-data-generation-llm-training/

https://x.com/lmsysorg/status/1801682893988892716

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/28319.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Web开发技能树-HTML-class/id/name/tag

1 需求 需求1:CSS查找HTML元素 *tagclassid派生选择器 需求2:JavaScript查找HTML元素 通过id找到HTML元素:document.getElementById()通过标签名找到HTML元素:getElementsByTagName()通过类名找到HTML元素:document.getElemen…

分布式系统中的经典思想实验——两将军问题和拜占庭将军问题

文章目录 一、两将军问题1.1 问题描述1.2 深入理解两将军问题1.3 实验结论 二、拜占庭将军问题2.1 问题描述2.2 深入理解拜占庭将军问题2.3 解决方案 三、两将军和拜占庭问题的关系3.1 区别和联系3.2 应用与现实意义 参考资料 一、两将军问题 1.1 问题描述 两将军问题描述的是…

中国成熟工艺晶圆代工领域激烈的价格战即将落幕

据《经济日报》报道,中国第二大晶圆代工厂华虹半导体计划在下半年提高代工价格约10%。这标志着长达两年的成熟工艺代工价格下滑趋势的终结,意味着行业正从调整阶段走出,迈向更健康的发展轨道。受此影响,专注于成熟工艺的台湾晶圆代…

el-pagination 切换分页条数,会出现两次请求

文章目录 前言一、问题展示二、源码展示 前言 继上一次发现el-pagination在删除的时候pageNum不更新的问题。这次又发现了,切换分页条数,会出现两次请求。网上有很多解决方案,我就不多说了,我就简单记一下为啥会出现两次请求的问…

21. 第21章 算法分析

21. 算法分析 这个附录选自OReilly Media出版的Alen B.Downey的Think Complexity(2012)一书. 当你读完本书之后, 可能会像继续读读那本书.算法分析是计算机科学的一个分支, 研究算法的性能, 尤其是他们的运行时间和空间需求. 参见http://en.wikipedia.org/wiki/Analysis_of_al…

Vue前端通过Axios的post方式传输数据,后端为什么一直接收的值是null?

沃靠!这个细节太细了,搞了我两个多小时才找到这个bug。 一、 首先官方文档给我的post请求的例子是这样的: axios.post(/user, {firstName: Fred,lastName: Flintstone}).then(function (response) {console.log(response);}).catch(function (error) {console.log(error);})…

Linux下的抓包工具使用介绍

应用层 传输层 网络层 数据链路层 物理层 1)tcpdump(传输/网络层) tcpdump -i eth0 tcpdump -i eth0 -vnn -v:显示包含有TTL,TOS值等等更详细的信息 -n:不要做IP解析为主机名 -nn:…

go协程的栈

go协程的栈默认有多少 Go 协程(goroutine)的栈初始大小并不是固定的多个栈,而是有一个默认的初始大小,这个大小在不同的 Go 版本中可能会有所不同。 目前,Go 1.17 版本中,默认的栈大小是 8KB。 关键点在于…

【Python的基本语法】

Python的基本语法包括以下几个方面: 注释: 注释以 # 开始,用于在代码中添加说明性文字,不会被解释器执行。 # 这是一个注释变量: 在Python中,变量不需要显式声明,直接通过赋值来创建。变量的命名…

RK平台Android单独编译内核

介绍如何在android平台下单独编译内核: 方式1(推荐): 在执行单独编译之前,必须有过整体编译Android,之后就可以单独编译内核开发,减少编译时间,具体操作如下: #!/bin/sh make ARCH=arm64 CC=../prebuilts/clang/host/linux-x86/clang-r383902b/bin/clang \ LD=.…

Shell 学习笔记 - 变量的类型 + 变量的赋值

1.6 Shell 变量的类型 Shell 变量分为四类,分别是 自定义变量环境变量位置变量预定义变量 根据工作要求临时定义的变量称为自定义变量; 环境变量一般是指用 export 内置命令导出的变量,用于定义 Shell 的运行环境,保证 Shell …

Vue51-插件

一、插件的定义 vue里面的插件,类似于游戏的外挂。 vue中插件的本质:一个对象,里面必须包含install方法。 二、插件的使用 2-1、创建一个插件js文件(写在src中plugins.js) 2-2、应用插件:Vue.use(插件) …

外键的基本概念

外键的基本概念 外键(FOREIGN KEY):外键是一个或多个列,其值必须在另一个表中对应列的值中存在。外键用于维护两个表之间的关系,并确保引用的完整性。 外键在示例表结构中的应用 假设外键约束如下: FOR…

vue框架学习-----vue简介vue.js安装第一个vue程序部分vue指令

什么是vue? Vue (发音为 /vjuː/,类似 view) 是一款用于构建用户界面的 JavaScript 框架。它基于标准 HTML、CSS 和 JavaScript 构建,并提供了一套声明式的、组件化的编程模型,帮助你高效地开发用户界面。无论是简单还是复杂的界面&#xf…

微信小程序获取用户信息流程

微信小程序获取用户信息的流程可以分为以下几个步骤,下面将结合参考文章中的信息进行详细解释: 配置权限: 在小程序的app.json文件中配置scope.userInfo,以确保小程序可以请求用户信息授权。创建触发授权的交互元素: …

大学生计算机基础题(一)

嗨,大家好,我是异星球的小怪同志 一个想法有点乱七八糟的小怪 如果觉得对你有帮助,请支持一波。 希望未来可以一起学习交流。 一、单选题(20小题,共30分) 1、下列关于列表的说法中,错误的是…

机器真的能思考、学习和智能地行动吗?

In this post, were going to define what machine learning is and how computers think and learn. Were also going to look at some history relevant to the development of the intelligent machine. 在这篇文章中,我们将定义机器学习是什么,以及…

【Java03】Java中数组在内存中的机制

1. 内存中的数组 Java中的数组是一种引用类型,数组变量(引用)和数组元素在内存中是分开的。 Java中的数组变量其实就是指针。 如果想要访问数组元素,只能通过这个数组的引用变量(指针)来访问。 实际数组对…

杀戮尖塔游戏

Java 你正在玩策略卡牌杀戮尖塔游戏,轮到你出牌,手里N张攻击卡,每张都需要花金币coust[i]和获得伤害dmager[i]。 最多花3金币能造成的最大伤害是多少? class Solution{public int calc(int[] cost, int[] dmager, N){int[][] db …

【stm32-新建工程】

stm32-新建工程 ■ 下载相关STM32Cube官方固件包(F1,F4,F7,H7)■ 1. ST官方搜索STM32Cube■ 2. 搜索 STM32Cube■ 3. 点击获取软件■ 4. 选择对应的版本下载■ 5. 输入账号信息■ 6. 出现下载弹框,等待下载…