AMD-OLMo:在 AMD Instinct MI250 GPU 上训练的新一代大型语言模型。

在这里插入图片描述
AMD-OLMo是一系列10亿参数语言模型,由AMD公司在AMD Instinct MI250 GPU上进行训练,AMD Instinct MI250 GPU是一个功能强大的图形处理器集群,它利用了OLMo这一公司开发的尖端语言模型。AMD 创建 OLMo 是为了突出其 Instinct GPU 在运行 “具有数万亿标记的大规模多节点 LM 训练工作 ”方面的能力,与其他完全开放的类似规模的 LM 相比,OLMo 可实现更高的推理和指令跟踪性能。

在这里插入图片描述

OLMo 是最先进的开源软件,但其参数数量少于 AI2(前身为艾伦人工智能研究所)开发的同类软件。AMD 的版本有 10 亿个参数,而 AI2 的 OLMo 有 70 亿个参数。尽管在规模上存在差异,但 AMD 的 OLMo 已经在 1.3 万亿个令牌的海量数据集上进行了训练,这些数据集在 16 个节点上进行了预训练,每个节点都配备了四个 AMD Instinct MI250 GPU。通过这种训练,AMD-OLMo 开发出了令人印象深刻的语言能力,包括预测句子中下一个单词的能力,使其适用于聊天机器人等应用。

AMD 的 OLMo 已与其他公开的型号进行了比较,其性能令人印象深刻。例如,它已被证明优于其他指令调整基线。该公司认为,OLMo 的发布将有助于开发人员复制其工作,并在 “顶端 ”进一步创新。此外,AMD-OLMo 还有望推广该公司的处理器,展示其强大功能,并在与 Nvidia 和英特尔等竞争对手的竞争中提升其声誉。

OLMo 的发布是 AMD 努力让人工智能(AI)更接近边缘设备的一部分。近年来,该公司已经推出了多项人工智能创新技术,包括发布注入人工智能的 Ryzen、Instinct 和 Epyc 芯片。AMD 的 OLMo 模型可在 Hugging Face 上获得,开发人员可以访问该模型的数据、权重、训练配方和代码,以重现其工作并在此基础上进行开发。

预训练结果

Standard BenchmarksTinyLLaMA-v1.1 (1.1B)MobiLLaMA-1B (1.2B)OLMo-1B (1.2B)OpenELM-1_1B (1.1B)OLMo-1B-0724-hf (1.2B)AMD-OLMo-1B (1.2B)
arc_easy55.4756.6557.2855.4356.6563.64
arc_challenge32.6832.0031.0632.3432.3433.70
hellaswag61.4761.8062.9264.8166.1263.61
piqa73.5675.3075.1475.5775.0875.57
boolq55.9960.8361.7463.5866.1860.58
sciq89.3088.2087.0090.6092.7093.20
winogrande59.4359.2759.9861.7261.7261.64
openbookqa36.8035.4036.2036.2035.6035.80
mmlu (0-shot)25.0224.8124.2325.2625.4524.88
gsm8k (8-shot)1.820.002.502.818.952.88
bbh (3-shot)25.630.0025.6316.7721.6720.95
Average47.0244.9347.6147.7349.3148.77

指令调整结果

Standard BenchmarksTinyLlama-1.1B-Chat-v1.0 (1.1B)MobiLlama-1B-Chat (1.2B)OpenELM-1_1B-Instruct (1.1B)AMD-OLMo-1B-SFT (1.2B)AMD-OLMo-1B-SFT-DPO (1.2B)
arc_easy54.4257.4152.4463.6864.31
arc_challenge32.8534.5637.8037.1237.37
hellaswag60.4062.5171.2961.6361.91
piqa74.4875.7375.0374.4374.16
boolq61.0455.6670.2868.5370.24
sciq88.4087.1089.5091.2092.10
winogrande60.5460.7762.1960.2260.62
openbookqa37.2036.8039.2037.4040.20
mmlu24.6125.2525.5429.9730.52
gsm8k (8-shot)2.810.231.8218.2015.77
bbh (3-shot)26.830.0013.4025.1725.45
Average47.6045.0948.9551.6052.06
Chat BenchmarksTinyLlama-1.1B-Chat-v1.0 (1.1B)MobiLlama-1B-Chat (1.2B)OpenELM-1_1B-Instruct (1.1B)AMD-OLMo-1B-SFT (1.2B)AMD-OLMo-1B-SFT-DPO (1.2B)
AlpacaEval 1 (Win Rate)50.8134.9037.7250.1254.22
AlpacaEval 2 (LC Win Rate)1.541.590.493.882.37
MTBench3.382.89-4.354.10
Responsible AI BenchmarksTinyLlama-1.1B-Chat-v1.0 (1.1B)MobiLlama-1B-Chat (1.2B)OpenELM-1_1B-Instruct (1.1B)AMD-OLMo-1B-SFT (1.2B)AMD-OLMo-1B-SFT-DPO (1.2B)
ToxiGen41.7037.2342.3439.0439.68
crows_pairs60.3558.5059.9360.2961.00
TruthfulQA-mc237.9238.4645.8437.4540.06
  • 在为聊天基准评估生成标记时,我们在 AlpacaEval 中使用 max_length=2048,在 MTBench 中使用 max_new_tokens=2048。
  • 上表中的所有数字均来自我们的评估。

这次发布对 AMD 来说是意义重大的一步,因为它不仅彰显了 AMD 硬件在人工智能领域的实力,而且还使 AMD 在快速发展的人工智能芯片市场上与 Nvidia 和英特尔等行业领导者一较高下。通过在 Hugging Face 上提供模型,AMD 鼓励开发人员在其工作基础上进行实验和开发,从而有可能推动语言建模和人工智能应用的进一步发展。

Huggingface:amd/AMD-OLMo

感谢大家花时间阅读我的文章,你们的支持是我不断前进的动力。点赞并关注,获取最新科技动态,不落伍!🤗🤗🤗

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/diannao/60166.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

使用服务器时进行深度学习训练时,本地必须一直保持连接状态吗?

可以直接查看方法,不看背景 1.使用背景2. 方法2.1 screen命令介绍2.2 为什么要使用screen命令2.3 安装screen2.4 创建session2.5 查看session是否创建成功2.6 跳转进入session2.7 退出跑代码的session2.8 删除session 1.使用背景 我们在进行深度学习训练的时候&…

「Mac玩转仓颉内测版3」入门篇3 - Cangjie的基本语法与结构

本篇将深入探讨Cangjie语言的基本语法与结构。这些基础知识为编写高效、可维护的代码奠定了坚实基础。通过理解语句结构、表达式、注释及数据类型,能够更自信地使用Cangjie进行编程。 关键词 Cangjie基本语法语句结构表达式注释数据类型控制结构 一、基本语法 1.…

深入了解区块链:Web3的基础架构与发展

在数字时代的浪潮中,区块链技术正逐渐成为Web3的重要基础,重新定义互联网的结构和用户体验。Web3不仅是一个全新的网络阶段,更代表了一种去中心化的理念,强调用户主权和数据隐私。本文将深入探讨区块链在Web3中的基础架构、技术特…

华为大变革?仓颉编程语言会代替ArkTS吗?

在华为鸿蒙生态系统中,编程语言的选择一直是开发者关注的焦点。近期,华为推出了自研的通用编程语言——仓颉编程语言,这引发了关于仓颉是否会取代ArkTS的讨论。本文将从多个角度分析这两种语言的特点、应用场景及未来趋势,探讨仓颉…

使用Golang实现开发中常用的【实例设计模式】

使用Golang实现开发中常用的【实例设计模式】 设计模式是解决常见问题的模板,可以帮助我们提升思维能力,编写更高效、可维护性更强的代码。 单例模式: 描述:确保一个类只有一个实例,并提供一个全局访问点。 优点&…

【C++笔记】C++三大特性之继承

【C笔记】C三大特性之继承 🔥个人主页:大白的编程日记 🔥专栏:C笔记 文章目录 【C笔记】C三大特性之继承前言一.继承的概念及定义1.1 继承的概念1.2继承的定义1.3继承基类成员访问方式的变化1.4继承类模板 二.基类和派生类间的转…

Windows搭建流媒体服务并使用ffmpeg推流播放rtsp和rtmp流

文章目录 搭建流媒体服务方式一安装mediamtx启动meidamtx关闭meidamtx 方式二安装ZLMediaKit启动ZLMediaKit关闭ZLMediaKit 安装FFmpeg进行推流使用FFmpeg进行rtmp推流使用VLC播放rtmp流停止FFmpeg的rtmp推流使用FFmpeg进行rtsp推流使用VLC播放rtmp流停止FFmpeg的rtsp推流 本文…

Polybase要求安装orcale jre 7

在安装SQL SERVER时,遇到以下情况:polybase要求安装orcale jre 7更新 51或更高版本 不想安装JDK7。可通过不安装polybase的功能来实现下一步的安装。 1. 点击上一步,回到功能选择的设置界面中。 2. 然后在功能选择窗口中,取消勾选…

深入理解计算机系统 3.7 缓冲区溢出

3.7.1 数据对齐 许多计算机系统对基本数据类型的合法地址做出了一些限制,要求某种类型对象的地址必须是某个值K(通常是2、4或8)的倍数。这种对齐限制简化了形成处理器和内存系统之间接口的硬件设计。例如,假设一个处理器总是从内存中取8个字节&#xff…

代码随想录刷题记录(二十七)——55. 右旋字符串

(一)问题描述 55. 右旋字符串(第八期模拟笔试)https://kamacoder.com/problempage.php?pid1065字符串的右旋转操作是把字符串尾部的若干个字符转移到字符串的前面。给定一个字符串 s 和一个正整数 k,请编写一个函数&…

Java 学习路线全解析:从基础到实战,全面掌握 Java 编程

在当今数字化时代,Java 作为一种广泛应用且极具影响力的编程语言,为众多开发者开启了通往技术世界的大门。无论是大型企业级应用开发,还是互联网后端服务构建,Java 都展现出了强大的适应性和稳定性。以下是一条系统全面的 Java 学…

QT打包应用程序文件步骤

QT应用程序(.exe)打包复制到其他电脑 在QT程序在自己电脑编译好了后,需要打包给其他人。这里介绍一下详细步骤: 确定编译器 搜了很多相关的打包教程,但是还是会出现“应用程序无法正常启动(0xc000007b)”这类错误。经过…

我谈维纳(Wiener)复原滤波器

Rafael Gonzalez的《数字图像处理》中,图像复原这章内容几乎全错。上篇谈了图像去噪,这篇谈图像复原。 图像复原也称为盲解卷积,不处理点扩散函数(光学传递函数)的都不是图像复原。几何校正不属于图像复原&#xff0c…

10款音频剪辑推荐!!你的剪辑好帮手!!

在如今的数据化浪潮中,工作已经采用了线上线下相结合。我的工作就需要借助一些剪辑工具,来实现我对音频工具的剪辑。我初次接触到音频剪辑也是因为工作需求,从起初我只是一个音频剪辑的小白,这些工具的协助。吸引着我。对于这些工…

Rocky、Almalinux、CentOS、Ubuntu和Debian系统初始化脚本v9版

Rocky、Almalinux、CentOS、Ubuntu和Debian系统初始化脚本 Shell脚本源码地址: Gitee:https://gitee.com/raymond9/shell Github:https://github.com/raymond999999/shell脚本可以去上面的Gitee或Github代码仓库拉取。 支持的功能和系统&am…

Scrapy搭配Selenium爬取豆瓣电影250排行榜动态网页数据

参考CSDN博客:https://blog.csdn.net/qq_43213783/article/details/113063557 2024年11月11日实现。 创建movie_douban爬虫项目: scrapy startproject movie_douban 进入spiders: cd movie_douban/movie_douban/spiders 创建doubanMovieSpi…

想定制RK3566/3568安卓11开机logo吗?触觉智能Purple Pi OH来教你

本文介绍瑞芯微RK3566/RK3568主板/开发板安卓Android11系统替换开机Logo的方法,使用触觉智能Purple Pi OH鸿蒙开发板演示,搭载了瑞芯微RK3566芯片,4核1.8Ghz1T算力NPU;类树莓派设计,Laval社区主荐,已适配全…

如何通过PHP脚本自动推送WordPress文章至百度站长平台

想要提高网站在百度搜索中的曝光度?百度站长平台提供了一个非常方便的API接口,允许网站自动将新发布的内容推送至百度以加快收录。本文将带您一步步实现这一功能,帮助您的WordPress站点实现每日自动推送最新文章的URL至百度站长平台。 1. 前提条件 确保您有一个已安装并运行…

【AliCloud】ack + ack-secret-manager + kms 敏感数据安全存储

介绍 ack-secret-manager支持以Kubernetes Secret实例的形式向集群导入或同步KMS凭据信息,确保您集群内的应用能够安全地访问敏感信息。通过该组件,您可以实现密钥数据的自动更新,使应用负载通过文件系统挂载指定Secret实例来使用凭据信息&a…

【C++ 算法进阶】算法提升十三

目录标题 抽牌概率问题 (动态规划)动态规划题目分析代码 洗衣机问题 (贪心)题目题目分析 抽牌概率问题 (动态规划) 动态规划 假设现在有1~N N张牌 每张牌的序号就代表着他的大小 (1 2 … N&am…