100%开源大模型OLMo:代码/权重/数据集/训练全过程公开,重定义AI共享

前言

近日,艾伦人工智能研究所联合多个顶尖学术机构发布了史上首个100%开源的大模型“OLMo”,这一举措被认为是AI开源社区的一大里程碑。OLMo不仅公开了模型权重,还包括了完整的训练代码、数据集和训练过程,为后续的开源工作设立了新的标准。这一开源模型的推出,无疑将极大促进自然语言处理(NLP)技术的发展和研究。

  • Huggingface模型下载:https://huggingface.co/allenai/OLMo-7B

  • AI快站模型免费加速下载:https://aifasthub.com/models/allenai

OLMo模型的创新之处

OLMo模型基于decoder-only的Transformer架构,采用了PaLM和Llama使用的SwiGLU激活函数,引入了旋转位置嵌入技术(RoPE),并改进了基于字节对编码(BPE)的分词器,以减少模型输出中的个人可识别信息。此外,该模型还采用了不使用偏置项的策略,以增强模型的稳定性。

开源内容的全面性

OLMo的开源内容包括了模型的所有相关资料:

  • 模型权重和训练代码:提供了四个不同架构、优化器和训练硬件体系下的7B大小的模型,以及一个1B大小的模型。

  • 预训练语料库:包含高达3T token的开源语料库,及其生成代码。

  • 评估工具套件:包括每个模型训练过程中每1000步中包含的超过500个的检查点以及评估代码。

性能评估

从评估结果来看,OLMo-7B模型在多个核心任务上的准确率呈现上升趋势,显示了良好的性能。尤其是在生成任务或阅读理解任务上,OLMo-7B甚至超过了Llama 2等同类开源模型,尽管在某些热门的问答任务上表现略逊。

在很多生成任务或阅读理解任务(例如truthfulQA)上,OLMo-7B都超过了Llama 2,但在一些热门的问答任务(如MMLU或Big-bench Hard)上表现则要差一些。

下图展示了9个核心任务准确率的变化趋势。

除了OBQA外,随着OLMo-7B接受更多数据的训练,几乎所有任务的准确率都呈现上升趋势。

与此同时,OLMo 1B与其同类模型的核心评估结果表明,OLMo与它们处于同一水平。

开源带来的影响

OLMo的全面开源,不仅为AI研究提供了宝贵的资源,还有助于降低研究和开发的门槛,推动AI技术的创新和发展。通过这种开放的模式,研究人员可以更深入地探索AI模型的内部运作机制,共同推动语言模型科学的进步。

结论

OLMo的发布,标志着AI开源模型进入了一个新的时代。随着越来越多的研究机构和企业加入到开源的行列,我们有理由相信,未来的AI技术将更加开放、透明和创新。

模型下载

Huggingface模型下载

https://huggingface.co/allenai/OLMo-7B

AI快站模型免费加速下载

https://aifasthub.com/models/allenai

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/722537.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

三星成功研发出业界首款12层堆叠HBM3E

三星电子有限公司成功研发出业界首款12层堆叠HBM3E DRAM——HBM3E 12H,这是迄今为止容量最大的HBM产品。这款新型HBM3E 12H内存模块提供了高达1,280GB/s的史上最高带宽,并拥有36GB的存储容量,相较于之前的8层堆叠HBM3 8H,在带宽和…

运维随录实战(1)

docker安装mongo 1,新建数据卷目录 mkdir -p /my/own/datadir 2,拉取镜像 docker pull mongo:latest 3,运行 docker run -d -p 27017:27017 -v /my/own/datadir:/data/db --name mongodb -e MONGO_INITDB_ROOT_USERNAME=admin -e MONGO_INITDB_ROOT_PASSWORD=123456 mongo …

ECMAScript6

课程链接 目录 相关介绍什么是ECMA什么是ECMAScript为什么学习ES6 letconst变量解构赋值模板字符串对象简化写法箭头函数函数参数的默认值rest参数扩展运算符Symbol迭代器生成器函数与调用Promise介绍与基本用法Promise封装读取文件Promise.prototype...then方法Promise.catch…

CCDP.01.寄主机SSH连接虚拟机的QA

V0.0 初始版本-2024.2.29 检查VM的网卡配置 如上图,如果enp0s3网卡没有出现形如10.0.0.??/24的ip配置,说明该网卡配置存在错误,或者没有“使能”该网卡。在RockyLinux8.X中可检查“ifcfg-enp0s?” vi /etc/sysconfig/network-…

智能系统引领的未来时代

智能系统引领的未来时代 随着人工智能技术的不断发展和普及,智能系统已经成为引领未来时代的关键力量。智能系统能够模拟人类的智能行为,实现自主学习、自主决策,并在各个领域展现出强大的应用潜力。在未来时代,智能系统将在各个…

【Python 图像处理 PIL 系列 13.1 -- 从列表中读取图像数据并生成图像】

文章目录 从列表中读取图像数据并生成图像代码示例 从列表中读取图像数据并生成图像 在Python中,可以使用Pillow库来创建和保存图像。这里我们将展示如何从列表list_num中读取RGB颜色数据,并根据row_num和column_num生成RGB格式的图像。 安装Pillow库&…

【JS】WebSocket实现简易聊天室

【JS】WebSocket实现简易聊天室 聊天室思路示例 聊天室思路 聊天室思路 1、连接服务器先建立连接,默认生成匿名用户(admin01) 2、客户端发送消息,其它客户端用户都会同步接收消息(服务端接受消息广播所有连接用户) 3、客户端修改昵称,其它客…

数据结构之七大排序

𝙉𝙞𝙘𝙚!!👏🏻‧✧̣̥̇‧✦👏🏻‧✧̣̥̇‧✦ 👏🏻‧✧̣̥̇:Solitary_walk ⸝⋆ ━━━┓ - 个性标签 - :来于“云”的“羽球人”。…

FreeRTOS操作系统学习——FreeRTOS工程创建

FreeROTS工程创建 详细步骤 如无特殊情况,大部人都要配置为外部高速时钟 另外,本实验使用了FreeRTOS,FreeRTOS的时基使用的是Systick,而 STM32CubeMX中默认的HAL库时基也是Systick,为了避免可能的冲突,最…

渗透测试工具 nmap 详解

官网:Nmap: the Network Mapper - Free Security Scanner -p<端口范围>:仅扫描指定的端口 用于扫描指定端口是否开放,在 -p 后输入指定的端口,以英文","进行拼接多个指定端口。 nmap -p 80&…

2024年3月产品认证基础考试简答题及答案

产品认证基础 46.产品认证的工厂检查有哪几种路线?各有什么优缺点? 答案:两种常用的检查路线: 1.按照要素或过程检查 按照认证规则规定的工厂应满足的要素要求(包括质量保证能力要求),结合部…

TestNG @Test注释属性- threadPoolSize属性

本文将讨论TestNG中Test annotation的threadPoolSize属性。那么,我们开始吧。 那么,threadPoolSize属性有什么用处呢?答案是,无论何时您想要多次并行地运行一个测试方法,您都需要这个属性。该方法将从invocationCount…

java014 - Java继承

1、继承 1.1 继承概述 继承是面向对象的三大特征之一,可以使得子类具有父类的属性和方法,还可以在子类中重新定义,追加属性和方法。 1.2 继承格式 public class 子类类名 extends 父类类名 {} 范例:public class son extends …

鸿蒙应用组件

基础组件 索引组件—AlphabetIndexer&#xff08;相当于安卓的seedbar&#xff09; 使用&#xff1a;AlphabetIndexer(value: {arrayValue: Array<string>, selected: number})空白填充组件—Blank&#xff08;占位使用&#xff0c;当父组件为Row/Column/Flex时生效&am…

Redis相关学习

Redis 的访问速度比 MySql 快上万倍。因为Redis 在内存中使用&#xff0c;MySql 在硬盘上使用 Redis 和 MySql 相比最大的劣势是存储空间是有限的 redis 主要作为缓存、内存数据库、消息队列 在启动redis客户端的时候&#xff0c;加上--raw&#xff0c;可以让redis客户端将二…

商淘云成功通过中国支付清算协会备案 助力商户合规发展有序经营

2023年12月&#xff0c;商淘云&#xff08;广州商淘信息科技有限公司&#xff09;进入中国支付清算协会第五批收单外包服务机构名单&#xff0c;成功通过聚合支付技术服务类型机构备案。这是继2022年商淘云通过第36类&#xff08;支付和投资类别&#xff09;商标的又一大喜事&a…

Python Shebang(#!)中的/usr/bin/env原理(#!/usr/bin/env python3)(定位系统安装Python解释器的位置)

文章目录 Understanding the Principle of /usr/bin/env in Python Shebang&#xff08;理解Python Shebang中的/usr/bin/env原理&#xff09;Introduction&#xff08;简介&#xff09;Understanding /usr/bin/env&#xff08;理解/usr/bin/env&#xff09;Defining /usr/bin/…

【Lattice FPGA 开发】IP核的调用

本文介绍Diamond开发软件进行IP核调用与对应官方文档查找方法。 文章目录 1. IP核的调用1.1 IPexpress调用IP核1.2 Clarity Designer调用IP核 2. IP核相关文档查找2.1 方法一2.2 方法二2.3 方法三 3 问题 1. IP核的调用 Diamond软件中&#xff0c;根据所选目标FPGA器件型号的…

Golang embed 库全面解析:从基础到高级应用

Golang embed 库全面解析&#xff1a;从基础到高级应用 引言Golang的 embed&#xff1a;简化资源管理提升可移植性与便利性适用场景的拓展 embed 库的基本概念embed 库的工作原理使用 embed 的基本语法访问嵌入资源的方法embed 的限制 如何使用 embed嵌入单个文件嵌入整个目录结…

zephyr学习笔记

zephyr内核对象学习 定时器 类似linux的定时器&#xff0c; 可以分别设置第一次到期时间和后续的周期触发时间&#xff0c; 可以注册到期回调和停止回调 还有一个计数状态&#xff0c;用于标记timer到期了多少次 duration&#xff1a;设定timer第一次到期的时间。 period: …