LLaMA2模型训练加速秘籍:700亿参数效率提升195%!

点击蓝字 关注我们

关注并星标

从此不迷路

计算机视觉研究院

公众号ID

计算机视觉研究院

学习群

扫码在主页获取加入方式

开源地址:https://github.com/hpcaitech/ColossalAI

计算机视觉研究院专栏

Column of Computer Vision Institute

ChatGPT 引发的大模型热潮愈演愈烈,全球科技巨头和明星初创争相入局,打造以 AI 大模型为核心的竞争力和多样化商业使用需求。其中 LLaMA 系列模型,因良好的基础能力和开放生态,已积累了海量的用户和实际应用案例,成为无数开源模型后来者的模仿和竞争的标杆对象。

但如何降低类 LLaMA2 大模型预训练成本,如何基于 LLaMA2 通过继续预训练和微调,低成本构建 AI 大模型实际应用,仍是 AIGC 相关企业面临的关键瓶颈。

作为全球规模最大、最活跃的大模型开发工具与社区,Colossal-AI 再次迭代,提供
开箱即用的 8 到 512 卡 LLaMA2 训练、微调、推理方案,对 700 亿参数训练加速 195%,并提供一站式云平台解决方案
,极大降低大模型开发和落地应用成本。

LLaMA2 训练加速 195%

Meta 开源的 LLaMA 系列大模型进一步激发了打造类 ChatGPT 的热情,并由此衍生出了诸多项目和应用。

最新的 7B~70B LLaMA2 大模型,则进一步提高了语言模型的基础能力。但由于 LLaMA2 的预训练预料大部分来自英文通用知识,而仅用微调能够提升和注入的领域知识和多语言能力也相对有限。此外,高质量的专业知识和数据集通常被视为各个行业和公司的核心资产,仅能以私有化形式保存。因此,以低成本预训练 / 继续预训练 / 微调 LLaMA2 系列大模型,结合高质量私有化业务数据积累,帮助业务降本增效是众多行业与企业的迫切需求与瓶颈。但 LLaMA2 大模型仅发布了原始模型权重与推理脚本,不支持训练 / 微调,也未提供数据集。

针对上述空白与需求,Colossal-AI 开源了针对
LLaMA2 的全流程方案,并具备高可扩展性
,支持从 70 亿到 700 亿参数的模型,
从 8 卡到 512 卡都可保持良好的性能

在使用 8 卡训练 / 微调 LLaMA2-7B 时,Colossal-AI 能达到约 54% 的硬件利用率(MFU),处于业界领先水平。而对于预训练任务,以使用
512 张 A100 40GB 预训练 LLaMA2-70B
为例,DeepSpeed ZeRO3 策略因显存不足而无法启动,仅能通过速度衰减较大的 ZeRO3-offload 策略启动。而 Colossal-AI 则因卓越的系统优化和扩展性,仍能保持良好性能,训练提速 195%。

Colossal-AI LLaMA-2 训练 / 微调方案的高性能来源于
新的异构内存管理系统 Gemini

高性能算子
(包括 Flash attention 2)等系统优化。新 Gemini 提供了
高可扩展性,高鲁棒性,高易用性
的接口。其 Checkpoint 格式与 HuggingFace 完全兼容,减小了使用和转换成本。其对于切分、offload 等的设置更加灵活且易用,能够覆盖更多硬件配置下的 LLaMA-2 训练 / 微调任务。仅需数行代码即可使用:

from colossalai.booster import Booster
from colossalai.booster.plugin import GeminiPlugin
plugin = GeminiPlugin ()
booster = Booster (plugin=plugin)
model, optimizer, train_dataloader, criterion = booster.boost (model, optimizer, train_dataloader, criterion)

ShardFormer 多维细粒度并行

虽然对于主流硬件条件和大多数模型,Colossal-AI 的新 Gemini 已经能够提供良好的性能。但是对于一些极端硬件条件,或者是特殊模型,可能仍然需要多维并行的细粒度优化。现有其他方案通常需要分布式系统资深专家,手动对代码进行大规模重构和调优,Colossal-AI 的 ShardFormer
提供了开箱即用的多维并行和算子优化的能力
,仅需数行代码即可使用,在单机 / 大规模集群上都能提供良好的性能。

from colossalai.booster import Booster
from colossalai.booster.plugin import HybridParallelPlugin
from transformers.models.llama import LlamaForCausalLM, LlamaConfig
plugin = HybridParallelPlugin (tp_size=2, pp_size=2, num_microbatches=4, zero_stage=1)
booster = Booster (plugin=plugin)
model = LlamaForCausalLM (LlamaConfig ())
model, optimizer, train_dataloader, criterion = booster.boost (model, optimizer, train_dataloader, criterion)

Colossal-AI ShardFormer 支持包括 LLaMA1/2、BLOOM、OPT、T5、GPT-2、BERT、GLM 在内的主流开源模型,也可以直接使用 Huggingface/transformers 模型导入,Checkpoint 格式也与 HuggingFace 完全兼容,对比 Megatron-LM 等需重写大量代码的方案,大大提升了易用性。

对于并行策略,已支持以下多种并行方式:张量并行、流水线并行、序列并行、数据并行、Zero 数据并行等,并可将多种并行方式组合使用,只需通过简单的配置命令,即可适配各种复杂的硬件环境 / 模型。同时,其内置了各种高性能算子,免去了繁琐的兼容 / 配置过程。其中包括:

  • Flash attention 2
  • Memory efficient attention (xformers)
  • Fused Normalization Layer
  • JIT kernels

云平台大模型一站式解决

为了进一步提升开发和部署效率,Colossal-AI 团队还将上述系统优势与算力结合,提供 Colossal-AI 云平台,提供廉价算力和开箱即用的 AI 主流应用,包括对话大模型,多模态模型,生物医药等,现已开启内测。

通过屏蔽大模型底层的分布式并行计算、内存、通信管理与优化等,AI 开发者可以继续专注于 AI 模型与算法设计,以更低成本更快速度完成 AI 大模型助力业务降本增效。

用户只需要上传相关数据,即可
无代码训练个性化私有模型,并将训练好的模型一键部署
。相关的应用都经过 Colossal-AI 团队精心优化,得益于算法和系统的双面优化,能大大降低模型训练以及部署的成本。

Colossal-AI 云平台:platform.luchentech.com

Colossal-AI 开源地址:https://github.com/hpcaitech/ColossalAI

参考链接:https://www.hpc-ai.tech/blog/70b-llama2-training

转《机器之心》

© THE END

转载请联系本公众号获得授权

计算机视觉研究院学习群等你加入!

ABOUT

计算机视觉研究院

计算机视觉研究院主要涉及深度学习领域,主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架,提供论文一键下载,并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程,让大家真正体会摆脱理论的真实场景,培养爱动手编程爱动脑思考的习惯!

往期推荐

🔗

  • Drone-YOLO:一种有效的无人机图像目标检测
  • BFD-YOLO:基于YOLOv7的建筑外墙缺陷检测
  • 机场项目:解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题
  • 2PCNet:昼夜无监督域自适应目标检测(附原代码)
  • YOLO-S:小目标检测的轻量级、精确的类YOLO网络
  • 大改Yolo框架 |  能源消耗极低的目标检测新框架(附论文下载)
  • 改进的检测算法:用于高分辨率光学遥感图像目标检测
  • 小米平板6 Max-Yolo:在便携终端上实时检测不再是难题
  • 旋转角度目标检测的重要性!!!(附源论文下载)
  • PE-YOLO:解决黑夜中的目标检测难点
  • EdgeYOLO:边缘设备上实时运行的目标检测器及Pytorch实现
  • Q-YOLO:用于实时目标检测的高效推理
  • 首个全量化Vision Transformer的方法FQ-ViT,AI大模型落地不远了!
  • YoloV8与ChatGPT互通,这功能是真的强大!
  • GPT理解的CV:基于Yolov5的半监督目标检测

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/862700.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

Microsoft Defender防病毒怎么关闭!详细步骤看这里!

Microsoft Defender是Windows系统中的防病毒软件,提供了实时的安全保护功能。但是,在某些情况下,用户想要关闭系统内的Microsoft Defender功能,但不知道要怎么操作才能关闭?接下来小编给大家带来详细的关闭步骤介绍。 …

柔性数组(flexible array)

柔性数组从C99开始支持使用 1.柔性数组的概念 概念: 结构体中,结构体最后一个元素允许是未知大小的数组,这就叫[柔性数组]的成员 struct S {int n;char arr[]; //数组大小未知(柔性数组成员) }; 柔性数组的特点: 结构体中柔性…

入门JavaWeb之 MVC、Filter 过滤器和监听器

MVC 三层架构: Model(模型)、View(视图)、Controller(控制器) 控制器:Controller,可以理解成 Servlet 1.接收用户的请求(req:请求参数、Sessio…

fastapi获取请求路径

fastapi获取请求路径 在FastAPI中,你可以使用fastapi.Request对象来获取请求路径。 from fastapi import FastAPI, Requestapp FastAPI()app.get("/items/{item_id}") async def read_item(request: Request, item_id: str):# 获取完整的请求路径reque…

java技术:knife4j实现后端swagger文档

一、pom依赖 <dependency><groupId>com.github.xiaoymin</groupId><artifactId>knife4j-spring-boot-starter</artifactId><version>3.0.2</version> </dependency> lombok依赖 <dependency><groupId>org.proje…

【AI-小米机器狗】Dockerfile包含SSH和SFTP

通过这些步骤&#xff0c;可以在docker容器中安装运行SSH和SFTP服务&#xff0c;设置ssh和sftp的密码&#xff0c;克隆指定的Git仓库到/home目录&#xff0c;并使用bash作为入口点&#xff0c; # 基于原始镜像 FROM cyberdog_sim:v1# 更新APT源为清华源 RUN sed -i s|http://a…

消息列队 定时任务 长链接是做什么用的?

消息队列、定时任务和长连接在计算机科学和网络通信中各自扮演了重要的角色。以下是它们的主要用途和功能的简要概述&#xff1a; 消息队列&#xff1a; 消息队列是一种通信方法&#xff0c;允许应用程序或系统组件通过发送和接收消息来进行交互。其主要用途包括&#xff1a;…

VBA技术资料MF170:调整多个工作薄中签名位置

我给VBA的定义&#xff1a;VBA是个人小型自动化处理的有效工具。利用好了&#xff0c;可以大大提高自己的工作效率&#xff0c;而且可以提高数据的准确度。“VBA语言専攻”提供的教程一共九套&#xff0c;分为初级、中级、高级三大部分&#xff0c;教程是对VBA的系统讲解&#…

数据可视化如何为智慧农业带来变革

数据可视化如何为智慧农业保驾护航&#xff1f;随着农业现代化的深入推进&#xff0c;智慧农业应运而生&#xff0c;通过集成物联网、大数据、人工智能等先进技术&#xff0c;实现农业生产的数字化、智能化和高效化。而在这一过程中&#xff0c;数据可视化技术作为重要的工具&a…

主从复制、哨兵以及Cluster集群

目录 1.Redis高可用 2.Redis主从复制 2.1 主从复制的作用 2.2 主从复制流程 2.3 搭建Redis主从复制 2.3.1 修改Redis配置文件&#xff08;Master节点操作&#xff09; 2.3.2 修改Redis配置文件&#xff08;Slave节点操作&#xff09; 2.3.2 验证主从复制结果 3.Redis哨…

用GAN生成奖杯

数据集链接:https://pan.baidu.com/s/19Uxc2ELiMG3acUtLeSTDTA?pwd=wsyw 提取码:wsyw 我设置的图片大小为128*128,如果内存爆炸可以将batch_size调小,epoch我设置的2000,我感觉其实1000也够了。代码如下: import argparse from torchvision import datasets, transfor…

大模型日报 2024-06-27

大模型日报 2024-06-27 大模型资讯 1.OpenAI计划打造“大语言模型操作系统”&#xff0c;收购Rockset和Multi OpenAI计划建立一个名为LLMOS&#xff08;Large Language Model Operating System&#xff09;的大语言模型操作系统&#xff0c;类似于Windows和MacOS&#xff0c;旨…

基于改进天鹰优化算法(IAO)优化支持向量机(SVM)数据回归预测(IAO-SVM)

改进天鹰优化算法(IAO)见&#xff1a;【智能优化算法】改进的AO算法(IAO)-CSDN博客 支持向量机(SVM)数据时序预测&#xff1a;基于支持向量机的数据回归预测-CSDN博客 代码原理 基于改进天鹰优化算法&#xff08;IAO&#xff09;优化支持向量机&#xff08;SVM&#xff09;数…

大数据之路 读书笔记 Day3

回顾&#xff1a;Day 2 总结了浏览器日志采集的过程 回看点击&#xff1a;大数据之路 读书笔记 Day 2 无线端客户的日志采集 无线端客户日志采集名为UserTrack&#xff08;UT&#xff09;的SDK来采集&#xff0c;UT将采集称为事件&#xff0c;常用的包括页面事件&#xff08;即…

代码随想录算法训练营第三十七天|01背包问题、分割等和子集

01背包问题 题目链接&#xff1a;46. 携带研究材料 文档讲解&#xff1a;代码随想录 状态&#xff1a;忘了 二维dp 问题1&#xff1a;为啥会想到i代表第几个物品&#xff0c;j代表容量变化&#xff1f; 动态规划中&#xff0c;每次决策都依赖于前一个状态的结果&#xff0c;在…

A37 STM32_HAL库函数 之PCD通用驱动 -- C-- 所有函数的介绍及使用

A37 STM32_HAL库函数 之PCD通用驱动 -- C-- 所有函数的介绍及使用 1 该驱动函数预览1.23 HAL_PCD_EP_Close1.24 HAL_PCD_EP_Receive1.25 HAL_PCD_EP_GetRxCount1.26 HAL_PCD_EP_Transmit1.27 HAL_PCD_EP_SetStall1.28 HAL_PCD_EP_ClrStall1.29 HAL_PCD_EP_Flush1.30 HAL_PCD_Ac…

Java中使用键盘录用【Scanner】遇到的问题

目录 一、空格截断问题&#xff1a;二、next()、nextInt()、nextDouble()等nextXxx()与nextLine()连用、混用的问题&#xff1a;问题描述&#xff1a;代码演示问题问题原因&#xff1a;解决办法&#xff1a;示例代码&#xff1a; 最后 Java中使用键盘录入&#xff0c;尤其是通过…

ROS2开发机器人移动

.创建功能包和节点 这里我们设计两个节点 example_interfaces_robot_01&#xff0c;机器人节点&#xff0c;对外提供控制机器人移动服务并发布机器人的状态。 example_interfaces_control_01&#xff0c;控制节点&#xff0c;发送机器人移动请求&#xff0c;订阅机器人状态话题…

力扣SQL50 员工的直属部门 子查询 双重

Problem: 1789. 员工的直属部门 &#x1f468;‍&#x1f3eb; 参考题解 Code select employee_id, department_id from Employee where primary_flag Y # Y 表明是直属部门 or employee_id in (select employee_idfrom Employeegroup by employee_idhaving count(employee…

面试真题及答题思路(三)

题目 群众满意、问心无愧、领导决定&#xff0c;给这三个要素排个序&#xff0c;并说说自己的理解。领导让你去调研&#xff0c;路上遇到王大伯跟王大妈吵架&#xff0c;因为王大伯买了保健品被诈骗了&#xff0c;请问你该怎么办&#xff0c;现场模拟&#xff1f; 分析 第一…