《多GPU大模型训练与微调手册》

在这里插入图片描述

全参数微调

Lora微调

PTuning微调

多GPU微调预备知识

1. 参数数据类型 torch.dtype

在这里插入图片描述

1.1 半精度 half-precision

  • torch.float16：fp16 就是 float16，1个 sign（符号位），5个 exponent bits(指数位)，10个 mantissa bits(小数位)

  • torch.bfloat16：bf 16 就是 brain float16，1个 :符号位，8个exponent bits（指数位），7个mantissa bits（小数位）

  • 区别：bf16 牺牲了精度（小数位），实现了比 fp16 更大的范围（多了三个指数位）。

1.2 全精度 single-precision
  • torch.float32：fp 32 就是 float32，1个 sign（符号位），8个 exponent bits(指数位)，23个 mantissa bits(小数位)

2. 显卡环境

2.1 参数量与显存换算

例如，实验室是单机多卡：8卡A6000（40G）服务器 320G显存

① CUDA_VISIBLE_DEVICES 控制显卡可见性

通过CUDA_VISIBLE_DEVICES环境变量 控制哪些GPU可以被torch调用：

  • 代码控制：
# 必须置于 import torch 之前，准确地说在 torch.cuda 的调用之前
import os
os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7'
import torch
torch.cuda.device_count()
# 8
  • 命令行控制：
CUDA_VISIBLE_DEVICES=0,1 python train.py
② 推理换算

  • 模型加载：
    （1）目前模型的参数绝大多数都是float32类型, 每个参数占用 4 个字节。所以一个粗略的计算方法就是，每10亿个参数(1 billion＝10亿)，占用4G显存 (实际应该是10^9 * 4 / 1024 / 1024 / 1024 = 3.725G，为了方便可以记为4G)，即 1B Params= 4G VRAM。比如LLaMA的参数量为7000559616个Params，那么全精度加载这个模型参数需要的显存为：7000559616 * 4 /1024/1024/1024 = 26.08G。
    （2）显存不够，可以用半精度的fp16/bf16来加载，这样每个参数只占2个字节，所需显存就降为一半，只需要13.04G。
    （3）如果显存还不够，可以采用int8的精度，显存再降一半，仅需6.5G，但是模型效果会更差一些。
    （4）如果显存还是不够，int4精度显存再降一半，仅需3.26G。int4就是最低精度了，再往下模型推理效果就很难保证了。
    在这里插入图片描述

  • 模型推理：注意上面只是加载模型到显存，模型运算时的一些临时变量也需要申请空间，比如你beam search的时候。所以真正做推理的时候记得留一些Buffer，不然就容易OOM。如果显存还不够，就只能采用Memery Offload的技术，把部分显存的内容给挪到内存，但是这样会显著降低推理速度。

③ 训练换算

模型训练的时候显存使用包括如下几部分：

  1. 模型权重，计算方法和推理一样。
  2. 优化器：（1）如果你采用AdamW，每个参数需要占用8个字节，因为需要维护两个状态。也就说优化器使用显存是全精度(float32)模型权重的2倍。（2）如果采用bitsandbytes优化的AdamW，每个参数需要占用2个字节，也就是全精度(float32)模型权重的一半。（3）如果采用SGD，则优化器占用显存和全精度模型权重一样。
  3. 梯度：梯度占用显存和全精度(float32)模型权重一样。
  4. 计算图内部变量：有时候也叫Forward Activations。

如果模型想要训练，只看前3部分，需要的显存是至少推理的3-4倍。7B的全精度模型加载需要78G ~ 104G。 然后计算图内部变量这一部分只能在运行时候观测了，可以两个不同的batch的占用显存的差值大概估算出来。

优化的思路也就有了，目前市面上主流的一些计算加速的框架如DeepSpeed, Megatron等都在降低显存方面做了很多优化工作，比如量化，模型切分，混合精度计算，Memory Offload等等。

2.2 分布式架构

在这里插入图片描述
3种并行方式：

  • 数据并行Data Paralleism：模型复制到不同GPU上，将数据切分后，分配到不同的GPU上。
  • 模型并行Model Paralleism：将模型切分后，分配到不同的GPU上。分为张量并行和流水线并行。
    • 张量并行Tensor Paralleism：对模型参数 tensor 切分，分配到不同的GPU进行计算，在参数更新的时候再进行同步。在这里插入图片描述
    • 流水线并行Pipeline Paralleism：对模型按层layer切分，分配到不同的GPU上进行计算。
      在这里插入图片描述
  • 混合并行Hybrid Paralleism：同时进行数据并行、张量并行、流水线并行。
    在这里插入图片描述

下面3个分布式框架都是基于 Pytorch 的并行框架:

  • DP(torch.nn.DataParallel)：单机-单进程多线程进行实现的，它使用一个进程来计算模型权重，在每个batch处理期间将数据分发到每个GPU，每个GPU 分发到 batch_size/N 个数据，各个GPU的forward结果汇聚到master GPU上计算loss，计算梯度更新master GPU参数，将参数复制给其他GPU。（数据并行）
  • DDP(torch.nn.DistributedDataParallel)：可以单机/多机-多进程进行实现的，每个GPU对应的进程都有独立的优化器，执行自己的更新过程。每个进程都执行相同的任务，并且每个进程都与所有其他进程通信。进程（GPU）之间只传递梯度，这样网络通信就不再是瓶颈。（数据并行）
  • FSDP(torch.distributed.fsdp.FullyShardedDataParallel)：Pytorch最新的数据并行方案，在1.11版本引入的新特性，目的主要是用于训练大模型。我们都知道Pytorch DDP用起来简单方便，但是要求整个模型加载到一个GPU上，维护模型参数、梯度和优化器状态的每个 GPU 副本。FSDP则可以在数据并行的基础上，将模型参数和优化器分片分配到 GPU，这使得大模型的训练权重得以加载。（数据并行+模型并行）

这些在前面的博客已经讲过：

  • 分布式并行训练（DP、DDP、DeepSpeed）
  • pytorch单精度、半精度、混合精度、单卡、多卡（DP / DDP）、FSDP、DeepSpeed模型训练
2.3 分布式工具

前面的分布式框架使用起来较为麻烦，因此分布式工具在底层对torch的分布式框架进行封装，实现更加方便的分布式训练和微调：

  • DerepSpeed（微软开发）
  • Accelerate（Huggingface开发）
① DerepSpeed—Zero

DerepSpeed的原理是基于微软的研究：Zero（零冗余优化），研究哪些部分是占用存储空间的，并对这些占用存储的数据进行优化。
在这里插入图片描述

存储空间的消耗 Memory Consumption主要包含两部分：

  • Model States(主)：模型参数Parameters、梯度Gradients、优化器Optimizer_State
  • Residual States(次)：前向传播激活值Activations、临时缓存区Temporal Buffers、内存碎片Unusable Fragmented Memory
    在这里插入图片描述

知道了什么东西会占存储，以及它们占了多大的存储之后，我们就可以来谈如何优化存储了。注意到，在整个训练中，有很多states并不会每时每刻都用到；因此提出了三种Zero优化方法：

  • Zero-DP（优化Model States）：作者采取三个方法优化内存，Pos、Pg、Pp。大体思路都是一样的，把每个模型的参数、梯度、优化器状态分别平均分给所有的gpu，当时计算需要用到其他gpu的内容时，通过GPU之间的通讯传输，以通讯换内存。其中前两个方法不增加通讯成本，第三个方法会增加GPU之间的通信成本。
    在这里插入图片描述

  • Zero-R（优化Residual States）：（1）激活函数：在前向传播计算完成激活函数之后，对把激活值丢弃，由于计算图还在，等到反向传播的时候，再次计算激活值，算力换内存。或者采取一个与cpu执行一个换入换出的操作。（2）临时缓冲区：模型训练过程中经常会创建一些大小不等的临时缓冲区，比如对梯度进行All Reduce啥的，解决办法就是预先创建一个固定的缓冲区，训练过程中不再动态创建，如果要创建临时数据，在固定缓冲区创建就好。（3）内存碎片：显存出现碎片的一大原因是时候gradient checkpointing后，不断地创建和销毁那些不保存的激活值，解决方法是预先分配一块连续的显存，将常驻显存的模型状态和checkpointed activation存在里面，剩余显存用于动态创建和销毁discarded activation复用了操作系统对内存的优化，不断内存整理。

  • 混合精度训练：对于模型，我们肯定希望其参数越精准越好，也即我们用fp32（单精度浮点数，存储占4byte）来表示参数W。但是在forward和backward的过程中，fp32的计算开销也是庞大的。那么能否在计算的过程中，引入fp16或bf16（半精度浮点数，存储占2byte），来减轻计算压力呢？于是，混合精度训练（float2hlaf）就产生了，它的步骤如下图：
    在这里插入图片描述

  1. get fp32：存储一份fp32的Model States：parameter，momentum和variance
  2. fp32-to-fp16：在forward开始之前，额外开辟一块存储空间，将fp32 parameter减半到fp16 parameter。
  3. fp16 computing：正常做forward和backward，在此之间产生的activation和gradients，都用fp16进行存储。
  4. update fp32 model states：用fp16 gradients去更新fp32下的model states。

  • Zero-Offload：GPU显存不够，CPU内存来凑。如下图，左边是正常的计算图，右侧是Zero-Offload的计算图。（⭕️表示state，正方形表示计算图，箭头表示数据流向、M表示模型参数，float2half表示32位转16位）其实就是forward和backward在GPU上计算，参数更新在CPU上。因为CPU与GPU通信数据开销很大，所以CPU和GPU传播的是gradient16，这样保证传播数据量最小。
    在这里插入图片描述

  • Zero-Infinity：GPU内存不够，SSD外存来凑。
    在这里插入图片描述

②Accelerate—Huggingface

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：http://www.mzph.cn/news/156790.shtml

如若内容造成侵权/违法违规/事实不符，请联系多彩编程网进行投诉反馈email:809451989@qq.com，一经查实，立即删除！

相关文章

1.Gin 介绍

1.Gin 介绍

1.Gin 介绍 介绍 Gin 是一个 Go (Golang) 编写的轻量级 http web 框架，运行速度非常快，如果你是性能和高效的追求者，我们推荐你使用 Gin 框架。 Gin 最擅长的就是 Api 接口的高并发，如果项目的规模不大，业务相对简单&a…
阅读更多...
【学习记录】从0开始的Linux学习之旅——编译linux内核

【学习记录】从0开始的Linux学习之旅——编译linux内核

一、学习背景 从接触嵌入式至今，除了安装过双系统接触了一丢丢linux外，linux在我眼中向来是个传说。而如今得到了一块树莓派，于是决心把linux搞起来。 二、概念学习 Linux操作系统通常是基于Linux内核，并结合GNU项目中的工具和应…
阅读更多...
idea Maven Helper插件使用方法

idea Maven Helper插件使用方法

idea Maven Helper插件使用方法 文章目录 idea Maven Helper插件使用方法📆1.安装mavenhelper🖥️2.使用教程📌3.解决冲突📇4.列表展示依赖🧣5.tree展示依赖🖥️6.搜索依赖🖊️7.最后总结 &…
阅读更多...
JSP编写自己的第一个WebServlet实现客户端与服务端交互

JSP编写自己的第一个WebServlet实现客户端与服务端交互

我们在项目中找到java目录 下面有一个包路径 然后 我们在下面创建一个类 我这里叫 TransmissionTest 当然 名字是顺便取的 参考代码如下 package com.example.dom;import javax.servlet.ServletException; import javax.servlet.annotation.WebServlet; import javax.servlet…
阅读更多...
Echarts+vue+java+mysql实现数据可视化

Echarts+vue+java+mysql实现数据可视化

一、折线图，柱状图 https://echarts.apache.org/zh/index.html echarts 官网 更多配置项可以去官网查看 在开始项目之前，确保您已经安装了以下工具和技术： MySQL 数据库：用于存储和管理数据。Java 后端：用于创建后端应…
阅读更多...
gzip 压缩优化大 XML 响应的处理方法

gzip 压缩优化大 XML 响应的处理方法

当处理大型XML响应时，我们经常会面临内存限制和性能问题。 在处理这个问题时，我们可以使用Python的requests库和lxml库来解决。下面是解决方案的步骤： 1. 使用requests库发送HTTP请求获取XML响应。 2. 检查响应的Content-Encoding标头&…
阅读更多...
C语言scanf_s函数的使用

C语言scanf_s函数的使用

因为scanf函数存在缓冲区溢出的可能性；提供了scanf_s函数；增加一个参数； scanf_s最后一个参数是缓冲区的大小，表示最多读取n-1个字符； 下图代码； 读取整型数可以不指定长度；读取char&#xf…
阅读更多...
机器视觉兄弟们，新工作之前，不要过度准备

机器视觉兄弟们，新工作之前，不要过度准备

大家对工作的渴望我感同身受，有人去机器视觉培训机构培训，有人默默无闻地努力学习，不都是为了一份高新好工作吗？ 实际上是： 技术高的人，劳动力贬值。 技术低的人，没有生存空间。 你有野心&…
阅读更多...
dvwa 代码注入impossible代码审计

dvwa 代码注入impossible代码审计

dvwa 代码注入impossible代码审计 <?phpif( isset( $_POST[ Submit ] ) ) {// Check Anti-CSRF tokencheckToken( $_REQUEST[ user_token ], $_SESSION[ session_token ], index.php ); // 检查token值是否正确// Get input$target $_REQUEST[ ip ]; $target stripslas…
阅读更多...
【Python数据结构与算法】--- 递归算法应用-五行代码速解汉诺塔问题.

【Python数据结构与算法】--- 递归算法应用-五行代码速解汉诺塔问题.

&#x1f308;个人主页: Aileen_0v0 &#x1f525;系列专栏:PYTHON数据结构与算法学习系列专栏&#x1f4ab;"没有罗马,那就自己创造罗马~" 汉诺塔 两层汉诺塔的演示 三层汉诺塔的走法演示 我不知道有没有朋友跟我一样有一个疑问,如果我们顶端的先放到中间柱子呢?…
阅读更多...
交替最小二乘法

交替最小二乘法

前置概念导入 协同过滤&#xff08;Collaborative Filtering&#xff09;&#xff1a;这是一种推荐系统的方法&#xff0c;依据用户之间或物品之间的相似性来进行推荐。协同过滤通常分为两种主要类型&#xff1a;用户基于&#xff08;user-based&#xff09;和物品基于&#xf…
阅读更多...
享元模式 rust和java的实现

享元模式 rust和java的实现

文章目录 享元模式介绍实现javarust实现代码 rust仓库rust仓库 享元模式 享元模式&#xff08;Flyweight Pattern&#xff09;主要用于减少创建对象的数量&#xff0c;以减少内存占用和提高性能。这种类型的设计模式属于结构型模式&#xff0c;它提供了减少对象数量从而改善应…
阅读更多...
Tensorrt 实现 yolov5-cls 遇到的问题

Tensorrt 实现 yolov5-cls 遇到的问题

yolov5-6.2增加了分类训练、验证、预测和导出&#xff08;所有 11 种格式&#xff09;&#xff0c;还提供了 ImageNet 预训练的 YOLOv5m-cls、ResNet&#xff08;18、34、50、101) 和 EfficientNet (b0-b3) 模型. 官方Git : https://github.com/ultralytics/yolov5 分类模型与…
阅读更多...
安装gitlab

安装gitlab

安装gitlab 环境 关闭防火墙以及selinux&#xff0c;起码4核8G 内存至少 3G 不然启动不了 下载环境 gitlab官网&#xff1a;GitLab下载安装_GitLab最新中文基础版下载安装-极狐GitLab rpm包下载地址&#xff1a; [Yum - Nexus Repository Manager (gitlab.cn)](https://pack…
阅读更多...
C语言回文数（1106:回文数（函数专题））

C语言回文数（1106:回文数（函数专题））

题目描述 一个正整数&#xff0c;如果从左向 右读&#xff08;称之为正序数&#xff09;和从右向左读&#xff08;称之为倒序数&#xff09;是一样的&#xff0c;这样的数就叫回文数。输入两个整数m和n&#xff08;m<n)&#xff0c;输出区间[m&#xff0c;n]之间的回文数。 …
阅读更多...
「C++」AVL树的实现（动图）

「C++」AVL树的实现（动图）

&#x1f4bb;文章目录 AVL树概念AVL的查找AVL树的插入 代码部分AVL树的定义查找插入旋转 &#x1f4d3;总结 AVL树 概念 AVL树又名高度平衡的二叉搜索树&#xff0c;由G. M. Adelson-Velsky和E. M. Landis发明&#xff0c;顾名思义&#xff0c;其任意节点的左右子树最大高度…
阅读更多...
第十一章 目标检测中的NMS(工具)

第十一章 目标检测中的NMS(工具)

精度提升 众所周知&#xff0c;非极大值抑制NMS是目标检测常用的后处理算法&#xff0c;用于剔除冗余检测框&#xff0c;本文将对可以提升精度的各种NMS方法及其变体进行阶段性总结。 总体概要&#xff1a; 对NMS进行分类&#xff0c;大致可分为以下六种&#xff0c;这里是依…
阅读更多...
Android File Transfer(安卓文件传输工具)

Android File Transfer(安卓文件传输工具)

Android File Transfer 是一款安卓文件传输工&#xff0c;它允许在Mac操作系统和Android设备之间进行文件传输。 该软件通过USB连接将文件从Mac电脑传输到连接的Android设备&#xff0c;或者反过来从Android设备传输文件到Mac电脑。这包括照片、视频、音乐、文档和其他文件类型…
阅读更多...
基于SDN技术构建多平面业务承载网络

基于SDN技术构建多平面业务承载网络

随着企业数字化的浪潮席卷各个行业&#xff0c;传统网络架构面临着更为复杂和多样化的挑战。企业正在寻找一种全面适应数字化需求的网络解决方案。随着软件定义网络&#xff08;SDN&#xff09;的发展&#xff0c;“多业务SDN一张网”解决方案为企业提供了一种全新的网络架构&a…
阅读更多...
2023年中职“网络安全“—Linux系统渗透提权②

2023年中职“网络安全“—Linux系统渗透提权②

2023年中职"网络安全"—Linux系统渗透提权② Linux操作系统渗透测试任务环境说明&#xff1a;1. 使用渗透机对服务器信息收集&#xff0c;并将服务器中SSH服务端口号作为flag提交&#xff1b;2. 使用渗透机对服务器信息收集&#xff0c;并将服务器中主机名称作为flag…
阅读更多...
推荐文章
最新文章

Copyright @ 2022~2023