详解混合精度训练(Mixed Precision Training)

介绍

混合精度训练(Mixed Precision Training)是一种在深度学习中提高训练速度和减少内存占用的技术。在PyTorch中,通过使用半精度浮点数(16位浮点数,FP16)和单精度浮点数(32位浮点数,FP32)的组合。

优点

在不改变模型、不降低模型训练精度的前提下,可以缩短训练时间,降低存储需求,因而能支持更大的 batch size、更大模型和尺寸更大的输入的训练。

FP16 和 FP32

FP16 和 FP32 是两种不同的浮点数表示格式,它们表示浮点数的精度和范围。

FP16(16位浮点数):

  • FP16 是一种半精度浮点数格式,它使用16位(2字节)来表示一个浮点数。
  • 它的格式通常包括1位符号位、5位指数位和10位尾数位。
  • 由于指数位较少,FP16能够表示的数值范围比FP32小,但它需要的内存和计算资源也更少。
  • FP16在深度学习中被用于加速计算和节省内存,尤其是在支持FP16运算的硬件上。

FP32(32位浮点数):

  • FP32 是一种单精度浮点数格式,它使用32位(4字节)来表示一个浮点数。
  • 它的格式包括1位符号位、8位指数位和23位尾数位。
  • 相比于FP16,FP32能够表示更大范围的数值,具有更高的精度,但也需要更多的内存和计算资源。
  • FP32是最常用的浮点数类型,适用于广泛的科学计算和工程应用。

在深度学习中,使用FP16进行训练可以显著减少模型的内存占用,加快数据传输和计算速度,尤其是在配备有Tensor Core的NVIDIA GPU上。然而,由于FP16的数值范围较小,可能会导致数值下溢(underflow)或精度损失,因此在训练过程中可能需要一些特殊的技术(如梯度缩放和混合精度训练)来确保模型的数值稳定性和最终精度。

基本流程

下面是一个使用PyTorch进行混合精度训练的例子:

  1. 准备环境
    首先,确保你的硬件和PyTorch版本支持FP16运算。然后,导入必要的库:
   import torchimport torch.nn as nnimport torch.optim as optimfrom torch.cuda.amp import autocast, GradScaler
  1. 定义模型
    创建一个简单的神经网络模型,例如一个多层感知机(MLP):
   class SimpleMLP(nn.Module):def __init__(self):super(SimpleMLP, self).__init__()self.fc1 = nn.Linear(10, 5)self.fc2 = nn.Linear(5, 2)def forward(self, x):x = torch.relu(self.fc1(x))x = self.fc2(x)return x
  1. 启用混合精度

    使用autocast()上下文管理器来指定哪些操作应该使用FP16执行:

   model = SimpleMLP().cuda()model.train()scaler = GradScaler()for epoch in range(num_epochs):for batch in data_loader:x, y = batchx, y = x.cuda(), y.cuda()with autocast():outputs = model(x)loss = criterion(outputs, y)# 反向传播和权重更新scaler.scale(loss).backward()scaler.step(optimizer)scaler.update()

在这个例子中,autocast()将模型的前向传播和损失计算转换为FP16格式。然而,反向传播仍然是在FP32精度下进行的,这是为了保持数值稳定性。

  1. 使用GradScaler

由于FP16的数值范围较小,可能会导致梯度下溢(underflow)。GradScaler在反向传播之前将梯度的值放大,然后在权重更新之后将其缩放回来:

   scaler = GradScaler()

在计算梯度后,使用scaler.step(optimizer)来应用缩放后的梯度。

GradScaler

GradScaler 是 PyTorch 中 torch.cuda.amp 模块提供的一个工具,它用于帮助进行混合精度训练。在混合精度训练中,我们通常使用 FP16 来存储模型的权重和进行前向计算,以减少内存占用和加速计算。

然而,FP16 的数值范围比 FP32 小,这可能导致在梯度计算和权重更新时出现数值下溢(underflow),即梯度的数值变得非常小,以至于在 FP16 格式下无法有效表示。

GradScaler 通过在反向传播之前自动放大(scale up)梯度的值来解决这个问题。然后,在执行权重更新之后,GradScaler 会将放大的梯度缩放(scale down)回原来的大小。这个过程确保了即使在 FP16 格式下,梯度的数值也能保持在可表示的范围内,从而避免了数值下溢的问题。

scaler = torch.cuda.amp.GradScaler()
for inputs, targets in dataloader:with autocast():outputs = model(inputs)loss = loss_fn(outputs, targets)scaler.scale(loss).backward()  # 放大梯度scaler.step(optimizer)  # 应用缩放后的梯度进行权重更新scaler.update()  # 更新缩放因子
  1. 保存和加载模型
   torch.save(model.state_dict(), 'model.pth')model.load_state_dict(torch.load('model.pth'))

在混合精度训练中,虽然模型的权重在训练过程中可能会被转换为 FP16 格式以节省内存和加速计算,但在保存模型时,我们通常会将权重转换回 FP32 格式。这是因为 FP32 提供了更高的数值精度和更广泛的硬件支持,这使得模型在不同环境中的兼容性和可靠性更好。

在 PyTorch 中,当你调用 model.state_dict() 方法时,默认情况下它会返回一个包含 FP32 权重的字典。即使你在训练时使用了 FP16,这个字典也会包含 FP32 权重,因为 PyTorch 会先转换为 FP32 再保存。同样,当你使用 torch.load() 加载模型时,如果模型权重是 FP16 格式,PyTorch 会自动将它们转换为 FP32。

注意,如果你的模型是在 GPU 上训练的,加载模型时应该使用 map_location 参数来指定加载到 CPU,然后再将模型转换为 FP32 并移回 GPU。

可能出现的问题

混合精度训练是一种强大的技术,可以提高深度学习模型的训练速度和效率,同时减少内存使用。然而,尽管它有许多优点,但在实践中也可能遇到一些问题和挑战:

  1. 数值稳定性问题

    • 使用FP16可能会导致数值下溢(underflow),即非常小的数值在FP16格式中无法有效表示,变成零。
    • 由于FP16的精度较低,可能会在训练过程中引入舍入误差,影响模型的收敛和最终性能。
  2. 硬件兼容性

    • 并非所有的硬件都支持FP16运算。在没有专门Tensor Core的GPU上,使用FP16可能不会带来预期的性能提升。
    • 一些旧的或低端的GPU可能完全不支持FP16,这意味着混合精度训练无法在这些硬件上使用。
  3. 软件和库的支持

    • 一些深度学习框架和库可能没有完全支持混合精度训练,或者对FP16的支持不够成熟,这可能需要额外的工作来集成或调试。
  4. 模型和数据类型的转换

    • 在混合精度训练中,需要在FP32和FP16之间转换数据类型,这可能需要仔细管理以避免精度损失。
    • 某些操作可能需要显式地转换为FP32来保证数值稳定性,例如梯度缩放和权重更新。
  5. 调试和分析困难

    • 使用混合精度训练可能会使得模型的调试和性能分析更加复杂,因为需要跟踪哪些操作是在FP16下执行的,哪些是在FP32下执行的。
  6. 模型泛化能力

    • 在某些情况下,混合精度训练可能会影响模型的泛化能力,尤其是在模型对精度非常敏感的情况下。

为了解决这些问题,研究人员和工程师通常会采用一些策略,如使用数值稳定的算法、确保正确的数据类型转换、使用支持混合精度训练的深度学习框架和库,以及在必要时进行模型微调。此外,对于特别需要高精度的任务,可能会选择使用全精度(FP32)训练,以避免潜在的精度问题。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/825494.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

“全网最全”LLM推理框架集结营 | 看似微不足道,却决定着AIGC项目的成本、效率与性能!

00-前序 随着ChatGPT、GPT-4等大语言模型的出现,彻底点燃了国内外的学者们与企业家们研发LLM的热情。国内外的大语言模型如雨后春笋一般的出现,这些大语言模型有一部分是开源的,有一部分是闭源的。 伴随着大语言模型的出现,国内外…

树莓派驱动RGB灯-rpi-ws281x库安装

1 树莓派的操作系统安装 1.1 操作系统选择 这个选择64位的操作的系统来驱动,一定不要选择32位的操作系统。笔者在这个地方浪费不少时间,具体原因不是很清楚。如果32位的操作系统,后面在rpi-ws281x的库时候会有报错。 1.2 操作系统链接如下…

JavaEE初阶Day 11:多线程(9)

目录 Day 11&#xff1a;多线程&#xff08;9&#xff09;生产者消费者模型1. 阻塞队列实现 线程池1. 标准库线程池&#xff08;ThreadPoolExecutor&#xff09;1.1 corePoolSize & maximumPoolSize1.2 keepAliveTime & unit1.3 BlockingQueue<Runnable> workQue…

windows docker desktop==spark环境搭建

编写文件docker-compose.yml version: 3services:spark-master:image: bde2020/spark-master:3.1.1-hadoop3.2container_name: spark-masterports:- "8080:8080"- "7077:7077"- "2220:22"volumes:- F:\spark-data\m1:/dataenvironment:- INIT_D…

Java框架 --- MyBatisPlus

一&#xff1a; MyBatisPlus 官方文档 MyBatis-Plus 二&#xff1a;

代码随想录算法训练营第四十四天| 完全背包,518. 零钱兑换 II ,377. 组合总和 Ⅳ

题目与题解 完全背包 题目链接&#xff1a;完全背包 代码随想录题解&#xff1a;​​​​​​​完全背包 视频讲解&#xff1a;带你学透完全背包问题&#xff01; 和 01背包有什么差别&#xff1f;遍历顺序上有什么讲究&#xff1f;_哔哩哔哩_bilibili 解题思路&#xff1a; 看…

云轴科技ZStack助力上银基金余额宝TA系统快速上线

上银基金管理有限公司&#xff08;上银基金&#xff09;通过ZStack Cloud云平台ZStack分布式存储融合架构构建关键余额宝TA系统&#xff08;开放式基金登记过户系统 &#xff09;实现业务快速如期上线。上银基金不仅可以借助ZStack云平台实现VMware纳管迁移&#xff0c;支持双机…

[C++11] 基础类型扩展解读(long long、char16_t char32_t)

说明&#xff1a; long long是一种基本数据类型&#xff0c;它通常是一种至少64位的有符号整数类型。在C中&#xff0c;long long类型能够存储的数值范围远远超过int或long类型&#xff0c;这使得它非常适合存储非常大的整数。 char16_t和char32_t是C11标准引入的两种新的数据…

【华为OD机试】高效货运【C卷|200分】

【华为OD机试】-真题 !!点这里&#xff01;&#xff01; 【华为OD机试】真题考点分类 !!点这里 !! 题目描述 老李是货运公司承运人&#xff0c;老李的货车额定载货重量为 wt。 现有两种货物&#xff1a; 货物 A 单件重量为 wa&#xff0c;单件运费利润为 pa 货物 B 单件重量为…

Spring学习(三)——AOP

AOP是在不改原有代码的前提下对其进行增强 AOP(Aspect Oriented Programming)面向切面编程&#xff0c;在不惊动原始设计的基础上为其进行功能增强&#xff0c;前面咱们有技术就可以实现这样的功能即代理模式。Java设计模式——代理模式-CSDN博客 基础概念 连接点&#xff08…

2024经常用且免费的10个网盘对比,看看哪个比较好用!

网盘在我们的工作和学习中经常会用到&#xff0c;也是存储资料的必备工具&#xff0c;有了它&#xff0c;我们就不用走到哪都带着移动硬盘了&#xff0c;而目前市场上的主流网盘还有数十款&#xff0c;其中有免费的也有付费的&#xff0c;各家不一&#xff0c;今天小编就来为您…

Linux 安装 GHCup,GHC, cabal 以及通过 cabal 安装 pandoc

文章目录 安装 GHCUP1. 指定国内镜像2. 执行安装3. 安装检查 安装 pandoc1. 初始化包列表2. 安装命令3. Trouble ShootingFailure to build cryptonMemory Exhausted 内存不足 安装 GHCUP 1. 指定国内镜像 在 GHCup 官方网站 上面提供了安装方式&#xff1a; curl --proto h…

[Android]模拟器登录Google Play失败

问题&#xff1a; 模拟器登录Google Play失败&#xff0c;提示couldnt sign in there was a problem communicating with google servers. try again later. 原因&#xff1a; 原因是模拟器没有连接到互联网&#xff0c;打开模拟器中Google浏览器进行搜索一样不行。 解决&am…

移动硬盘(PSSD)中文件占用空间远大于文件大小

定义 文件的大小&#xff1a;文件内容实际具有的字节数&#xff0c;它以Byte为衡量单位&#xff0c;只要文件内容和格式不发生变化&#xff0c;文件大小就不会发生变化。 文件占用空间&#xff1a;文件在磁盘上的所占空间&#xff0c;它最小的计量单位是“簇(Cluster)”。 为…

C语言基础--数组和指针

数组和指针 数组与指针的关系与运用 在C语言中&#xff0c;数组和指针是两个重要的概念&#xff0c;它们之间有着密切的联系。本文将介绍如何通过指针操作数组元素&#xff0c;探讨指针数组的概念以及如何将数组名作为函数参数&#xff0c;帮助读者更好地理解和运用数组与指针…

MySQL高负载排查方法最佳实践(15/16)

高负载排查方法 CPU占用率过高问题排查 使用mpstat查看cpu使用情况。 # mpstat 是一款 CPU 性能指标实时展示工具 # 能展示每个 CPU 核的资源视情况&#xff0c;同时还能将资源使用情况进行汇总展示 # 如果CPU0 的 %idle 已经为 0 &#xff0c;说明此核已经非常繁忙# 打印所…

Istio介绍

1.什么是Istio Istio是一个开源的服务网格&#xff08;Service Mesh&#xff09;框架&#xff0c;它提供了一种简单的方式来为部署在Kubernetes等容器编排平台上的微服务应用添加网络功能。Istio的核心功能包括&#xff1a; 服务治理&#xff1a;Istio能够帮助管理服务之间的…

微服务之CircuitBreaker断路器

一、概述 1.1背景 在一个分布式系统中&#xff0c;每个服务都可能会调用其它的服务器&#xff0c;服务之间是相互调用相互依赖。假如微服务A调用微服务B和微服务C&#xff0c;微服务B和微服务C又调用其他的微服务。这就是构成所谓“扇出”。 如果扇出的链路上某个微服务的调…

状态压缩DP题单

P1433 吃奶酪&#xff08;最短路&#xff09; dp(i, s) 表示从 i 出发经过的点的记录为 s 的路线距离最小值 #include<bits/stdc.h> #define int long long using namespace std; const int N 20; signed main() { int n; cin >> n;vector<double>x(n 1),…

C++项目 -- 负载均衡OJ(三)online_judge

C项目 – 负载均衡OJ&#xff08;三&#xff09;online_judge 文章目录 C项目 -- 负载均衡OJ&#xff08;三&#xff09;online_judge一、基于MVC结构的oj服务设计1.结构与功能 二、oj_model.hpp1.建立文件版题库2.文件版题库的服务模块3. MySQL版题库3.1.创建名为oj_client的用…