CUDA的基础知识

文章目录

  • 数据精度
  • CUDA概念
    • 线程&线程块&线程网络&计算核心
    • GPU规格参数
    • 内存
  • GPU并行方式
    • 数据并行
    • 流水并行
    • 张量并行
    • 混合专家系统

数据精度

  • FP32 是单精度浮点数,用8bit 表示指数,23bit 表示小数;
  • FP16 是半精度浮点数,用5bit 表示指数,10bit 表示小数;
  • BF16 是对FP32单精度浮点数截断数据,即用8bit 表示指数,7bit 表示小数
    在这里插入图片描述
  • 为什么聚焦半精度?
  1. 内存占用更少:fp16 模型占用的内存只需 fp32 模型的一半:
    • 模型训练时,可以用更大的batchsize;
    • 模型训练时,GPU并行时的通信量大幅减少,大幅减少等待时间,加快数据的流通;
  2. 计算更快:主流 GPU 都有针对 fp16 的计算进行优化,在这些 GPU 中,半精度的计算吞吐量可以是单精度的 2-8 倍;

CUDA概念

线程&线程块&线程网络&计算核心

  • CUDA中线程可以分成三个层次:线程、线程块和线程网络
    • 线程(Thread):CUDA 中基本执行单元,由硬件支持、开销很小,每个线程执行相同代码;
    • 线程块(Block):若干线程的分组,Block 内一个块至多512个线程、或1024个线程(根据不同的 GPU 规格),线程块可以是一维、二维或者三维的;
    • 线程网络(Grid):若干线程块 Block 的网格,Grid 是一维和二维的
  • GPU 有很多线程,在CUDA里被称为 Thread,同一组 Thread归为一个Block,而Block 又会被组织成一个Grid
    在这里插入图片描述
  • GPU 上有很多计算核心[ Streaming Multiprocessor (SM)], SM 是一块硬件,包含固定数量的运算单元,寄存器和缓存。
  • 在具体的硬件执行中,一个SM会同时执行一组线程,在CUDA 里叫warp,直接可以理解这组硬件线程warp会在这个 SM 上同时执行一部分指令,一组的数量一般为32或者64个线程
  • 一个 Block 会被绑定到一个SM上,这些线程组会被相应的调度器来进行调度,在逻辑层面上1024个线程同时执行,但实际上在硬件上是一组线程同时执行。假如一个SM同时能执行 64个线程,但一个Block 有1024个线程,那这 1024 个线程是分 1024 / 64 = 16 1024/64=16 1024/64=16次执行

  • GPU 在管理线程的时候是以block为单元调度到 SM 上执行。每个 block 中以warp(一般32个线程或64线程) 作为一次执行的单位(真正的同时执行)
  1. 一个GPU包含多个 SM ,而每个SM包含多个 Core,SM 支持并发执行多达几百的Thread 。
  2. 一个Block只能调度到一个 SM 上运行,直到Thread Block运行完毕。一个SM可以同时运行多个Block (因为有多个 Core)

GPU规格参数

不同的GPU规格参数不一样,执行参数不同,比如 Fermi 架构:

  • 每一个SM上最多同时执行 8 个 Block。(不管 Block 大小)
  • 每一个SM上最多同时执行 48 个 warp。
  • 每一个SM上最多同时执行 48 × 32 = 1536 48 \times 32=1536 48×32=1536 个线程。

内存

  • 一个 Block 会绑定在一个 SM 上,同时一个 Block内的Thread共享一块 ShareMemory(一般是SM的一级缓存,越靠近SM的内存就越快)。
  • GPU和CPU也一样有着多级 Cache 还有寄存器的架构,把全局内存的数据加载到共享内存上再去处理可以有效的加速。
    在这里插入图片描述

GPU并行方式

  • 数据并行(Data Parallelism):在不同的GPU上运行同一批数据的不同子集;
  • 流水并行(Pipeline Parallelism):在不同的GPU上运行模型的不同层;
  • 张量并行(Tensor Parallelism):将单个数学运算(如矩阵乘法)拆分到不同的GPU上运行;
  • 混合专家系统(Mixture-of-Experts):只用模型每一层中的一小部分来处理
    在这里插入图片描述

数据并行

  • 将整个模型放在一块GPU里,再复制到每一块GPU上,同时进行正向传播和反向误差传播,相当于加大batch_size。
  • 每个GPU都加载模型参数,这些GPU称为工作节点(workers),为每个GPU分配分配不同的数据子集同时进行处理,分别求解梯度,然后求解所有节点的平均梯度,每个节点各自进行反向传播

  • 各节点的同步更新策略
  1. 单独计算每个节点上的梯度
  2. 计算节点之间的平均梯度(阻塞,涉及大量数据传输,影响训练速度)
  3. 单独计算每个节点相同的新参数
  • Pytorch对于数据并行有很好的支持,数据并行也是最常用的GPU并行加速方法之一。

  • 将模型按层分割,不同的层被分发到不同的GPU上运行。每个GPU上只有部分参数,因此每个部分的模型消耗GPU的显存成比例减少,常用于GPU显存不够,无法将一整个模型放在GPU上
    请添加图片描述

流水并行

  • layer的输入和输出之间存在顺序依赖关系,因此在一个GPU等待其前一个GPU的输出作为其输入时,朴素的实现会导致出现大量空闲时间。这些空闲时间被称作“气泡”,而在这些等待的过程中,空闲的机器本可以继续进行计算。
    请添加图片描述

张量并行

  • 张量并行:如果在一个layer内“水平”拆分数据。许多现代模型(如Transformer)的计算瓶颈是将激活值与权重相乘

  • 矩阵乘法可以看作是若干对行和列的点积:可以在不同的 GPU 上计算独立的点积,也可以在不同的 GPU 上计算每个点积的一部分,然后相加得到结果。

  • 无论采用哪种策略,都可以将权重矩阵切分为大小均匀的“shards”,不同的GPU负责不同的部分,要得到完整矩阵的结果,需要进行通信将不同部分的结果进行整合

混合专家系统

  • 混合专家系统(MoE)是指,对于任意输入只用一小部分网络用于计算其输出在拥有多组权重的情况下,网络可以在推理时通过门控机制选择要使用的一组权重,这可以在不增加计算成本的情况下获得更多参数。
  • 每组权重都被称为“专家(experts)”,理想状态下,网络能够学会为每个专家分配专门的计算任务不同的专家可以托管在不同的GPU上,为扩大模型使用的GPU数量提供一种明确的方法。
    请添加图片描述

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/news/829925.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

L1-041 寻找250

作者 陈越 单位 浙江大学 对方不想和你说话,并向你扔了一串数…… 而你必须从这一串数字中找到“250”这个高大上的感人数字。 输入格式: 输入在一行中给出不知道多少个绝对值不超过1000的整数,其中保证至少存在一个“250”。 输出格式&a…

【进程通信】利用管道创建进程池(结合代码)

文章目录 什么叫进程池进程池的优点 创建进程池代码实现: 什么叫进程池 我们知道,一个进程创建子进程通常是为了让这个子进程去为它完成某个任务。例如我们使用的指令,其实就是bash进程创建子进程让子进程去执行的。但是我们需要考虑这样一个…

【介绍下分布式系统】

🌈个人主页: 程序员不想敲代码啊 🏆CSDN优质创作者,CSDN实力新星,CSDN博客专家 👍点赞⭐评论⭐收藏 🤝希望本文对您有所裨益,如有不足之处,欢迎在评论区提出指正,让我们共…

wegame启动游戏错误代码126,加载x3daudio1_7.dll失败的修复教程

在尝试通过WeGame平台启动某款游戏时,遇到了阻碍,系统反馈了一个特定的错误代码“错误代码126,加载x3daudio1_7.dll失败”。这个错误提示表示游戏无法加载x3daudio17.dll文件,导致游戏无法正常启动。经过一番研究和尝试&#xff0…

vue elementui el-table表格 点击单元格添加选中样式

注意: 1、点击某行单元格添加选中样式; 2、表格第一列数据单独添加样式,比如:加粗; 3、表格表头添加样式,比如:修改背景色; 先上代码(效果图在文章末尾)&…

python-pytorch 如何使用python库Netron查看模型结构(以pytorch官网模型为例)0.9.2

Netron查看模型结构 参照模型安装Netron写netron代码运行查看结果需要关注的地方 2024年4月27日14:32:30----0.9.2 参照模型 以pytorch官网的tutorial为观察对象,链接是https://pytorch.org/tutorials/intermediate/char_rnn_classification_tutorial.html 模型代…

Ansible自动化

Ansible自动化 自动化的需求: 1. 在什么样的场景下需要自动化? 批量化的工作: 装软件包、配置服务、升级、下发文件… 2. 为什么在自动化工具中选择ansible? 对比shell脚本: 相对于用shell的脚本来实现自动化&#x…

42.接雨水

接雨水是一个非常经典的题目了,我在二刷的时候,终于能独立做了,在记录一下灵神的横着计算的单调栈思想. 法一: 竖着计算 奇思妙想 让我们想想,接到的雨水到底是存储哪里了呢,其实他就是凹陷部分,而什么是凹陷呢,就是从左边看,从右边看都发现不了的地方. …

滑块验证码破解----Java使用opencv后端破解滑块验证

使用技术:Java SpringBootopenCV 在windows上首先需要下载opencv进行安装,先去官网:Releases - OpenCV 下载这个windows版本的安装包 下载后直接安装解压就行,然后需要,然后找到安装位置里的这个文件: 你下载的是什么版本的,这里的数字就是多少,比如我下载4.5.3版本那么这…

永磁同步电机SMO负载转矩观测matlab模型。

永磁同步电机SMO负载转矩观测matlab模型。 负载转矩的有效识别是提高伺服驱动系统抗负载扰动性能的关键之一。现在的传统结构的LTID滑模观测器存在频率抖动大,估计精度差的缺点,限制了其在高性能伺服系统中的应用。 本模型推导分析了传统LTID滑模观测器…

eclipse 如何创建python文件

一、准备 1.平台要求: 电脑除了要安装eclipse软件和Python语言包之外,还需要将Python集成到eclipse软件中,网上有很多的方法,这里就不细细介绍如何集成了。 在下面界面中可以看到自己已经安装了继承插件。具体方法见步骤2&…

AI新篇章:全面解读ChatGPT3.5与GPT4.0的革命性融合

MidTool(kk.zlrxjh.top),一个集成了多种先进人工智能技术的助手,融合了ChatGPT3.5、GPT4.0、DALLE 3和Midjourney等多个智能服务,提供多功能体验。下面是对这些技术的简要概述: **ChatGPT3.5**:…

可视化智慧工厂

在科技迅猛发展的今天,制造业正迎来一场深刻的变革——智慧工厂的崛起。可视化智慧工厂作为其中的重要一环,以其直观、高效、智能的特点,正成为制造业转型升级的关键所在。 一、什么是可视化智慧工厂? 传统的制造业生产方式往往依赖于人工…

Typora配置PicGo图床,将图片文件上传到gitee厂库,获取图片链接显示在md文件中

Typora配置PicGo图床,将图片文件上传到gitee厂库,获取图片链接显示在md文件中 创建Gitee创库和配置私人令牌 名字、路径、描述自己随便添,但是必须开源,链接才能可以访问: 进入偏好设置 > 图像 > 选择PicGo-Cor…

找不到mfc140u.dll文件如何处理?这三种方法帮你快速修复mfc140u.dll

当你的电脑出现提示,显示找不到mfc140u.dll文件,从而无法继续执行代码,你需要知道如何应对这种情况。今天我们就来详细说明如何解决mfc140u.dll文件丢失的问题,并对该文件进行详细分析。这个文件是Microsoft Visual Studio的一个重…

Windows 安全中心:页面不可用 你的 IT 管理员已限制对此应用的某些区域的访问,并且你尝试访问的项目不可用。有关详细信息,请与 IT 支持人员联系。

问题 1:Windows 安全中心提示:【页面不可用 你的 IT 管理员已限制对此应用的某些区域的访问,并且你尝试访问的项目不可用。有关详细信息,请与 IT 支持人员联系。】 修复 Microsoft.SecHealthUI 方法 1:命令自动重装安…

Docker 部署与操作

一 国内: 中国电信天翼云 提供包括云主机在内的全方位云计算服务,侧重于安全合规和企业级服务。 利用电信的网络优势,提供稳定可靠的基础设施服务。 中国联通沃云 提供包括云主机在内的多项云计算服务,适合不同行业和场景。 …

【Spring Security系列】Spring Security整合JWT:构建安全的Web应用

前言 在企业级开发或者我们自己的课程设计中,确保用户数据的安全性和访问控制非常重要。而Spring Security和JWT是都两个强大的工具,它俩结合可以帮助我们实现这一目标。 Spring Security提供了全面的安全功能,而JWT则是一种用于身份验证的…

小程序为什么必须安装SSL证书?怎么挑选?——建议收藏

小程序使用SSL证书的原因主要包括: 1. 安全要求:微信小程序等平台强制要求使用HTTPS加密协议,这意味着必须部署SSL证书以确保所有网络请求的安全性。没有SSL证书,小程序无法正常上线使用。 2. 数据加密:SSL证书通过加密…

51单片机入门(一)

1. 51单片机的基础介绍 2. RAM和ROM的区别 总体而言,RAM和ROM在计算机系统中起着不同的角色,RAM用于临时存储运行时数据,而ROM用于存储永久性的固件和系统程序。 3. 为什么叫51单片机 因为51系列单片机都是使用Intel 8031指令系统的单片机…