深度学习训练GPU显卡选型攻略

‍‍🏡博客主页： virobotics(仪酷智能)：LabVIEW深度学习、人工智能博主
📑上期文章：『仪酷LabVIEW OD实战(5)——Object Detection+TensorRT工具包快速实现yolo目标检测』
🍻本文由virobotics(仪酷智能)原创首发
🥳欢迎大家关注✌点赞👍收藏⭐留言📝订阅专栏

文章目录

前言
一、NVIDIA常见的三大产品线
二、家用显卡型号的组成（GeForce类型）
二、AI训练显卡选择
- 2.1 了解AI训练的需求
- 2.2 选择显卡的关键参数
- 2.3 选择适合AI训练的GPU
- - 入门级别
  - 中级别
  - 高级别和专业级别
四、关于专业计算显卡（Tesla类型）
五、关于国产显卡
总结

前言

Hello，大家好，我是virobotics（仪酷智能），一个深耕于LabVIEW和人工智能领域的开发工程师。

在人工智能（AI）和深度学习领域，GPU（图形处理单元）已成为训练模型的核心硬件。GPU能够提供比传统CPU更高的并行处理能力，这使得它们在处理复杂的计算任务时显得尤为重要。但是，面对市场上琳琅满目的GPU选项，如何选择最适合AI训练的GPU显卡呢？本文将为你提供一个详细攻略。

一、NVIDIA常见的三大产品线

GeForce类型: GeForce系列是NVIDIA面向个人计算和游戏市场推出的产品线，适用于游戏、图形处理等，并且在深度学习上的表现也非常出色，很多人用来做推理、训练，性价比高。例如目前非常热门的4090、3090等型号。
Quadro类型:Quadro系列定位于专业可视化市场的产品线，主要面向专业人士和企业用户，例如，影视制作、建筑可视化、产品设计和科学计算等行业。。
Tesla类型: Tesla系列显卡是NVIDIA针对高性能计算和人工智能领域推出的产品线，被广泛应用于科学计算、深度学习、大规模数据分析等领域。Tesla显卡采用GPU加速计算，具备强大的并行计算能力和高性能计算效率，我们常说的A100、A800、V100、T4、P40等都属于Tesla系列的显卡。

二、家用显卡型号的组成（GeForce类型）

在这里插入图片描述

我们可能见到过型号的显卡，比如MX150， GTX 1070，GeForce RTX 4090，GeForce RTX 3080 Ti，GeForce
RTX 4090 D等，那么这些名字具体代表什么呢？

显卡前缀
- RTX: 高性能，支持光线追踪技术，适合图形渲染和AI训练；
- GTX: 传统游戏级，缺少光追和AI训练的硬件支持；
- MX: 低功耗，适用于笔记本，不适合高强度计算。
型号数字
- 一般来说家用显卡的型号由四位数字构成；
- 四位数字代表产品代数和性能等级，如“3070”中的“30”代表第30代，越大代表技术代际越新【目前常见的代际一般有 6、7、9、10、16、20、30、40】；“70”表示性能等级，数字越大性能越高。一般来说，16代之前的显卡非常不推荐使用（缺少一些计算单元，会软件模拟导致低效）
后缀
- Ti/Super: 性能强于无后缀版本。
- D: 性能削减版，预算有限时的选择。

二、AI训练显卡选择

2.1 了解AI训练的需求

首先，了解AI模型训练的基本需求至关重要。AI训练通常需要处理大量数据，并进行大规模的并行计算。这需要GPU具备高计算能力、高带宽的内存、以及足够的存储容量来存储训练数据。

2.2 选择显卡的关键参数

CUDA核心数量：CUDA核心是NVIDIA GPU的并行处理核心，数量多意味着更高的并行处理能力。对于深度学习而言，更多的CUDA核心可以提供更快的训练和推理速度。
Tensor核心数:Tensor核心是专为深度学习计算优化的处理器，能够显著加速深度学习模型的训练和推理
内存大小和带宽：AI训练过程中需要加载大量数据，内存大小和快速的内存带宽对于提高训练效率至关重要。足够的内存容量可以确保你能够训练更大、更复杂的模型，或者使用更大的批量大小来提高训练效率。内存带宽决定了GPU处理器访问显存数据的速度。高带宽有助于提高数据处理效率，尤其是在处理大量数据时。
精度支持：AI模型训练通常需要单精度（FP32）或半精度（FP16）浮点运算能力。某些新一代GPU还支持混合精度训练，可以进一步加速训练过程。

下图所示为GeForce类型不同系列显卡的规格参数对比，大家可以重点关注CUDA核心数以及显存规格：
在这里插入图片描述

2.3 选择适合AI训练的GPU

对于AI训练，显存大小决定了能不能训练，而性能等级决定了跑的速度有多快，需要记住的是不同代际的显卡不能直接比较性能。挑选过程一定要注意关键参数，以下内容可做参考：

显存大小:优先挑选显存8GB及以上的显卡，这将会直接影响可以训练的模型大小和批次量。
性能等级: 根据需要选择，性能越高越好，当然需要考虑成本效益。
品牌与售后: 首选华硕、微星、技嘉等，其次也可选择铭瑄、七彩虹、影驰；谨慎购买此列表之外的显卡（品牌选择仅供参考，大家可以根据实际情况酌情自选）
关键参数查看: 显卡信息可以通过GPU-Z查看，其中Shaders和MemorySize 这两个参数尤为重要。Shaders对应的是性能，即CUDA核心数量，MemorySize是显存大小；通过GPU-Z等工具可检查Shaders和Memory Size。
总线宽度(Bus Width): 注意低于192bit可能引起的传输瓶颈。

在这里插入图片描述
除了以上问题，以下内容也列出供大家参考

散热性能: 良好的散热系统保证长时间运行的稳定性和性能。
功耗与电源需求: 确保系统电源能提供足够功率和有合适接口。
接口兼容性: 检查显卡与主板的PCIe版本和大小兼容性。
尺寸与空间: 确保机箱有足够空间安装显卡。
多显卡配置: 考虑SLI或CrossFire配置需求和兼容性。
预算与性价比: 比较性能、价格和长期使用成本。
未来兼容性和升级性: 选择有良好厂商支持和定期驱动更新的显卡。

当然，大家也可以根据不同的应用场景和预算选择合适的GPU。

入门级别

对于初学者或小规模项目，可以选择性价比较高的消费级GPU，如NVIDIA的GeForce RTX 3060或3070系列。这些GPU虽然主要面向游戏市场，但仍然提供了足够的CUDA核心和良好的内存带宽，适合入门级AI模型训练。

中级别

对于需要更高计算能力的中型项目，NVIDIA RTX 3080、RTX 3090、RTX 4090等会是更好的选择。它们提供了更多的CUDA核心和更大的内存容量，能够满足更复杂模型训练的需求。

高级别和专业级别

对于大规模的AI训练任务和企业级应用，推荐选择NVIDIA的专业级GPU，如NVIDIA A100或V100。这些GPU专为AI训练和高性能计算（HPC）设计，提供了巨大的计算能力、极高的内存带宽和容量，以及对混合精度训练的支持。虽然价格昂贵，但它们提供了无与伦比的训练效率和速度。

四、关于专业计算显卡（Tesla类型）

A100 H100 V100 H800 A800 H20 L40 A20 这类纯计算卡，价格不菲，如果不是训练LLM或者大规模训练的话性价比极低，并且没有视频输出，如果已经有了，那大家直接使用就是~
RTX 2000-8000，RTX A2000-A8000 这类的型号，性价比低，如果已经有了，需要注意下上面我们所说的关于Shaders以及Memory Size那些信息；
如果是T4系列还可以凑合用；
如果开头是P的，比如P4，不太建议用来训练了。