计算机基础入门2：GPU

GPU根据接入系统方式分为集成型GPU（Integrated GPU，iGPU）和离散型GPU（Discrete GPU ，dGPU）两种，前者就是我们日常所说的集成显卡/核芯显卡，后者就是我们日常所说的独立显卡。

发展至今，GPU不仅为个人电脑、服务器和移动设备进行图形处理工作，还主要应用在工作站、游戏机、嵌入式设备、数据中心等各种需要渲染图形或高性能计算的场景。

GPU的工作通俗理解是为完成3D图形的生成，将图形映射到相应的像素点上，对每个像素进行计算确定最终颜色并完成输出。

其工作原理与CPU 类似，都是通过执行指令来完成计算任务。不同的是，CPU 是通过串行执行指令的方式来完成计算任务，而GPU是通过并行执行指令的方式来完成计算任务。GPU 的并行计算方式可同时执行多个任务，大大提高计算效率和速度。

GPU的工作原理流程如下：

1. GPU包含多个核心,每个核心都可以独立执行命令。

2. 每个核心具有自己的存储器，用于存储指令和数据。

3. GPU会接收来自CPU的指令，并把它们分发到多个核心中进行处理。

4. GPU会把处理后的数据传输回CPU，以便CPU可以使用它。

5. GPU的性能取决于其内部的核心数量、时钟频率以及RAM容量。

GPU和CPU都有各自的优势和适用场景，通常是相互协作。如在机器学习中，CPU通常用于数据的预处理和模型的训练过程，而GPU则用于模型的计算推理过程。

在眼下的算力时代，GPU通用计算技术发展在浮点运算、并行计算等部分计算方面，可提供数十倍乃至于上百倍于CPU 的性能。

随着云计算、人工智能等高性能异构计算的发展，GPU并行计算的优势被进一步发掘，成为高性能计算领域的“宠儿”。

英伟达（NVIDIA）是一家人工智能计算公司。市值11380.85亿美元，创立于1993年，美籍华人Jensen Huang（黄仁勋）是创始人兼CEO。2023年5月30日，NVIDIA成为首家市值达到1万亿美元的芯片企业，史上第九家跨入美元市值“万亿俱乐部”的企业。

今天来了解下英伟达高端GPU产品：

| 英伟达GPU的核心参数

了解下英伟达 NVIDIA GPU 的核心参数：

CUDA Core：CUDA Core 是 NVIDIA GPU上的计算核心单元，用于执行通用的并行计算任务，是最常看到的核心类型。NVIDIA 通常用最小的运算单元表示自己的运算能力，CUDA Core 指的是一个执行基础运算的处理元件，我们所说的 CUDA Core 数量，通常对应的是 FP32 计算单元的数量。
Tensor Core：Tensor Core 是 NVIDIA Volta 架构及其后续架构（如Ampere架构）中引入的一种特殊计算单元。它们专门用于深度学习任务中的张量计算，如矩阵乘法和卷积运算。Tensor Core 核心特别大，通常与深度学习框架（如 TensorFlow 和 PyTorch）相结合使用，它可以把整个矩阵都载入寄存器中批量运算，实现十几倍的效率提升。
RT Core：RT Core 是 NVIDIA 的专用硬件单元，主要用于加速光线追踪计算。正常数据中心级的 GPU 核心是没有 RT Core 的，主要是消费级显卡才为光线追踪运算添加了 RTCores。RT Core 主要用于游戏开发、电影制作和虚拟现实等需要实时渲染的领域。

| 英伟达 GPU的架构演进

了解 GPU 核心参数后，再看 NVIDIA GPU 架构演进。

可知，我们先简单了解下这些架构：

Volta 架构：Volta 架构是 NVIDIA GPU 的第六代架构，发布于 2017 年。Volta 架构专注于深度学习和人工智能应用，并引入了 Tensor Core。
Turing 架构：Turing 架构是 NVIDIA GPU 的第七代架构，发布于 2018 年。Turing 架构引入了实时光线追踪（RTX）和深度学习超采样（DLSS）等重要功能。
Ampere 架构：Ampere 架构是 NVIDIA GPU 的第八代架构，2020 年发布。Ampere 架构在计算能力、能效和深度学习性能方面都有重大提升。Ampere 架构的 GPU 采用了多个流多处理器（SM）和更大的总线宽度，提供了更多的 CUDA Core 和更高的频率。它还引入了第三代 Tensor Core，提供更强大的深度学习计算性能。Ampere 架构的 GPU 还具有更高的内存容量和带宽，适用于大规模的数据处理和机器学习任务。
Hopper 架构：Hopper 架构是 NVIDIA GPU 的第九代架构，2022 年发布。相较于 Ampere，Hopper 架构支持第四代 Tensor Core，且采用新型流式处理器，每个 SM 能力更强。Hopper 架构在计算能力、深度学习加速和图形功能方面带来新的创新和改进。

| 英伟达 GPU的主打型号

目前英伟达主打的高端GPU型号有：V100、A100/A800、H100/H800

V100 是前一代的“卡皇”，而 H100 则是新一代的“卡皇”。