一.AI计算的基础知识
1.并行计算
指同时使用多种计算资源解决技术问题的过程,是提高计算机系统计算速度和数据处理能力的一种有效手段。它的基本思想是用多个处理器来共同求解同一个问题,即将被求解的问题分解成若干个部分,各部分均由一个独立的处理机来并行计算完成。
2.AI硬件性能参数
双精度:FP64
单精度:FP32
半精度能:FP16
整数精度:INT8/INT16/INT32
为什么AI计算需要低精度:
大多数深度学习模型在训练时,梯度更新往往较小,一般模型参数都会采用较高精度的FP32数据格式来进行训练,但是在推理时,模型需要更长的时间来预测结果,因此,需要提升计算速度,采用更低精度的FP16和INT8。
训练:
是指通过大数据训练出一个复杂的神经网络模型,即用大量标记过的数据来“训练”相应的系统,使之可以适应特定的功能。训练需要极高的计算性能,需要较高的精度,需要能处理海量的数据。需要一定的通用性,以便完成各种各样的学习任务。
推理:
是指利用训练好的模型,使用新数据推理出各种结论。即借助现有的网络模型进行计算,利用新的输入数据来一次性获得正确结论的过程。也有叫做预测或者推断。
3.AI设备中常见内存规格
HBM:高带宽内存,是一种新型的CPU/GPU内存芯片,可理解为GDDR存储器的替代品,采用3D堆叠的封装方式。
优点:小、高带宽、低功耗
缺点:工艺复杂,造价高
例:HBM、HBM2、HBM2E
GDDR:图形用双倍速率动态随机内存,由DDR技术发展而来,专为GPU和加速器设计。
优点:高带宽、低功耗、适合高并发的图形处理
缺点:时序复杂,工艺要求高,不适合随机访问
例:GDDR、GDDR4、GDDR5、GDDR6
DDR SDRAM:双倍速同步动态随机内存,常见于服务器、数据中心、电脑等应用领域。
优点:成本低、延迟低、适合随机访问
缺点:容量小,带宽低
例:SDR SDRAM、DDR SDRAM、DDR2 SDRAM、DDR3 SDRAM、DDR4 SDRAM
4.内存参数
类型: DDR2、DDR3、DDR4、DDR5、
容量: 16GB 32GB 64GB 128GB
位宽: 128Bit、256Bit、384Bit
频率:2133MHz、2666MHz、2933MHz、3200MHz
带宽:204.8GByte
ECC:内存纠错,保持服务器稳定
二.华为昇腾硬件产品
昇腾硬件产品拓扑
昇腾AI模块(Atlas 200)
昇腾AI模块的三种应用模式![image.png](https://cdn.nlark.com/yuque/0/2025/png/52194720/1737537379572-78395a2c-e549-4662-97b7-40e02df5b395.png)![image.png](https://cdn.nlark.com/yuque/0/2025/png/52194720/1737537379641-f0e964da-d375-4648-928a-17999aedd123.png)
Atlas 300I推理卡
Atlas 300I PRO推理卡
Altas 300I Duo
Atlas 300T PRO训练卡
智能小站:
集群:
Atlas 900 A2 PoD产品规格