浮点运算

算力最基本的计量单位是 FLOPS，英文 Floating-point Operations Per Second，即每秒执行的浮点运算次数。浮点运算其实就是带小数的加减乘除运算。

算力的计量单位，除了 FLOPS，从小到大还有：

• KFLOPS（每秒1000次浮点运算，10^3）
• MFLOPS（每秒1百万次，10^6）
• GFLOPS（每秒10亿次，10^9）
• TFLOPS（每秒1万亿次，10^12）
• PFLOPS（每秒1000万亿次，10^15）
• EFLOPS（每秒100亿亿次，10^18）

IEEE 754标准定义了三种常见的浮点数格式：单精度、双精度和扩展双精度，它们适用于不同的计算需求。一般来说，单精度适合一般计算，双精度适合科学计算，扩展双精度适合高精度计算。一个遵循 IEEE 754标准的系统必须支持单精度类型（强制类型），最好也支持双精度类型（推荐类型），而扩展双精度类型则是可选的。

大模型训练需要多少算力？

训练总算力（Flops）= 6 * 模型的参数量 * 训练数据的 token 数。

这里的 6 就是每个 token 在模型正向传播和反向传播的时候所需的乘法、加法计算次数。

参考文献：

大模型内容分享(二)：浮点运算——CPU 和 GPU 算力是如何计算的_如何计算单个gpu核心的周期浮点-CSDN博客

英伟达系列显卡大解析B100、H200、L40S、A100、A800、H100、H800、V100如何选择，含架构技术和性能对比带你解决疑惑_b100显卡-CSDN博客