二者都是占用16bit空间。

• FP16由1个符号位、5个指数位和10个尾数位组成。FP16在表达小数时具有较高的精度，但表示的最大范围相对BF16比较小。相比BF16，在表达较大的数时更容易出现上溢的情况。
• BF16由1个符号位、8个指数位和7个尾数位组成。相比于FP16，BF16牺牲了一些尾数位以增加指数位，扩大了表达的范围，但是精度降低了，因此对于对精度需求比较高的模型，模型可能效果不如FP16。

模型训练时使用BF16和FP16都可以降低内存使用和传输量，提高训练效率。

---

参考

• 使用半精度训练时，BF16和FP16格式有什么异同？