BF16 浮点格式

一句话解释

BF16（Brain Floating Point 16）是一种16位浮点数格式，由Google为深度学习专门设计，它用8位指数和7位尾数，在保持与FP32相同动态范围的同时，将存储和计算开销减半。

为什么会被关注

随着大模型参数量突破千亿，显存和算力成为主要瓶颈。BF16相比FP16拥有更宽的指数范围，能避免训练中的梯度溢出或下溢问题，同时比FP32节省一半显存。它被英伟达、AMD、谷歌等主流AI芯片广泛支持，成为混合精度训练的基石。

核心逻辑

BF16的指数位与FP32相同（8位），因此能表示从极小到极大的数值范围，尾数减少到7位则牺牲了部分精度。在深度学习反向传播中，梯度往往分布在一个较宽区间，BF16的宽动态范围恰好匹配这一需求，而精度损失通过随机舍入和累积误差控制被有效掩盖。

常见场景

BF16广泛用于大语言模型（如GPT、LLaMA）的预训练和微调，在PyTorch和TensorFlow中通过AMP（自动混合精度）模块自动切换。GPU上的Tensor Core专门为BF16矩阵乘法加速，将吞吐量提升2-4倍。此外，推理阶段使用BF16可在不影响结果质量的前提下降低显存占用。

容易混淆的点

BF16与FP16容易混淆：FP16有1位符号、5位指数、10位尾数，动态范围窄但精度高；BF16动态范围与FP32一致，但精度更低。在需要极小数值或高精度任务（如某些科学计算）中，BF16可能引入误差，而FP16更适合对范围不敏感但需要细腻度的场景。