混合精度（Mixed Precision）

一句话解释

混合精度（Mixed Precision）是一种在深度学习训练中同时使用16位浮点数（FP16）和32位浮点数（FP32）的技术，旨在平衡计算速度与模型精度。

为什么会被关注

随着模型参数爆炸式增长，传统FP32训练面临显存瓶颈和速度瓶颈。混合精度能在几乎不降低模型准确率的情况下，将训练速度提升2-3倍，同时显存占用减半，因此被主流框架（如PyTorch、TensorFlow）和硬件（NVIDIA GPU）广泛支持。

核心逻辑

混合精度训练的核心是将大部分计算和存储放在FP16上，因为FP16占用更少显存且计算更快。但FP16数值范围窄、精度低，容易导致梯度下溢或溢出。解决方案包括：维护一份FP32权重的副本用于参数更新；使用损失缩放（Loss Scaling）将梯度放大后再转回FP16计算。

常见场景

适用于大模型训练（如GPT、LLaMA）、图像分类、目标检测等任务，尤其在显存有限的消费级GPU上效果显著。主流框架通过自动混合精度（AMP）模块一键启用，用户只需加几行代码即可。

容易混淆的点

混合精度不等于纯FP16训练。纯FP16训练可能因精度不足导致模型不收敛。混合精度保留了FP32权重副本，损失缩放也是关键步骤。另外，部分硬件Tensor Core仅支持混合精度计算，并非所有GPU都能获得同等加速。