MXFP4精度解析：4Bit量化如何让AI模型流畅运行于普通硬件

MXFP4绝非普通的“数值压缩”——它更像是架设在AI技术“不可能”与“可能”之间的一座坚实桥梁。这项技术能够用更少的比特来承载更多的智能，同时让训练和部署强大的AI模型变得人人皆可。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

借助原生MXFP4精度，GPT-OSS-120B模型如今仅需单块H100 GPU即可运行，而GPT-OSS-20B模型更是仅需16GB内存便能轻松容纳。

MXFP4究竟是什么？定义与起源

MXFP4，全称为微缩放FP4，由开放计算项目于2024年初创建并标准化，是下一代4位浮点格式的代表。这一倡议获得了AMD、NVIDIA、微软、Meta、OpenAI等科技巨头的广泛支持，其核心目标在于降低尖端AI技术的硬件门槛与计算成本。

格式规范：每个数值仅用4位存储，采用E2M1布局——即每个参数包含1位符号位、2位指数位和1位尾数位。块结构设计：不同于对每个数值单独缩放的传统方式，MXFP4将模型数据划分为小块，并为每个块分配一个统一的8位指数缩放因子，这一创新被称为“微缩放”。核心目标：在保持模型性能质量的前提下，大幅降低大规模AI模型训练与部署所需的内存占用和计算资源。

核心原理：MXFP4如何运作？

MXFP4之所以不同于以往的量化方案，关键在于它巧妙平衡了极致压缩与精度损失的最小化，其具体运作流程如下：

块构建：将模型张量划分为包含32个连续元素的小块。共享缩放：为每个块计算一个8位共享缩放因子，确保能最优适配块内所有数值。E2M1编码：块内每个数值均采用4位E2M1格式进行量化。数值重构：通过解码公式得到实际浮点数值。

这种结构使得MXFP4仅用4位就能高效表示现代AI模型中广泛的动态范围，同时保持极低的存储开销，与均匀量化方案相比实现了根本性突破。

图片

不止推理：支持训练的先进技术

多年来，4位量化一直被认为“仅适用于推理场景”，无法满足训练需求。而MXFP4通过引入一系列保障梯度完整性的创新技术，彻底改变了这一现状：

随机舍入：随机化舍入方向，确保训练更新过程中不会出现系统性信息丢失，避免偏差产生并保障学习进度。随机哈达玛变换：在量化前对块内数值进行重新分布，最大限度降低“异常值”的影响，帮助梯度在量化过程中保持有效性。分组量化：每个块在动态范围和量化误差之间实现关键平衡。

这些创新使得大规模模型能够直接基于MXFP4进行训练，无需再依赖高精度预训练流程。

实践落地：OpenAI的GPT-OSS模型应用

为验证MXFP4的实际效果，OpenAI发布了GPT-OSS系列开源权重模型——这些模型均采用原生MXFP4精度训练而成。

这些模型充分证明了MXFP4的核心优势：

极致压缩：1200亿参数模型可容纳于80GB显存，200亿参数模型仅需16GB显存。无损性能：在推理和代码生成基准测试中，其性能接近采用更高精度训练的大型模型。开放可用：基于Apache 2.0许可证开源，可直接用于生产环境或科研场景。

生态支持：超越专有方案的开放标准

MXFP4是真正的开放标准，而非厂商锁定的技术手段。

硬件支持：NVIDIA Blackwell架构原生支持MXFP4，FP8吞吐量提升一倍。NVIDIA Hopper通过Triton实现软件优化支持。广泛适配：已被Hugging Face、vLLM、Nvidia NIM、Ollama等主流平台和工具采纳。

总结

MXFP4绝非“单纯的数值压缩”——它更像是架设在AI技术“不可能”与“可能”之间的一座坚实桥梁。通过用更少的比特封装更多智能，它让训练和部署强大的AI模型成为每个人都能触及的现实。