小米大模型推理速度全球最快 1000 tokens/s官方科普

6月9日消息，小米正式上线了Xiaomi MiMo-V2.5-Pro-UltraSpeed模式。简单来说，这是全球首个在通用GPU上突破1000 tokens/s的万亿参数模型，直接刷新了旗舰模型的全球最快推理速度，堪称大模型推理性能的重大突破。

今天，“小米技术”专门发文科普了什么是1000 tokens/s，以及这个速度到底有多快。先记住一个认知锚点：token，也就是词元，可以理解为大模型处理信息的“计量单位”，就像我们买菜时用的“斤”或“两”。了解这一概念，有助于理解小米大模型为何能实现如此惊人的推理速度。

1000 tokens/s，也就是1000 Tokens Per Second，简称1000 TPS，意思是每秒能生成1000个token。如果把这个过程想象成打字，TPS就是大模型的“打字速度”，数字越高，生成速度越快。粗略换算，1个token大约相当于1到2个汉字，或0.75个英文单词。也就是说，1000 TPS相当于每秒生成750个英文单词，或者上千个汉字。这种速度在万亿参数规模的大模型中前所未有。

做个对比：普通大模型的输出速度一般在50到130 TPS之间，大概相当于一个正常人在朗读；国内一些顶尖模型的输出速度大约是400 TPS，已经接近快语速播报的水平。而小米这次上线的UltraSpeed模式，输出速度直接拉到1000 TPS——差不多是人眼阅读速度的200倍，基本上一眨眼的功夫就能生成一整页A4纸的内容。对于需要快速生成长文本或实时交互的应用场景，这一速度优势极为明显。

那么，小米是怎么把速度提到这个水平的？这背后有三项关键技术打底，共同构成了小米大模型推理加速的核心竞争力。

首先是FP4量化技术。它只对精度最不敏感的MoE专家模块进行压缩，其他部分保持原有精度。同时通过量化感知训练，边压缩边补偿，在把模型体积大幅缩小的同时，尽量不让能力受损。这种精准的量化策略，有效降低了显存占用与计算开销。

其次是DFlash投机解码技术。简单说，就是让小模型一次性并行“抢答”一整块token，然后由大模型来做无损验证。猜对了就直接采纳，猜错了再打回去重来。最终输出的结果和原模型完全一致，但验证方式从“逐字确认”变成了“整块确认”，效率大幅提升。这项技术使得小米大模型在保持生成质量的同时，推理速度实现了数量级的飞跃。

最后是TileRT推理系统。它通过常驻内核和异构流水线，尽可能消除微秒级运行中计算步骤之间的启动、等待、搬数据等空闲间隙。在不改变计算结果的前提下，把硬件的时间压榨得干干净净。三者协同，让1000 TPS的极速推理成为现实。