小米发布MiMo新模型生成速度提升10倍突破1000tokens/s

6月9日消息，小米与TileRT联合发布了MiMo-V2.5-Pro-UltraSpeed，这一成果标志着行业迈出了标志性的一步：基于万亿参数大模型，在单台标准的8卡通用GPU节点上，首次实现了文本生成速度高达1000 tokens/s的突破。峰值表现甚至能达到1200 tokens/s，全程无需定制专用芯片，从而极大降低了极速AI推理的落地门槛。

同步上线的限时API服务同样备受关注。其定价为原版MiMo-V2.5-Pro的3倍，但生成速度提升了约10倍，性价比优势十分突出。不过，受限于高速推理资源，该服务采用申请制限时开放，试用周期为北京时间6月9日至6月23日23:59。平台将优先审核有实际业务需求的企业与专业开发者，而普通用户则可通过专属网页免费体验对话功能。

具体使用规则方面：单账号每日排队上限为10次，单会话最长为30分钟，闲置5分钟将自动断开连接——这样设计旨在确保资源得到公平分配。

本次性能飞跃，本质上是模型与系统深度协同设计的结果，核心包含三大技术创新：

第一，FP4量化技术。针对模型MoE架构特点，仅对占绝大多数参数的专家层执行无损FP4量化，其余模块则保留原始精度。这样一来，既缩减了内存占用、缓解了带宽压力，又基本保持了模型的综合能力不变。

第二，DFlash区块并行推测解码。它摒弃了传统的串行解码模式，单次即可预测一整段文本区块。在代码、数理推理等场景下，平均单轮能确认6至7个token，大幅提升了解码效率。

第三，TileRT推理系统。该系统重构了GPU执行架构，采用持久化内核与异构流水线，消除了算子切换带来的延迟，让硬件算力得以持续满负荷运转。

极速推理能力正在重塑AI应用场景。超高速度支持模型并行推演和自主纠错，从而提升逻辑推理质量；它能够大幅缓解代码生成时的等待卡顿，释放编程智能体的生产力；同时，也让万亿参数大模型落地高频量化交易、实时反欺诈、医疗影像分析等毫秒级实时决策场景成为可能。