清华腾讯混元获MLSys2026MoE推理冠军 NPU推理速度提升4.1倍

近日，国际机器学习系统顶级会议MLSys 2026公布了其MoE模型推理优化挑战赛的最终结果。由清华大学存储实验室与腾讯混元AI Infra团队共同提交的联合优化方案，凭借卓越的系统性能与创新性，在包括Stanford、MIT等全球顶尖团队的激烈角逐中拔得头筹，荣获全球冠军。

上图直观呈现了该冠军方案的核心优化架构，其关键技术模块包括E-Shard专家分片策略、连续DMA数据传输、PSUM与GEMV计算并发执行、冷启动流水线化以及智能预取控制等，共同构成了高效推理的基石。

本次夺冠的核心优势，不仅源于上述精密的系统层设计，更得益于一个关键的创新工具——团队联合研发的、基于智能体（Agent）的推理算子自动化优化器“Knight”。该工具实现了从优化策略自动生成、代码高效落地到效果复盘迭代的全流程闭环，极大地扩展了高性能优化方案的搜索空间，使得许多以往依赖人工经验难以触及的深度优化点得以自动发掘与实践。

优化成效极为显著。最终，该联合方案将MoE模型的端到端推理耗时从基准的14.91秒大幅降低至3.56秒，整体性能加速比达到4.1倍。尤为关键的是单步解码延迟的优化，从12.63毫秒降至5.45毫秒，这对提升大模型实时交互体验至关重要。此外，在模型权重加载阶段，DMA引擎的利用率提升至约80%，标志着硬件计算资源的利用效率获得了实质性优化。

能够在全球顶尖学府与研究机构的竞争中脱颖而出，充分证明了该方案的技术领先性与工程实用性。这份成绩不仅是一项荣誉，更清晰地表明我国在面向大语言模型的底层系统适配与核心算子深度优化领域，已构建起扎实的工程能力与技术壁垒。此项成果为未来在超大规模算力平台上，高效部署与推理万亿参数级别的混合专家大模型，提供了一个极具参考价值的高性能实现范本与工程路径。