Gemma 4借助MTP草稿模型实现3倍推理加速

Google 正式面向 Gemma 4 系列推出多 Token 预测（Multi-Token Prediction，简称 MTP）草稿模型。该模型借助专用的推测性解码架构，在保持输出质量与推理逻辑完全一致的前提下，能够实现最高达 3 倍的推理加速。这项技术从本质上解决了标准大语言模型（LLM）推理过程中普遍存在的内存带宽瓶颈问题，对消费级硬件上的部署具有重大意义。

上个月，我们推出了 Gemma 4——这是迄今为止最强大的开放模型。短短几周内，全球下载量已突破 6,000 万次，为开发者工作站、移动设备以及云端环境带来了前所未有的“单位参数智能”（Intelligence-per-parameter）。如今，效率提升再次迎来质的飞跃。

今天，我们正式为 Gemma 4 系列发布一项全新能力——多 Token 预测（Multi-Token Prediction，简称 MTP）草稿模型。借助专用的推测性解码架构，这些轻量级草稿模型可以在不牺牲输出质量或推理逻辑的前提下，实现高达 3 倍的推理加速。

△ 每秒 Token 生成速度提升数据，基于 LiteRT-LM、MLX、Hugging Face Transformers 及 vLLM 在不同硬件上的测试结果。

技术原理：将 Token 生成与验证解耦

从技术本质来看，标准大语言模型的推理过程主要受限于内存带宽。处理器需要花费大量时间将数十亿参数从显存搬运到计算单元，才能生成单个 Token——这带来了显著的延迟瓶颈，尤其在消费级硬件上更为突出，导致算力资源未能真正用在关键位置。

推测性解码的核心思路是将 Token 的生成与验证解耦。具体而言，将大型目标模型（例如 Gemma 4 31B）与轻量级草稿模型（即 MTP 模型）配对，让草稿模型在目标模型处理单个 Token 的时间内，一次性“预测”多个未来的 Token。随后，目标模型并行验证所有这些被建议的 Token——这相当于让一个助手先写出草稿，再由专家快速审阅。

标准大语言模型以自回归方式生成文本，一次只能产生一个 Token。这导致了一个典型的效率问题：预测显而易见的后续内容（例如在 "Actions speak louder than…" 之后补充 "words"）与解答一道复杂的逻辑难题，所消耗的计算量竟然相同——这显然不够经济。

MTP 正是通过推测性解码来缓解这种低效。该技术由 Google 研究人员在《Fast Inference from Transformers via Speculative Decoding》一文中提出。如果目标模型认同草稿序列，它会在单次前向传播中接受整个序列，并额外自行生成一个 Token。这意味着，你的应用现在可以在以往仅能生成单个 Token 的时间内，输出完整的草稿序列再加上一个额外 Token。

《Fast Inference from Transformers via Speculative Decoding》

对开发者的实际意义

对开发者而言，推理速度通常是生产部署中遇到的第一个瓶颈。无论你正在构建编码助理、需要快速执行多步规划的自主智能体，还是运行在纯设备端的即时响应式移动应用——每一毫秒都关乎用户体验。

将 Gemma 4 模型与其对应的草稿模型配对，开发者可以获得以下能力：

更快的响应体验：显著降低近乎实时对话、沉浸式语音应用以及智能体工作流中的延迟。

大幅提升本地开发效能：在 PC 和消费级 GPU 上以前所未有的速度运行 26B MoE 和 31B Dense 模型，为流畅、复杂的离线编程及智能体工作流提供强劲动力。

增强的设备端性能：通过加快输出生成速度，最大化提升 E2B 和 E4B 模型在边缘设备上的实用性，进而延长宝贵的电池续航。

无损质量表现：最终验证权仍由作为主模型的 Gemma 4 掌握，因此你可以获得完全一致的行业前沿级推理能力和准确率，同时大幅提升输出速度。

△ Gemma 4 26B 在 NVIDIA RTX PRO 6000 上的性能实测：标准推理模式（左）与 MTP 草稿模型模式（右）的每秒 Token 数对比。在保证输出质量完全一致的前提下，响应延迟缩减了一半。

底层优化：架构级改进

为了实现极致的速度与准确率，我们在底层架构上引入了多项改进。草稿模型能无缝利用目标模型的激活状态并共享其 KV 缓存，这意味着它们无需重新计算大模型已经处理过的上下文信息。针对最终 Logit 计算面临较大瓶颈的 E2B 和 E4B 边缘模型，我们甚至在嵌入层中实现了一种高效的聚类技术，以进一步加快文本生成速度。

同时，我们对特定硬件的优化进行了细致的分析。例如，尽管 26B 混合专家模型（MoE）在 Apple Silicon 上单批次运行时面临独特的路由调度挑战，但并行处理多个请求（如批次大小为 4 到 8）可在本地解锁高达约 2.2 倍的加速。在 Nvidia A100 硬件上增加批次大小时，我们观察到了类似的效果。

如果想了解具体运行机制，可以查阅我们同步发布的技术解析，其中详细剖析了支撑这些草稿模型的可视化架构、KV 缓存共享以及高效的嵌入层技术。

开放与可用性

Gemma 4 系列的 MTP 草稿模型已经正式发布，采用与 Gemma 4 相同的开源 Apache 2.0 许可协议。欢迎查阅技术文档，了解如何将 MTP 与 Gemma 4 配合使用。现在即可在 Hugging Face 和 Kaggle 上下载模型权重，利用 Transformers、MLX、VLLM、SGLang 及 Ollama 开启快速推理的实践体验，或直接在面向 Android 与 iOS 的 Google AI Edge Gallery 中试用。

我们期待看到这种性能的飞跃将如何助力你在 Gemma 生态系统中开启下一个创新篇章。