Speculative Decoding 投机解码：让大模型推理加速的新思路
Speculative Decoding（投机解码）是一种加速大语言模型推理的采样方法。它利用一个轻量级的草稿模型快速生成多个候选 token，再用目标模型并行验证这些候选，从而减少目标模型的串行调用次数。该方法无需修改模型结构或重新训练，即可在不改变生成分布的前提下实现 2-3 倍的加速，尤其适合对延迟敏感的实时对话和推理场景。
一句话解释
Speculative Decoding 是一种智能的“先猜后验”策略：用一个更小更快的模型先写出好几处可能的后续内容，然后用大模型一次性检查这些猜想是否正确，只保留正确的部分。这样就把原本一次只能生成一个 token 的串行过程，变成了批量验证的并行过程，从而节省了大量时间。
为什么会被关注
大模型（如 GPT-4、Llama 2）在生成长文本时需要依次预测每个 token，速度受限于串行计算和显存带宽。随着模型规模不断增大，推理延迟成为落地瓶颈。Speculative Decoding 巧妙利用了“大多数 token 其实很容易预测”这一事实，让轻量草稿模型承担大部分预测工作，目标模型只需“审核”即可，实现了无损加速。
与传统的量化或剪枝方法不同，投机解码不改变模型的原始分布，因此不会带来精度损失。且该方法与 KV-Cache、批处理等技术正交，可以叠加使用，使得业界对其在在线服务、边缘设备上的应用充满期待。
核心逻辑
核心分三步：草稿模型快速生成 K 个候选 token（通常用贪心或简单的采样方法）；目标模型并行计算这些候选 token 对应的概率分布；基于接受-拒绝采样算法，依次检查每个候选 token 是否符合目标模型的分布，若接受则继续，若拒绝则从目标模型重新采样回退。
关键点在于“接受-拒绝”机制保证了最终采样分布与直接使用目标模型完全相同，即输出统计意义上无偏。草稿模型越准，拒绝率越低，加速效果越明显。实际中常将草稿模型设为目标模型的较小版本（如 1/10 参数量）或共享部分模块。
常见场景
实时对话系统：如 AI 助手需要快速响应用户消息，投机解码可将首 token 延迟和整体生成时间降低近一半，让对话体验更流畅。
代码生成 IDE：插入一段不完整的代码后需要即时补全，草稿模型快速给出多个补全建议，大模型统一验证，减少用户等待时间。
高并发 API 服务：在有限的 GPU 资源下处理大量请求时，投机解码能有效提升每秒生成的 token 数（吞吐量），降低每条请求的平均成本。
容易混淆的点
投机解码并非“加速训练”的技术，它只用于推理阶段，且与“模型蒸馏”不同——蒸馏是训练一个小模型来模仿大模型，而投机解码在推理时仍然使用完整的大模型进行验证。
它也不等同于“并行解码”：并行解码（如 AllenAI 的共享 KV）试图一次生成多个独立的 token，而投机解码始终依赖串行上下文，但通过草稿验证避免了每次都需要大模型参与。
另一个常见误区是认为草稿模型必须独立训练。实际上草稿模型可以是大模型自身的一个子网络或早期退出层，甚至可以是不同尺寸的同系列模型，无需额外训练语料。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词推理加速是一系列旨在提升AI模型在部署后实际运行（即推理）阶段速度和效率的技术总称。它通过硬件优化、软件算法和模型压缩等手段，让模型在保持精度的前提下，用更少的计算资源和时间完成预测任务，是AI落地应用的核心瓶颈突破点。
模型压缩是一系列旨在减少深度学习模型大小和计算需求的技术总称，目的是让强大的AI模型能在手机、汽车、物联网设备等资源受限的环境中高效运行。