大模型推理两阶段速度相差140倍，为何需要PD分离

在大语言模型（LLM）的推理过程中，Prefill（预填充）与Decode（解码）两个阶段的性能差异极为显著，这种差异直接影响了推理效率与部署成本。本文将结合实验数据、原理分析和实践建议，帮助您深入理解PD分离（Prefill-Decode Separation）的核心价值与具体实现方法。

一、核心内容概览

• 大模型推理的两个核心阶段：Prefill与Decode
• 实验数据揭示Prefill与Decode阶段的性能差异
• PD分离对提升推理效率的关键作用

二、引言：回顾两大核心阶段

在之前的文章中，我们已向读者介绍了大模型推理的两个阶段：Prefill（预填充）阶段和Decode（解码）阶段，此处再简要回顾一下这两个阶段的核心特性。

• Prefill阶段：其主要任务是并行处理所有输入信息并生成初始的上下文键值缓存。
• Decode阶段：利用已缓存的上下文，逐个、自回归地生成输出序列中的每个词元。

这两个阶段在计算特性、并行潜力以及核心资源依赖（例如对计算与内存带宽的侧重）上存在显著差异。本文将延续之前的内容，通过一个实验，直观地展示PD分离的必要性。

三、实验：为何需要PD分离？

为了深入理解并量化Prefill与Decode两个阶段的性能特征差异，我们针对各自的计算特性设计了一个基准测试实验。如前所述，Prefill阶段的核心任务是并行处理所有输入数据，而Decode阶段则是逐个、自回归地生成输出序列中的词元。这种本质差异决定了它们在处理吞吐量上必然存在显著不同。因此，本实验通过模拟并发用户请求的场景，分别测量这两个阶段所消耗的时间，从而精确量化各自的性能表现，并清晰揭示它们之间的性能差距。

依据上述思路，我们编写了一个实验脚本，模拟了5个并发用户请求，每个请求的输入提示在填充(padding)后统一为255个token，总计处理1275个输入token，目标是为每个请求生成256个新token，共计1280个输出token。然后分别测量Prefill阶段和Decode阶段的计算速度。

实验代码已开源，可访问链接：https://github.com/chen-ace/LLM-Prefill-Decode-Benchmark。开源库中提供了英伟达CUDA脚本和Apple M系列芯片的代码，方便苹果笔记本用户也能运行测试脚本。但由于Apple M系列设备硬件资源有限，MPS版本的测试代码仅使用了gpt2模型进行测试。

该实验评估了推理过程中两个关键阶段的性能。“近似Prefill阶段”的耗时包含了处理1275个输入token以及为5个请求生成首个新token的全过程。接下来，为了评估“近似Decode阶段”的性能，实验依据生成全部1280个token的总时间记录，在减去Prefill耗时后，计算出了生成剩余1275个token所需的净时间。

PD两阶段性能数据对比图

实验数据如上图所示：近似Prefill阶段耗时仅0.2394秒（输入吞吐量5325.18 tokens/秒），相对地，近似Decode阶段完成后续1275个token的生成需要32.8948秒（输出吞吐量38.76 tokens/秒）。两者合计消耗了33.1343秒的时间。这不仅意味着Prefill阶段的速度是Decode阶段的约137倍，也清晰地表明，在整个推理任务中，总耗时的绝大多数（超过99%）都消耗在了Decode阶段。这一巨大的性能鸿沟直接暴露了LLM推理流程中固有的不平衡性，是提升整体推理效率必须正视并解决的核心问题。

这个现象可以得出一个明确的结论：Decode阶段未能充分利用显卡的算力。换句话说，显卡的算力资源被极大浪费。这也是为什么需要对PD进行针对性优化的原因——如果不对PD进行优化，大量算力资源在耗时最长的Decode阶段被浪费，从而显著提高了模型部署的成本。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：大模型推理两阶段速度相差140倍，为何需要PD分离要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题