KV Cache 是什么？
KV Cache 是一种用于 Transformer 模型推理时的缓存技术，通过存储已经计算过的 Key 和 Value 矩阵，避免重复计算，从而大幅加快文本生成速度，降低延迟。它是当前主流大模型高效推理的标配方案。
一句话解释
KV Cache 是Transformer模型在自回归生成时，将每一层注意力计算中已经算好的Key和Value矩阵存下来，后续新token生成时直接复用，避免重复计算之前所有token的注意力分数。
为什么会被关注
大模型推理时，每次生成一个token都要重新计算自注意力，复杂度随序列长度平方增长。KV Cache 将已经计算过的Key/Value缓存起来，让后续每一步只需计算新token的Query与缓存中Key/Value的内积，复杂度降为线性，延迟可降低数倍甚至数十倍。
在实际应用中，如对话机器人、代码补全等实时场景，用户对首token延迟和生成速度非常敏感。KV Cache 让模型在长上下文下保持流畅交互，成为推理引擎（如vLLM、TensorRT-LLM）的核心优化手段。
核心逻辑
自注意力机制中，每个位置会生成Query、Key、Value三个矩阵。在自回归生成时，当前token只需与前面所有token的Key/Value做注意力计算。若不缓存，每步都要从头计算所有位置的Key/Value，浪费大量算力。
KV Cache 在预填充阶段（处理用户输入的初始prompt）一次性计算所有Key/Value并缓存，随后解码阶段每生成一个新token，只计算该token的Query及其对应的Key/Value，并将新Key/Value追加到缓存中。这样只需维护一个不断增长的缓存列表。
缓存占用显存，且随序列长度线性增长。因此需要管理缓存淘汰、内存复用（如PagedAttention）来平衡速度与资源。现代推理框架通过显存池化、预分配等技术优化KV Cache的存储效率。
常见场景
对话式AI：如ChatGPT、文心一言等，每次对话包含多轮交互，KV Cache 让每一轮回复生成时只需新增token的Key/Value，避免重复计算历史对话，大大减少响应时间。
流式生成：实时语音转录、代码自动补全等场景需要逐字快速输出。KV Cache 配合流式解码，使每个token的生成延迟降低到毫秒级，用户体验平滑。
长文本理解：模型处理超长上下文（如百万token级别）时，完整计算注意力几乎不可能。KV Cache 结合稀疏注意力或分层缓存，使推理在可接受的时间内完成。
容易混淆的点
KV Cache ≠ 普通数据库缓存。它缓存的是模型内部的注意力矩阵，不是用户输入文本。缓存数据是浮点数张量，对应用层完全透明。
KV Cache 与“缓存一致性”无关。模型生成是确定性的，缓存不会导致前后文不一致，因为缓存内容就是历史状态的精确副本。
并非所有模型都用KV Cache。严格来说，任何自回归Transformer都可以使用，但非自回归模型（如部分非因果注意力模型）或一次性生成所有token的模型不依赖它。另外，某些低显存场景下，为了省显存可能会选择性禁用KV Cache，但会极大增加计算量。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词Transformer是一种革命性的神经网络架构，它通过“自注意力”机制并行处理序列数据，彻底改变了自然语言处理领域，并成为GPT、BERT等大模型以及扩散模型的核心基础。
推理加速是一系列旨在提升AI模型在部署后实际运行（即推理）阶段速度和效率的技术总称。它通过硬件优化、软件算法和模型压缩等手段，让模型在保持精度的前提下，用更少的计算资源和时间完成预测任务，是AI落地应用的核心瓶颈突破点。
显存优化是一系列旨在减少深度学习模型运行时对显卡内存占用的技术。它通过模型压缩、动态调度、混合精度等方法，让庞大的AI模型能在消费级显卡上运行，是降低AI应用成本、推动技术普及的核心环节。