模型缓存：大模型推理的“加速器”是什么？
模型缓存是大模型推理过程中存储中间计算结果（特别是注意力机制的Key-Value对）的技术，让后续生成无需重复计算，大幅降低延迟和算力消耗，是支撑实时交互和长文本场景的关键优化手段。
一句话解释
模型缓存是一种在大语言模型推理时，将中间计算结果（主要是注意力机制中的Key和Value矩阵）存储起来的技术。后续生成新的token时直接复用缓存数据，避免重复计算，从而显著提升推理速度并降低延迟。
为什么会被关注
随着ChatGPT等对话式AI的普及，用户对实时响应和超长文本（如万字文档）的需求急剧增长。没有缓存时，每次生成都要从头计算所有历史token，延迟随对话长度线性上升。模型缓存能将计算复杂度从O(n²)降低到O(n)，是支撑低延迟、高并发服务的关键技术。
同时，缓存还能减少显存带宽占用，降低云服务成本，因此被各大AI平台和开源框架（如vLLM、TensorRT-LLM）广泛采用，成为大模型推理优化的标配手段。
核心逻辑
大模型生成文本时，每一步都需要计算当前token与之前所有token的注意力权重。模型缓存保存了历史token的Key和Value矩阵，新token只需计算自己的Query，然后从缓存中读取Key/Value进行注意力计算。
缓存通常存储在GPU显存中，并伴随对话推进不断追加新的KV对。当缓存超过显存容量时，会采用最近最少使用（LRU）等淘汰策略，或通过滑动窗口、稀疏缓存等方式压缩存储。
常见场景
最常见的是多轮对话：用户连续提问时，模型只需缓存第一轮的回答计算过程，后续轮次直接复用，无需重复计算历史对话。其次是长文本生成，如万字报告或代码补全，缓存让模型在长期依赖中保持快速响应。
服务端部署时，还可将系统提示词（如角色设定）的KV缓存预加载，作为“前缀缓存”加速首次响应。这类优化在API服务和私有化部署中尤其普遍。
容易混淆的点
模型缓存容易与“内存缓存”混淆——内存缓存存放的是数据查询结果（如Redis），而模型缓存存的是神经网络推理中的中间张量，两者机制完全不同。
也常被误认为“模型量化”。量化是压缩模型权重精度以减少显存占用，而缓存优化的是计算流程本身。虽然两者常配合使用，但解决的问题和实现方式截然不同。
本文内容用于 AI 热词解释和概念整理，仅供学习和理解参考。若涉及表述偏差或内容修正，欢迎联系站点进行更新。
相关热词KV Cache 是一种用于 Transformer 模型推理时的缓存技术，通过存储已经计算过的 Key 和 Value 矩阵，避免重复计算，从而大幅加快文本生成速度，降低延迟。它是当前主流大模型高效推理的标配方案。
推理加速是一系列旨在提升AI模型在部署后实际运行（即推理）阶段速度和效率的技术总称。它通过硬件优化、软件算法和模型压缩等手段，让模型在保持精度的前提下，用更少的计算资源和时间完成预测任务，是AI落地应用的核心瓶颈突破点。
显存优化是一系列旨在减少深度学习模型运行时对显卡内存占用的技术。它通过模型压缩、动态调度、混合精度等方法，让庞大的AI模型能在消费级显卡上运行，是降低AI应用成本、推动技术普及的核心环节。
长上下文(Long Context)是指大语言模型能够一次性处理的文本长度上限。过去模型只能记住几千字，现在主流模型已支持数十万甚至百万token，让AI可以同时分析整部小说、完整代码库或长篇对话，大幅提升复杂任务的处理能力。