RAGCache多级动态缓存降低RAG延迟提升吞吐能力

引言

大语言模型（LLM）的能力毋庸置疑，但在需要实时查询外部知识库的场景下——比如回答“今天股价多少”或“某篇论文的结论是什么”——纯靠“闭卷”就难以胜任。因此，检索增强生成（RAG）技术应运而生，将外部知识注入推理流程，让模型实现“开卷考试”。然而，问题随之而来：开卷虽好，但“翻书”速度太慢。

具体而言，RAG系统在处理长序列时，延迟和效率问题十分棘手。最近，北京大学联合字节跳动的研究团队提出了一项名为RAGCache¹的创新成果，为这一难题提供了相当巧妙的解决方案。

关键发现

在深入探讨方案之前，我们需先明确RAG系统的瓶颈所在。现有优化大多聚焦于LLM推理加速本身，却忽视了RAG自身的特点。研究团队通过深度分析，揭示了三个核心发现：

1. 性能瓶颈主要位于LLM生成阶段。外部知识文档注入后，处理序列被显著拉长。实验数据非常直观：注入的外部文档平均长度高达3718个token，而原始请求仅为348个token——计算开销与序列长度成正比，这正是性能下降的“元凶”。
2. 访问模式高度集中。约占总数3%的热门文档，竟然支撑了60%的检索请求。这种“二八法则”意味着缓存优化具有巨大潜力。
3. 优化空间极大。如果能够缓存文档的中间计算状态，就能省去大量重复计算。实验显示，仅凭这一技术，预填充延迟就能降低11.5倍。

三项发现共同指向同一方向：智能缓存，才是提升RAG速度的关键。

RAGCache 的核心创新

RAGCache的核心理念并不复杂——设计一个多层动态缓存系统，高效缓存并重用检索文档的中间状态。但具体如何实现，才是真正的技术亮点。

其创新点可拆解为四个层面：

知识树结构

RAG系统最棘手的问题之一是文档顺序敏感性。举例来说：假设有两个文档序列，[D1, D3]和[D2, D3]。尽管D3在两个序列中都出现，但其key-value张量值却因前面文档不同而完全不同。若使用普通缓存，要么存储两份浪费空间，要么只存一份导致错误。RAGCache设计了一种知识树结构来组织缓存的文档状态，树状结构天然保留了文档顺序信息，既能快速检索，又保证数据一致性。

前缀感知的贪心双重大小频率（PGDSF）替换策略

缓存空间有限，哪些文档状态保留，哪些淘汰？这需要一套智能的替换策略。RAGCache引入的PGDSF策略，综合考量四个因素：文档顺序、key-value张量的大小、访问频率以及访问时间的新近性。它如同一位精明的仓库管理员，将最有价值、最常被使用的状态保留在离GPU最近的位置，最大化命中率，最小化重复计算。

多层缓存

GPU内存虽然快速，但容量有限；主机内存容量大，却慢得多。RAGCache实现了一个跨GPU和主机内存的分层缓存系统：频繁访问的文档状态存入GPU内存，随取随用；不常访问的则置于主机内存，需要时再加载。这种分层设计在速度和容量之间取得了良好平衡。

动态推测流水线

这一项是整个方案中最具巧思的设计。RAG运行时，向量检索和LLM推理是串行的——先检索完毕，再传给LLM生成，中间存在大量空闲等待。RAGCache实现了一个动态推测流水线，让两者重叠：随着向量搜索逐步返回中期结果，立即发给LLM进行推测生成；如果后续检索到的文档发生变化，系统会自适应地启动新的推测生成。这样一来，空闲时间被大大压缩，端到端延迟显著降低。

性能提升

效果如何？直接看数据：

• 与vLLM+Faiss相比，首个token生成时间（TTFT）最高减少 4倍
• 与vLLM+Faiss相比，吞吐量最高提升 2.1倍
• 与SGLang相比，TTFT最高减少 3.5倍
• 与SGLang相比，吞吐量最高提升 1.8倍

更关键的是，这些提升在不同模型和不同检索设置下均保持一致，说明该方法本身稳健，并非靠“特例”刷出的结果。

实际应用

RAGCache带来的改进对实际场景意味着什么？

1. 问答系统：例如一个客服机器人，用户问“如何申请退款”，系统需快速检索相关政策文档。有了RAGCache，热门政策的状态已缓存在GPU中，响应时间从秒级降至毫秒级，用户体验天差地别。
2. 内容生成：当自动写作助手需要引用实时新闻或背景信息时，RAGCache能快速命中缓存，生成的摘要既准确又全面，无需每次都从头检索。
3. 研究工具：科研人员在撰写文献综述时，常常需要反复比较多篇论文的关键信息。RAGCache让这些检索和比较过程变得飞快，效率提升不止一两倍。

结论

RAGCache的意义在于，它不再把RAG系统视为“LLM+检索”的简单拼接，而是从系统层面深入理解延迟与计算开销的根源，然后对症下药。通过多级缓存、知识树、智能替换策略和推测流水线，它真正解决了长序列生成带来的效率瓶颈。随着LLM应用越来越依赖外部知识，此类优化将使先进AI能力更易获取、更实用——不再是停留在论文中的“黑科技”，而是能够落地到真实产品中的关键技术。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：RAGCache多级动态缓存降低RAG延迟提升吞吐能力要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题