北大上交提出位置无关缓存HYPIC，混合注意力大模型首token延迟降3.25倍

随着RAG（检索增强生成）与Agent应用的普及，大模型服务中的prompt长度持续增长。一条请求中，检索文档、技能说明、历史对话等数十上百个片段拼接在一起，轻松超过十万token。这直接导致prefill（预填充）阶段成为整个服务中成本最高、延迟最慢的环节。

业界早已洞察到这一痛点，并发展出两条技术路径。其一是“位置无关缓存”，允许共享文本片段缓存后拼接至任意位置复用，完美契合RAG的组装逻辑。其二是“混合注意力模型”，将大部分传统全注意力层替换为计算复杂度更低的线性注意力层，从而压榨算力。

然而，这两条路径存在根本矛盾。位置无关缓存依赖于对每个token的KV缓存进行精细操作，而线性注意力层仅暴露一个压缩后的“整段循环状态”，缺乏单个token的操控抓手。因此，在HYPIC问世之前，没有任何系统能为混合注意力模型提供位置无关缓存能力。

为攻克这一难题，小红书大模型推理团队联合北京大学、上海交通大学，提出了HYPIC——首个在混合注意力大模型上实现位置无关缓存的服务系统。在4个生产级模型和5种工作负载的测试中，HYPIC将首token延迟（TTFT）平均降低了3.25倍；在相同SLO（服务质量目标）下，可持续QPS（每秒查询数）提升了1.66倍；任务质量与“完全重算”相比，仅相差1.71分。

论文标题： HYPIC: Accelerating Hybrid-Attention LLM Serving with Position-Independent Caching

论文链接： https://arxiv.org/abs/2607.01299

代码链接： https://github.com/redai-infra/HYPIC

大模型服务正从单轮聊天向检索增强问答、多文档摘要、长程Agent等新形态演进。这类负载的共同特征是：prompt由多个语义独立的片段拼装而成（包括检索文档、技能说明、记忆文件、历史轮次等），最终形成数万乃至数十万token的超长上下文。

如此长的上下文下，prefill主导了单请求的算力开销，成为服务商最主要的成本来源之一；更严重的是，一旦缓存未命中（cache miss），尾部TTFT可高达数十秒，严重损害交互体验。

为降低这一成本，许多研究提出了位置无关缓存（PIC）：放宽严格前缀约束，使每个语义独立的片段只需缓存一次，即可拼接到任意前缀之后，这与RAG/Agent的prompt组装方式完美匹配。现有PIC方法虽然策略各异，但本质都归结为两个原语——沿token轴直接拼接的splice，以及通过重算少量token来恢复跨段上下文的correction。

与此同时，模型架构也在演进。线性注意力将注意力的二次复杂度降至线性，并将无界的KV历史压缩为固定大小的循环状态。近期生产模型（如MiniMax-M1、Ring-2.5、Qwen3.5、Kimi-Linear）并未完全抛弃全注意力，而是将75%以上的层线性化，保留少量全注意力层，形成混合注意力（Hybrid-Attention）这一主流设计。以Qwen3.5-35B-A3B为例，40层中有30层为线性层。

冲突由此产生：现有PIC操作的是逐token的KV缓存，而线性注意力层仅暴露一个per-request的循环状态——没有逐token的抓手可用于splice或correction。结果，混合模型中的大部分层都落入了现有PIC的能力范围之外。在此之前，没有任何系统能为混合注意力大模型提供PIC。

HYPIC的核心思想是对混合注意力模型中的两类层“分而治之”，并借助一层系统级并行将冷请求一并加速。它由三个环环相扣的机制构成。

2.1 线性层：缓存「转移算子」，实现常数时间状态组合

对于线性注意力层，最直接的PIC稻草人方案是将两段各自的“零初值末状态”直接相加。在朴素线性注意力下这恰好成立，但在带衰减、门控、delta擦除的进阶线性注意力（RetNet、Mamba2、GLA、DeltaNet、GDN、KDA等）下会失效。

研究发现，真正被遗漏的是一个关键量——段累积转移算子（segment-cumulative transition operator）T_C，即一段内所有token转移矩阵的连乘。真实的末状态应为S(C1·C2) = T(C2)·S(C1) + S(C2)，朴素相加恰恰丢掉了T(C2)这一项，导致结构性误差（实测RetNet慢衰减头在256 token时误差已达状态范数的22%）。

关键洞察在于：T_C和零初值末状态S(C|0)都仅由片段内部的token决定，与前缀无关。因此HYPIC在片段首次prefill时，将二元组(T_C, S(C|0))一并缓存下来；复用时按组合律左乘T_C、再相加，即可在常数时间内近乎精确地还原任意前缀下的末状态，且天然覆盖全部线性注意力家族。实测在Qwen3.5-35B-A3B上，组合后的状态在第0层与完全重算相差仅6×10⁻⁵——落在FP16噪声内。

对于带因果卷积、带RoPE的变体，HYPIC分别用“卷积状态热身”和“状态重旋转”两个补丁做了严格对齐。

2.2 全注意力层：用「缝合窗口」修复跨段注意力

混合注意力模型中少数的全注意力层仍需要PIC，但以往工作的选择性重算无法直接迁移——因为下方的线性层只保留末状态，非末尾token无法向上穿过全注意力层。两种退路（逐token存循环状态、或从零重新递推）在存储或算力上都不可接受。

一个值得注意的观察是：KV拼接后的偏差高度集中在每个复用片段的开头，其余部分几乎不受影响（这与全注意力模型里的attention sink现象一致，并在混合注意力模型里同样成立）。

据此，HYPIC为每个内部片段的开头w个token构造一个缝合窗口（seam window）：缓存时这几个token不入缓存，复用时在完整前缀下重算它们，从而修复跨段注意力。默认w=8——由于实际片段长度通常大于512 token，缝合窗口仅占极小一部分，重算开销可控。为支持段首KV重算，linear-attention层在复用时需即时算出缝合窗口自身的T和S，一边推进running state，一边把每个seam token的逐层输出前传给上层的全注意力层。

2.3 段并行：把「长冷请求」变成可加速的负载

缓存未命中不可避免（语料持续更新、低频文档被淘汰），而长冷请求正是尾延迟的主因。现有系统仍将整条prompt视为整体，在单实例上串行prefill所有冷片段，TTFT随O(n·|C|)增长；张量并行等实例内并行虽能加速单次前向，但扩展性有限（100k token请求在TP-8下仍需17.7秒）。

但PIC已经让每个片段“自包含”——其prefill结果仅由内部token决定。HYPIC顺势提出段并行（Segment Parallelism）这一实例间并行方案：Router探测每段命中状态，将冷片段并行分发给多个scatter worker，再由一个combine worker将各段结果组装为完整运行状态。它把冷prefill从O(n·|C|)降至O(⌈n/m⌉·|C|+c)。

为将这条路径跑满，HYPIC还做了两件事：采用LPT（最长处理时间优先）贪心策略均衡各worker负载；将每段的计算与传输流水线重叠，避免combine worker被同步的传输突发拖住。段并行与实例内并行（TP/DP/SP）作用在正交的轴上，可无缝叠加。

我们在SGLang上实现了HYPIC（约14k行Python / Triton），在8×H20节点上，选取4个生产级混合注意力模型（Ring-mini/flash-linear-2.0、Qwen3.5-35B-A3B / 122B-A10B）、4个公开数据集（HotpotQA、TriviaQA、MultiNews、GovReport）与1条生产RAG trace进行评测。

端到端延迟与质量：全量预热后，HYPIC相比Prefix Cache将p50 TTFT平均降低3.25倍（各模型2.77×–4.05×）；而任务质量几乎无损——16个“模型×数据集”单元平均仅落后完全重算1.71分，在Qwen3.5-35B上甚至反超0.47分。作为对照，不缓存转移算子的“朴素相加”直接损失了66.9%的分数，印证了T_C的必要性。

吞吐与QPS：在生产RAG trace上，同1秒TTFT SLO下，HYPIC将可持续QPS相比Prefix Cache提升1.66倍（1.49×–1.85×），峰值单卡吞吐提升约1.3–1.5倍。

段并行加速冷请求：在纯冷未命中路径上，一条32k token请求的TTFT从单worker的2.83秒，降至8 worker的0.49秒——5.7倍加速，且几乎全部收益来自可近线性扩展的scatter阶段；面对不均匀分片，LPT相比Round-Robin将TTFT从1.26秒压至0.84秒（3.6× vs 2.4×）。

开销可控：构造(T_C, S(C|0))的一次性开销，在最重的稠密转移模型上也仅为主前向的5.2%–6.7%，且一次构造、多次复用摊薄。

总结一下，HYPIC首次将“位置无关缓存”带到了混合注意力大模型上。其核心思路非常清晰：用缓存的段累积转移算子实现线性层的常数时间状态组合，用小小的缝合窗口修复全注意力层的跨段对齐，再用段并行将长冷请求也变成可加速的负载。这相当于让RAG和Agent这类长上下文服务，在拥抱高效混合架构的同时，也能享受到片段级缓存复用的红利，不再被“鱼和熊掌不可兼得”的问题所困扰。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：北大上交提出位置无关缓存HYPIC，混合注意力大模型首token延迟降3.25倍要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题