小红书开源RedKnot长文本推理加速引擎

RedKnot是什么？

但凡从事过大模型长文本推理工作的开发者，想必都遭遇过那个令人头疼的KV Cache膨胀问题。可以说，这几乎成为长上下文场景中难以回避的瓶颈。RedKnot这一方案，是小红书开源的一把全新密钥，专门用于加速长文本LLM推理过程。它的设计思路颇为巧妙：不再将KV Cache视为一个整体来处理，而是沿着注意力头的维度将其拆解，离线为每个头打上标签——哪些是需要全局重新计算的“全局头”，哪些是可以局部复用的“局部头”。随后搭配一套名为SegPagedAttention的内存管理机制，实现按头分页存储，再配合一个能处理变长序列的内核，从根源上避免了attn_mask带来的性能损失。此外，它还引入了一种稀疏FFN设计，仅对注意力分数较高的token执行稠密计算，精准攻克短上下文场景下的FFN性能瓶颈。

核心功能一览

• 头分类稀疏：离线为每个注意力头标记“全局”或“局部”属性，该分类在请求间高度稳定，在线运行时完全无需额外开销，实现零成本智能化调度。
• 位置无关的KV复用：即使相同的文档片段出现在非前缀位置，也能直接复用先前计算好的KV Cache，彻底打破传统前缀匹配的严格限制。
• 稀疏FFN加速：仅对注意力得分最高的top-k token执行稠密FFN计算，其余token直接经由残差路径传递，短上下文下的FFN瓶颈由此得到有效缓解。
• SegPagedAttention存储：KV Cache不再以稠密张量形式存在，而是改造为按段分页存储，物理层面仅保留每个头实际需要的token，大幅降低冗余。
• 弹性稀疏恢复：在模型浅层采用较为保守的策略——局部注意力配合稠密FFN，保护早期残差流的完整性；深层则启用全局头重算与稀疏FFN，在精度与效率之间取得理想平衡。
• 架构无关的运行时：通过PROFILE、BUILDSTATE、SELECTVISIBLESTATE、EXECUTE四个适配器接口，统一支持GQA、MoE、MLA等多种主流注意力架构，具备出色的泛化能力。

技术原理深度拆解

• 按头解耦KV Cache：传统系统将KV Cache视为一个稠密的四维张量，而RedKnot敏锐地洞察到，不同注意力头所关注的上下文范围及重要性存在显著差异，因此沿着头维度对缓存系统进行拆解，实现更精细化的管理。
• 头级稀疏 vs. Token级稀疏：Token级别的恢复策略需要将所有头认为重要的token取并集，结果导致集合迅速膨胀、计算量激增。RedKnot改用按头恢复方式，仅对少数全局头进行重算，局部头直接复用，巧妙避开精度与延迟之间的两难困境。
• FFN与注意力的正交优化：在短上下文（2–8K）场景下，FFN的计算占据了首Token生成时间（TTFT）的57–62%，仅优化注意力部分远远不够。RedKnot借助注意力信号来筛选重要token执行FFN计算，该优化与KV稀疏形成乘法叠加效应，效果更为显著。
• 分页存储消除mask惩罚：稠密布局搭配attn_mask会导致FlashAttention的快速路径失效，带来4.9–7.6倍的性能惩罚。SegPagedAttention采用按头分页存储方式，配合融合的varlen内核，整个过程无需构造mask，显著提升效率。
• 分层弹性策略：模型浅层中局部头占比较高，语义选择性也相对较弱，因此采用保守策略以防止误差扩散。深层全局头占比逐步上升，注意力更为集中，此时进行稀疏化收益最大、精度损失也最小。

怎么上手使用？

• 离线画像分类：对目标模型调用PROFILE接口，通过needle-in-a-haystack测试，离线将每个(layer, head)对划分为全局头或局部头，生成稳定的Head Class Map，后续请求直接查表使用，零运行时开销。
• 预构建可复用状态：利用BUILDSTATE接口将常用文档片段预计算为KV Cache，并按头维度分页存入Global/Local KV Pool，实现位置无关的离线预构造，大幅减少在线计算压力。
• 动态状态选择：当在线请求到达时，通过SELECTVISIBLESTATE接口，依据查询语义与Head Class Map，从缓存池中精准挑选出需要复用的局部头KV以及需要重算的全局头范围。
• 融合推理执行：调用EXECUTE接口，全局头执行完整注意力重算并写入Online KV Cache，局部头直接复用分页KV走局部注意力路径，同时对低分token跳过FFN计算、直接走残差路径。
• 服务化部署集成：从GitHub仓库 https://github.com/rednote-machine-learning/RedKnot 拉取基于SGLang实现的源码，按照四大适配器接口规范接入现有推理服务栈即可快速上线。

核心优势在哪里？

• 按头解耦的粒度对齐：突破传统token级稠密KV Cache的思维定式，将存储、计算与恢复的粒度统一到注意力头维度，与工作负载真实的按头稀疏结构完美匹配，实现资源精准投放。
• 离线画像零在线开销：全局头与局部头的分类在请求间高度稳定，仅需离线完成一次profiling，在线运行时直接查表使用，不增加任何推理延迟，真正做到零成本智能调度。
• 头级恢复替代token级恢复：仅对约12–15%的全局头进行重算，85–88%的局部头直接复用，有效避免token级并集膨胀导致的重算量失控问题，同时消除级联误差传播风险。
• 稀疏FFN正交加速：仅对高注意力分数的top-k token执行稠密FFN计算，其余token走残差路径，直接削减短上下文下占TTFT一半以上的FFN瓶颈，与注意力优化形成乘法叠加收益。

项目地址

• GitHub仓库：https://github.com/rednote-machine-learning/RedKnot
• arXiv技术论文：https://arxiv.org/pdf/2606.06256

与同类方案的对比

RedKnot是什么？

但凡从事过大模型长文本推理工作的开发者，想必都遭遇过那个令人头疼的KV Cache膨胀问题。可以说，这几乎成为长上下文场景中难以回避的瓶颈。RedKnot这一方案，是小红书开源的一把全新密钥，专门用于加速长文本LLM推理过程。它的设计思路颇为巧妙：不再将KV Cache视为一个整体来处理，而是沿着注意力头的维度将其拆解，离线为每个头打上标签——哪些是需要全局重新计算的“全局头”，哪些是可以局部复用的“局部头”。随后搭配一套名为SegPagedAttention的内存管理机制，实现按头分页存储，再配合一个能处理变长序列的内核，从根源上避免了attn_mask带来的性能损失。此外，它还引入了一种稀疏FFN设计，仅对注意力分数较高的token执行稠密计算，精准攻克短上下文场景下的FFN性能瓶颈。

核心功能一览

• 头分类稀疏：离线为每个注意力头标记“全局”或“局部”属性，该分类在请求间高度稳定，在线运行时完全无需额外开销，实现零成本智能化调度。
• 位置无关的KV复用：即使相同的文档片段出现在非前缀位置，也能直接复用先前计算好的KV Cache，彻底打破传统前缀匹配的严格限制。
• 稀疏FFN加速：仅对注意力得分最高的top-k token执行稠密FFN计算，其余token直接经由残差路径传递，短上下文下的FFN瓶颈由此得到有效缓解。
• SegPagedAttention存储：KV Cache不再以稠密张量形式存在，而是改造为按段分页存储，物理层面仅保留每个头实际需要的token，大幅降低冗余。
• 弹性稀疏恢复：在模型浅层采用较为保守的策略——局部注意力配合稠密FFN，保护早期残差流的完整性；深层则启用全局头重算与稀疏FFN，在精度与效率之间取得理想平衡。
• 架构无关的运行时：通过PROFILE、BUILDSTATE、SELECTVISIBLESTATE、EXECUTE四个适配器接口，统一支持GQA、MoE、MLA等多种主流注意力架构，具备出色的泛化能力。

技术原理深度拆解

• 按头解耦KV Cache：传统系统将KV Cache视为一个稠密的四维张量，而RedKnot敏锐地洞察到，不同注意力头所关注的上下文范围及重要性存在显著差异，因此沿着头维度对缓存系统进行拆解，实现更精细化的管理。
• 头级稀疏 vs. Token级稀疏：Token级别的恢复策略需要将所有头认为重要的token取并集，结果导致集合迅速膨胀、计算量激增。RedKnot改用按头恢复方式，仅对少数全局头进行重算，局部头直接复用，巧妙避开精度与延迟之间的两难困境。
• FFN与注意力的正交优化：在短上下文（2–8K）场景下，FFN的计算占据了首Token生成时间（TTFT）的57–62%，仅优化注意力部分远远不够。RedKnot借助注意力信号来筛选重要token执行FFN计算，该优化与KV稀疏形成乘法叠加效应，效果更为显著。
• 分页存储消除mask惩罚：稠密布局搭配attn_mask会导致FlashAttention的快速路径失效，带来4.9–7.6倍的性能惩罚。SegPagedAttention采用按头分页存储方式，配合融合的varlen内核，整个过程无需构造mask，显著提升效率。
• 分层弹性策略：模型浅层中局部头占比较高，语义选择性也相对较弱，因此采用保守策略以防止误差扩散。深层全局头占比逐步上升，注意力更为集中，此时进行稀疏化收益最大、精度损失也最小。

怎么上手使用？

• 离线画像分类：对目标模型调用PROFILE接口，通过needle-in-a-haystack测试，离线将每个(layer, head)对划分为全局头或局部头，生成稳定的Head Class Map，后续请求直接查表使用，零运行时开销。
• 预构建可复用状态：利用BUILDSTATE接口将常用文档片段预计算为KV Cache，并按头维度分页存入Global/Local KV Pool，实现位置无关的离线预构造，大幅减少在线计算压力。
• 动态状态选择：当在线请求到达时，通过SELECTVISIBLESTATE接口，依据查询语义与Head Class Map，从缓存池中精准挑选出需要复用的局部头KV以及需要重算的全局头范围。
• 融合推理执行：调用EXECUTE接口，全局头执行完整注意力重算并写入Online KV Cache，局部头直接复用分页KV走局部注意力路径，同时对低分token跳过FFN计算、直接走残差路径。
• 服务化部署集成：从GitHub仓库 https://github.com/rednote-machine-learning/RedKnot 拉取基于SGLang实现的源码，按照四大适配器接口规范接入现有推理服务栈即可快速上线。

核心优势在哪里？

• 按头解耦的粒度对齐：突破传统token级稠密KV Cache的思维定式，将存储、计算与恢复的粒度统一到注意力头维度，与工作负载真实的按头稀疏结构完美匹配，实现资源精准投放。
• 离线画像零在线开销：全局头与局部头的分类在请求间高度稳定，仅需离线完成一次profiling，在线运行时直接查表使用，不增加任何推理延迟，真正做到零成本智能调度。
• 头级恢复替代token级恢复：仅对约12–15%的全局头进行重算，85–88%的局部头直接复用，有效避免token级并集膨胀导致的重算量失控问题，同时消除级联误差传播风险。
• 稀疏FFN正交加速：仅对高注意力分数的top-k token执行稠密FFN计算，其余token走残差路径，直接削减短上下文下占TTFT一半以上的FFN瓶颈，与注意力优化形成乘法叠加收益。

项目地址

• GitHub仓库：https://github.com/rednote-machine-learning/RedKnot
• arXiv技术论文：https://arxiv.org/pdf/2606.06256

与同类方案的对比

哪些场景能派上用场？

• RAG长文档问答：需要将数万检索片段拼入prompt时，位置无关的KV复用配合头级稀疏恢复，能将长文本预填充延迟从数十秒大幅压缩至数秒级别，显著提升响应效率。
• 编程Agent多轮工具调用：连续调用数十次工具导致上下文不断累积，稀疏FFN直接削减短片段下占首Token生成时间过半的FFN瓶颈，让交互体验更加流畅。
• 长会话记忆系统：将用户记忆、工具输出与历史状态全部纳入长上下文范围，按头复用机制可使单卡并发能力从4路提升至30路以上，资源利用率实现质的飞跃。
• 多Agent协作框架：多个Agent动态交换、重排上下文片段时，位置无关的KV复用打破了“必须前缀匹配”的硬性限制，有效避免重复预填充带来的额外开销。
• 实时流式长文本生成：局部头直接复用近期分页KV，全局头按需执行重算，在128K上下文环境下依然能保持较低的首字延迟与稳定的生成质量，满足实时性要求。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：小红书开源RedKnot长文本推理加速引擎要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题