Kimi+Linear开源性能超越全注意力，模型效率提升新突破

大语言模型技术迎来重要突破，月之暗面公司正式开源其自主研发的混合线性注意力架构Kimi+Linear。该架构通过创新设计，在短文本理解、长文档处理与强化学习扩展等多个应用场景中，首次实现了对传统Transformer架构中全局注意力机制的整体超越。实验数据表明，新架构在保持模型生成质量的同时，将KV缓存使用量减少75%，并在百万级token长文本理解任务中实现6倍的吞吐量提升。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

核心创新在于名为Kimi+Delta+Attention（KDA）的线性注意力模块。研发团队在门控DeltaNet基础上引入通道级门控机制，使每个特征维度具备独立遗忘率。这种细粒度控制方式显著优化了有限状态RNN的内存管理，配合对角-低秩混合矩阵的定制化分块并行算法，在保持经典delta规则一致性的前提下大幅压缩计算量。实验表明，该算子效率较传统DPLR公式提升约100%。

架构设计采用3:1的混合比例，即每3层KDA模块搭配1层全局注意力层。这种交错排列方式在生成长序列时，既能通过全局注意力层维持完整信息流，又将内存占用降低75%。预训练模型采用300亿激活参数和4800亿总参数的规模，在1.4万亿token训练数据上验证了其优越性。评估覆盖通用知识、数学推理、编程能力及中文理解四大领域，结果显示新架构在BBH、MMLU、HellaSwag等基准测试中全面领先，在数学竞赛题AIME+2025和编程基准LiveCodeBench等高难度任务中同样表现卓越。

效率优势随序列长度增加愈发显著。在4k-16k短文本场景下，性能与标准注意力机制持平；当序列延伸至128k时，处理速度开始明显超越；处理512k长序列时性能达到基准的2.3倍，百万级序列处理速度更提升至6倍。这种特性使其在强化学习场景中表现突出，特别是在需要处理扩展轨迹、工具交互和复杂决策空间的测试任务中，展现出传统架构难以企及的优势。

技术实现层面，研究团队通过多组件协同提升模型表达能力。输出层采用低秩参数化设计，在保持性能的同时缓解注意力陷阱问题；混合架构中3:1的层间比例经过大量实验验证为最优解；在对所有MLA层移除位置编码后，长文本处理能力依然保持竞争力。综合任务测试显示，新架构在需要精确记忆和逻辑推理的场景中，错误率较基线模型降低40%以上。