Engram - DeepSeek联合北大推出的条件记忆模块

Engram是什么

如果说给大语言模型（LLM）装上一个“外置知识U盘”，会是什么效果？DeepSeek团队联合北京大学推出的条件记忆模块Engram，就在做这件事。它的核心思路很巧妙：通过引入现代化的 -gram 嵌入表，把那些相对静态、固定的知识，从模型的计算核心中剥离出来，单独存到一个独立的记忆体里。

怎么用呢？靠的是稀疏检索和上下文感知门控这两项关键技术。模型在运行时，可以像查字典一样，快速从这个记忆体中查找所需的知识片段，既高效又精准。更重要的是，Engram与当前流行的混合专家模型（MoE）架构形成了完美互补。它能在几乎不增加实际计算量的前提下，显著提升模型在知识密集型任务、长文处理和多步骤推理上的表现。更吸引人的是，这种设计还能突破GPU显存的物理限制，为未来模型的参数规模扩展，打开了一扇新的大门。

Engram的主要功能

• 知识检索：它的基本功。通过静态嵌入表快速锚定固定知识，让模型不必每次都“重新计算”常识，大幅降低了对即时计算资源的依赖。
• 长上下文处理：这算是它的“特长”。Engram分担了记忆固定知识的任务，相当于释放了注意力机制的“脑容量”，让它能更专注于理解和串联全局的上下文逻辑，从而有效提升长文本的深层推理能力。
• 计算与存储解耦：这是其架构上的突破。支持从主机内存异步预取数据，意味着知识库可以做得非常大，不再受GPU显存大小的束缚，为实现千亿、万亿参数级别的模型铺平了道路。
• 性能提升：最终体现为综合收益。在不额外增加计算成本的情况下，模型在知识问答、通用推理、乃至代码和数学等专业任务上的表现，都能获得肉眼可见的提升。

Engram的技术原理

• 分词器压缩：第一步是“瘦身”。通过预计算的满射函数，将海量的原始Token ID映射为更精简的规范化ID，这直接减少了词表的冗余度，让后续的 -gram 覆盖效率大大提高。
• 多头哈希检索：这是实现快速查找的“寻址系统”。利用哈希方法和多头机制，将局部的上下文片段映射到庞大的嵌入表中，巧妙地绕过了直接参数化所有 -gram 组合所带来的组合爆炸难题。
• 上下文感知门控：确保精准的“质量控制”。以模型当前的隐藏状态作为动态查询指令，将检索到的嵌入作为知识钥匙和内容，再通过一个门控机制来自动滤除噪声，保证引入的记忆与当前语境高度相关、语义一致。
• 稀疏性分配：关乎资源优化的“艺术”。在固定的参数预算下，研究团队尝试将MoE专家的一部分参数重新分配给Engram记忆体，并发现了一条计算与记忆之间的“U型”权衡曲线。找到这个曲线上的最优点，就能实现性能的最大化。
• 系统实现：最后是工程上的“精益求精”。利用Engram确定性检索的特性，彻底实现了计算过程与存储空间的解耦。通过数据预取和计算-传输重叠等机制，巧妙掩盖了数据搬移的延迟，从而真正实现了突破显存限制的大规模部署。

Engram的项目地址

• 技术论文：对于想深入了解技术细节的同行，所有设计、实验和论证都详尽地收录在项目论文中：https://github.com/deepseek-ai/Engram/blob/main/Engram_paper.pdf

Engram的应用场景

• 知识问答：这类任务简直是Engram的“主场”。它可以毫秒级检索知识库中的事实、日期、定义，让问答系统的响应既快又准。
• 文本生成：在创作或生成规范性文本时，Engram能快速匹配出地道的固定短语、专业术语或行文模式，让生成内容不仅流畅，也更显专业。
• 长文本处理：法律文档分析、学术论文研读等场景迎来利器。Engram能优化长上下文建模，增强模型对全篇逻辑的把握能力，实现更深度的分析。
• 代码辅助：编程时常见的模式、API结构和算法模板，都可以被Engram高效检索。这对于代码补全、生成乃至理解复杂项目，都能带来效率的显著提升。
• 数学推理：面对复杂的数学问题，快速回忆起相关公式、定理和推导步骤是关键。Engram在此能发挥类似“数学手册”的辅助功能，提升推理的效率和准确性。