DeepSeek开源的Engram：仅3%推理损失实现方法解析

继不久前发布突破性的mHC架构后，DeepSeek再次释放重磅更新。

1月13日凌晨，DeepSeek在GitHub开源了名为“记忆编码（Engram）”的模块组件。同期，他们与北京大学联合发表了论文《Conditional Memory via Scalable Lookup: A New Axis of Sparsity for Large Language Models》，系统阐述了一种新的大模型稀疏化路径：条件存储。

图片来源：GitHub

这篇论文共有十四位作者，DeepSeek创始人兼CEO梁文锋的署名列于最后。值得注意的是，就在1月初，DeepSeek发布的关于mHC架构的论文同样引发了广泛关注，梁文锋的署名也以同样的方式呈现。

这两项研究清晰地体现了DeepSeek长期坚持的技术路线：致力于打破算力成本对模型发展的硬约束，通过底层架构与算法理论的协同创新，探索更具性价比的发展道路。

如果说此前的mHC是提出一种全新的底层计算架构，那么“条件存储”就更像是架构层面的职责重构与分工优化。

根据论文描述，Engram被设计成一个可微分、可训练、并能原生嵌入模型结构的组件。它的核心思路是将那些需要记忆的负载从主干计算中剥离出来，从而避免低效的重复计算。通过一个高速检索模块，模型能够直接调用那些稳定存在且高频出现的知识。

具体来说，Engram首先提供确定性检索。模型基于当前输入及前文形成的特定文本片段，通过哈希映射，直接从一个超大规模静态嵌入表中取出对应的向量表示。这个过程无需依赖复杂的神经网络计算，因此速度更快、路径也更稳定。

之后，Engram会通过一个轻量化的门控机制，由当前层的隐藏状态来判断这段记忆是否真正适合当下的语境，有效避免“查到就用”的生硬植入，保证了响应的灵活性。

简单来说，Engram这套机制既能解决输入端“记得住”的问题，也能优化输出端“说人话”的效果。

DeepSeek还指出，实验表明，相关机制在处理日期、专有名词等固定模式的信息时表现高度活跃，而在自由生成和复杂推理场景下则几乎不介入。这样就在强化记忆功能的同时，有效避免了不合时宜的“幻觉”出现。

在整体架构视角下，DeepSeek将大模型的能力拆解成了三个既相互独立、又彼此协作的维度。

首先是决定逻辑与抽象能力的模型深度，这是模型智能的基石。其次是以MoE为代表的“计算稀疏性”，旨在减少每次前向传播的计算负载。而这第三个维度，正是“存储稀疏性”，也就是Engram所引入的条件记忆。

以往，大模型厂商在开发记忆模块时，往往会担心影响模型主干的计算效率和推理性能。

根据论文，DeepSeek通过U型扩展定律解决了这一平衡问题。在总参数量和算力预算固定的前提下，研究团队系统性调整了MoE与Engram之间的比例，发现将20%到25%的稀疏参数分配给Engram，能达成最优的性能平衡点。

测试数据显示，即便加载了参数规模高达千亿级别的Engram记忆库，模型推理过程中的性能损失也能控制在3%以内。

另据知情人士透露，DeepSeek预计将在今年中国春节前后发布其最新的V4模型。此次的核心突破点主要在于对超长上下文提示词的处理与解析能力，以及对全流程训练中数据模式的理解力的提升。

这意味着，新模型不仅推理性能会大幅提升，在处理复杂任务时将更加得心应手。编程能力也将成为新模型的主打优势之一。内部初步测试结果显示，其表现已经超越了Anthropic当前最强的编程模型Claude。

值得注意的是，Anthropic近期为了守护其在编程能力的优势和入口，已陆续切断Claude Code在第三方平台的接入。1月12日，该公司又放出了Co-work，主打办公场景的自主助手应用落地。该应用能自动帮用户完成制作PPT、整理电子邮件、制订工作计划等各类任务，上手门槛较低。

目前，mHC和Engram在DeepSeek新模型中的具体角色与组合方式尚未完全清晰，但这艘即将到来的旗舰新作，正被市场期待它能再次带来一次“DeepSeek春节冲击波”。