Sakana AI推出NAMMs技术 LLM内存成本降低75%

人类的大脑极为精妙——它能够在海量噪音中快速识别出高价值信息，并有选择性地加以储存，而将那些无关紧要的细节果断遗忘。相比之下，大语言模型（LLM）却像一位照单全收的仓库管理员，所有历史输入都被一股脑塞进缓存。结果，随着任务序列不断增长，计算量和内存消耗像雪球一样越滚越大，模型性能也随之明显下降。

这背后折射出一个核心难题：AI系统若想真正实现“智能”，就必须学会像人类一样管理记忆——明确哪些信息该保留，哪些该舍弃。否则，一味堆砌硬件、扩大参数规模，只会让成本无限膨胀，效率反而越来越低。

过去，研究人员尝试过多种解决办法，无非是设定一些硬性规则来裁剪记忆：例如按时间顺序丢弃旧信息，或根据注意力分数（Attention Score）决定哪些 token 该保留、哪些该丢弃。但这些方法都显得过于“机械”，就像用一把尺子简单测量后剪裁，虽然节省了内存，却也严重削弱了模型的理解能力——说白了，它无法判断什么信息才是真正关键的。

直到最近，日本初创公司 Sakana AI 提出了一项全新方案——神经注意力记忆模型（Neural Attention Memory Models，NAMMs）。其思路颇为巧妙：从自然进化的视角出发，利用进化算法训练一个专门的神经网络来管理记忆，使模型学会像人类一样主动筛选关键信息。这样一来，不仅缓存占用大幅减少，模型性能反而获得了提升。

那么，NAMMs 究竟是如何实现这一目标的？其核心由三个模块组成：特征提取、记忆管理网络和进化优化策略。

图丨 NAMMs 执行过程中的三个主要步骤（来源：arXiv）

首先是特征提取。NAMMs 采用短时傅里叶变换（STFT）处理注意力矩阵中的列向量，具体使用大小为 32 的 Hann 窗口，将时间序列数据转换为包含 17 个复值频率的频谱图。这一设计机敏地保留了注意力的频率变化特征，同时大幅压缩了数据量。实验表明，这种频谱表示方式远优于直接使用原始注意力值或手工设计的特征。

接下来是向后注意力记忆（BAM）架构。作为 NAMMs 的核心创新，它设计了一种特殊的注意力机制，使得每个 token 只能关注自身在 KV 缓存中“未来”的邻近 token。这意味着什么？它构建了 token 之间的竞争关系——例如当出现重复句子时，模型会倾向于保留最新、信息最完整的那个，而不是将所有重复内容全部保留。

图丨 NAMMs 的反向掩码使每个 token 仅关注 KV 缓存中的未来相关词（来源：arXiv）

最后是优化策略。研究团队并未采用传统的梯度下降法——因为该方法难以处理“保留哪个 token、丢弃哪个 token”这类离散决策问题。他们选用了 CMA-ES（协方差矩阵自适应进化策略），通俗来说就是模拟生物进化过程：从单一任务开始训练，再逐步增加任务数量，这样既能优化非可微的目标函数，又能提升模型的泛化能力。

在实际测试中，团队以 Llama 3-8b 为基座训练 NAMMs，并在 LongBench、InfiniteBench 和 ChouBun 上进行了全面评估。结果相当出色：在 LongBench 上，NAMMs 将 KV 缓存压缩至原来的 25%，同时性能提升了 11%；在 InfiniteBench 上，性能从基线水平的 1.05% 直接跃升至 11%，缓存也缩减至原来的 40%。相比之下，先前手工设计的 H2O 和 L2 方法只能做到“节省内存但牺牲性能”，而 NAMMs 则实现了“既省内存又提性能”的双赢效果。

图丨 LongBench 基准测试结果（来源：arXiv）

更令人惊喜的是其零样本迁移能力。仅使用语言数据训练出来的 NAMMs，在直接应用于视觉模型 LLaVa Next Video-7B 时，在 LongVideoBench 和 MLVU 上同样有效——视频帧的缓存减少了 28%，性能还提升了 1%。将其部署到强化学习场景（决策转换器）中，在 D4RL 基准测试中性能再提升 9%，缓存降至原来的 81%。这意味着 NAMMs 学到了一种通用性强的记忆管理策略，而非死记硬背某一领域的规则。

深入分析模型内部后，研究团队发现 NAMMs 确实学会了“抓重点”：早期和中间层的模型更倾向于保留更多、更旧的 token，因为这些层负责处理长距离信息；而在代码这类信息密度极高的任务中，模型则保留了相对更多的 token。简言之，它能够根据不同场景自主调整“记忆力”。

这一研究思路延续了 Sakana AI 一贯的风格——从大自然中汲取灵感。此前他们已开发出自动化“进化”算法，能够自主识别并合并优秀模型；如今 NAMMs 同样运用进化算法优化记忆管理，无需人工干预。正是这种独特的研发路径，让这家成立仅一年的初创公司成功获得 2.1 亿美元 A 轮融资，估值直奔 15 亿美元。

至于下一步，研究团队表示这仅仅是“开始”。未来他们可能会尝试更细粒度的特征提取方法，或者将 NAMMs 与其他优化技术相结合。在他们看来，这种新型记忆模型的潜力远不止于此，很可能会为未来几代 Transformer 的发展打开全新的可能性。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：Sakana AI推出NAMMs技术 LLM内存成本降低75%要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题