谷歌找到Anthropic与OpenAI“做梦”成标配原因

过去一个月，AI行业里最有趣的变化之一，就是两家头部公司不约而同地给自家模型装上了“做梦”机制。Anthropic在5月的Code with Claude大会上推出了Dreaming功能，让Claude Managed Agents能在会话结束后自动回顾历史、提炼跨任务模式——法律科技公司Harvey启用后，任务完成率直接提升了约6倍。紧接着OpenAI在6月初推出ChatGPT Dreaming V3，把后台记忆整合作为所有用户的核心机制，记忆召回成功率从手动记忆的41.5%飙升至82.8%。

这两件事背后，Google的一篇论文给出了底层原因：LLM患上了顺行性遗忘症——能记住预训练时的旧知识，也能在对话中临时学习（in-context learning），但对话一结束，新知识就消失了。就像电影《记忆碎片》的主角，永远活在“当下”，无法形成新的长期记忆。

论文提出的Sleep范式，正是为LLM设计的一套“睡眠-做梦”系统，让模型像人类大脑一样，在“清醒时”接收新信息，在“睡眠时”巩固记忆并自我改进。

核心洞察：LLM的顺行性遗忘症

当前Transformer架构可以看作一个两级记忆系统：

• Attention（注意力层）：短期记忆，更新频率无限高，但上下文窗口一结束，知识就遗忘
• MLP/FFN（前馈层）：长期记忆，预训练后几乎不再更新，知识永远停留在“预训练截止日期”之前

论文用一个精妙的类比说明这个问题：

“就像顺行性遗忘症患者，LLM的知识被限制在两种形态中：(1) 能塞进上下文窗口的即时记忆，或 (2) 预训练截止日期前的陈旧知识。”

这意味着：模型能临时学会一个新API的用法，但下次对话时完全忘记；能回答2024年前的事实，但对2025年后的事件一无所知。

Sleep范式：给LLM装上“大脑睡眠机制”

3.1 两阶段架构：Memory Consolidation + Dreaming

论文提出的Sleep范式包含两个核心阶段，直接对应人类睡眠的NREM（慢波睡眠）和REM（快速眼动睡眠）：

阶段一：Memory Consolidation（记忆巩固）

• 对应人类的慢波睡眠（NREM）
• 将高频更新的短期记忆（如Attention层、高频FFN）蒸馏到低频更新的长期记忆（低频FFN）
• 通过参数扩展增加模型容量，避免灾难性遗忘
• 使用知识播种（Knowledge Seeding）实现“向上蒸馏”——小模型向大模型传授知识

阶段二：Dreaming（做梦/自我改进）

• 对应人类的REM睡眠
• 模型利用RL生成合成数据（“梦境”），在无人监督的情况下排练新知识、精炼现有能力
• 通过MoE路由器的随机专家选择，引入受控的“噪声”，探索知识的新组合

3.2 技术核心一：知识播种（Knowledge Seeding）

这是论文最具创新性的技术贡献。传统蒸馏是“大模型教小模型”（向下蒸馏），而知识播种是“小模型教大模型”（向上蒸馏）。

为什么需要向上蒸馏？在记忆巩固中，“教师”是高频更新的记忆模块（参数较少、知识较新但较碎片化），“学生”是低频更新的记忆模块（参数更多、需要整合长期知识）。如果直接让学生模仿教师的输出，学生会因容量过大而学到次优表示。

论文的解决方案是广义知识蒸馏（GKD）+ 模仿学习：

1. On-Policy蒸馏：学生生成数据，教师提供token级别的反馈
2. Learning to Imitate（LTI）：用RL教学生模仿教师的采样行为，奖励同时考虑语义相似度和token级别的Levenshtein距离

公式上，知识播种的目标函数为：

其中 是模仿学习奖励， 是分布散度。

3.3 技术核心二：Dreaming（做梦）

Dreaming阶段解决一个关键问题：模型如何在睡眠中自我改进而不遗忘旧知识？

论文基于SEAL（Zweiger et al., 2025）但做了三项关键改进：

1. 梯度驱动的数据选择：为每个生成的“梦境”计算重要性分数，只保留Top-k最有价值的梦境
2. 随机专家注入噪声：MoE路由器在采样时随机选择不相关的专家，模拟REM睡眠中大脑探索新奇连接的过程
3. 两阶段隔离：先巩固记忆（NREM），再自我改进（REM），避免迭代自训练直接覆盖旧知识

Sleep真的有效吗？

4.1 持续学习：对抗灾难性遗忘

论文在三个文本分类数据集上测试了类别增量学习（Class-Incremental Learning）：

关键发现：Sleep不仅比传统正则化方法（EWC）好，也比外部学习器（InCA）和纯上下文学习（ICL）强，因为它将prompt级别的临时适应转化为持久的参数化记忆。

4.2 长上下文理解：从128K到10M tokens

在BABILong基准测试中，Sleep展现出惊人的长上下文稳定性：

为什么Sleep能处理10M tokens？因为显式的记忆巩固将短-lived激活转化为紧凑的参数化表示，学习更高层次的抽象，使模型对上下文长度增长不敏感。

4.3 数学推理：超越SFT和GRPO

在AIME-24/25和HMMT-25数学推理基准上，Sleep的表现如下：

4.4 知识整合：新事实的持久记忆

在SQuAD知识整合任务中，Sleep的消融实验揭示了各组件的贡献：

关键消融：移除Dreaming后性能暴跌至35.7%/36.2%，证明Dreaming阶段对知识整合至关重要。

4.5 少样本抽象推理：ARC任务

在ARC（Abstraction and Reasoning Corpus）少样本推理任务中：

ICL为0%，TTT为10%，SEAL为72.5%，Sleep达到80%。Sleep通过生成合成“梦境”并从少样本演示中学习，实现了最高的成功率。

4.6 效率分析：Sleep并不慢

论文还对比了达到相同性能所需的训练时间：

虽然相同步数下SFT效率是Sleep的4倍，但性能不可比。当目标是达到相同性能时，SFT需要4.3x、3.6x、4.8x的wall-clock时间才能匹配Sleep在AIME-24/25和HMMT-25上的表现。因此，从目标性能角度看，Sleep非常高效。

Sleep是LLM的下一个必备基础设施

Google这篇论文给出了一个清晰的信号：做梦不是锦上添花的功能，而是LLM从静态工具进化为持续学习者的必备基础设施。

正如论文所言：

“对于持续学习者，没有训练时间和测试时间的明确边界。模型只需要经历两种状态：接收信息输入时（活跃/清醒），以及隔离学习时（睡眠）。”

当LLM学会睡觉和做梦，它才真正开始活着。

https://arxiv.org/pdf/2606.03979
Language Models Need Sleep: Learning to Self-Modify and Consolidate Memories

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：谷歌找到Anthropic与OpenAI“做梦”成标配原因要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题