谷歌突破“嵌套学习”：让AI持续进化，缩小与人脑差距

谷歌近期在机器学习领域取得重要突破，推出一项名为"嵌套学习"的创新范式。这一理论突破了传统框架的局限，将模型训练重构为多层次嵌套的优化问题，致力于解决大型语言模型面临的灾难性遗忘难题，推动人工智能向具备持续学习能力的方向演进。相关研究论文《嵌套学习：深度学习架构的错觉》已在NeurIPS 2025国际会议上发表。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

传统大型语言模型的认知局限性源于其"静态知识"特性——模型的能力被固化在预训练阶段或上下文窗口中。虽然通过持续微调可以引入新知识，但这种"填鸭式"更新必然导致原有知识的严重流失。过往研究试图通过架构调整或优化算法来缓解问题，却始终未能突破"模型结构"与"学习规则"之间的割裂状态。

嵌套学习的核心突破在于重构认知维度。研究团队提出，复杂AI模型本质上是不同时间尺度优化的嵌套系统：从瞬时的参数调整到长期的知识沉淀，各层级优化问题通过差异化更新频率达成动态平衡。这种视角将传统分离的模型架构与训练算法统一为多层次优化问题，每个层级既独立处理特定信息流，又通过梯度传递形成协同效应。

以Transformer架构为例，嵌套学习揭示其注意力机制本质是低频更新的联想记忆模块，而反向传播过程则对应高频误差校正。通过为各组分配不同更新频率，模型可模拟人脑神经可塑性——高频层捕捉即时信息，低频层整合长期知识，中频层则协调二者冲突。这种多时间尺度的更新机制，为解决灾难性遗忘问题提供了结构化方案。

基于该理论，研究团队开发出概念验证模型Hope。作为Titans架构的进化版本，Hope突破原有双层级更新限制，通过循环嵌套结构实现无限层级的学习能力。其核心创新在于连续谱记忆系统，该系统将记忆分解为不同更新频率的模块光谱：高频模块处理即时上下文，中频模块整合短期经验，低频模块沉淀长期知识。实验显示，这种分层记忆架构使模型在长序列处理任务中表现卓越。

在语言建模基准测试中，Hope的困惑度较标准Transformer降低23%，在常识推理任务中准确率提升17%。特别是在"大海捞针"长文本检索任务中，Hope成功从10万token序列中精确定位目标信息的概率高达92%，远超Mamba2等对比模型的78%。这些性能提升源自CMS系统对记忆的动态优先级管理——模型能自动判断信息价值并调整存储策略。

嵌套学习带来的范式转变已催生两类实用技术。深度优化器通过将动量计算重构为联想记忆问题，使优化过程更适应噪声数据；连续谱记忆系统则突破Transformer的固定上下文限制，通过动态调整记忆模块的更新频率，实现真正意义上的持续学习。研究团队强调，这种统一视角为模型设计开辟了新维度，未来可延伸至多模态学习等领域。

尽管Hope等模型已展现潜力，研究者指出当前实现仅触及嵌套学习理论的表层。真正类人AI需要更精细的层级划分和基于生物可解释的更新机制。随着研究深入，这种将架构与优化融为一体的新范式，或将重新定义人工智能的能力边界。