谷歌发布嵌套学习框架！AI像人脑温故知新，告别健忘实现过目不忘

11月10日消息，谷歌研究院于11月7日发布研究论文，针对AI模型在持续学习新知识时遭遇的"灾难性遗忘"难题，正式提出"嵌套学习"这一全新机器学习范式。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

尽管当前大语言模型性能强大，但其知识获取仍受限于预训练数据集或有上限的上下文窗口。与人类大脑通过"神经可塑性"（指大脑能够根据经验、学习和环境变化来调整自身结构和功能的能力）持续掌握新技能同时保留旧知识的能力不同，现有模型难以实现类似的学习机制。

若直接用新数据更新模型参数，往往会导致"灾难性遗忘"现象——模型在学习新任务后，原有任务的性能会出现显著衰退。为解决这一根本性挑战，谷歌研究院的科研团队提出了突破性的解决方案。

在 NeurIPS 2025 会议上发表的论文中，谷歌正式提出了"嵌套学习"框架。这一范式从理论层面统一了传统上被分开处理的模型架构与优化算法这两个核心概念。

该框架认为，一个复杂的机器学习模型本质上是一系列相互嵌套或并行的优化问题，每个子问题都有自己独立的"上下文流"和参数更新频率。这一创新视角揭示了全新的设计维度，使研究人员能够构建计算深度更深的AI组件，从而有效缓解灾难性遗忘问题。

基于嵌套学习框架，研究团队提出了两项具体的技术突破：

首先是"深度优化器"技术，通过将优化器本身也视为可学习模块，并改进其底层目标函数，使其对不完美的训练数据具备更强的鲁棒性。

其次是"连续体内存系统"，它将模型的内存视为一个由多个不同更新频率的模块组成的光谱，从短期记忆平滑过渡到长期记忆，构建了更丰富、更高效的持续学习记忆体系。

为验证上述理论，研究团队设计并实现了一款名为"Hope"的概念验证模型。Hope 是一种基于 Titans 架构的自修正循环网络，深度集成了连续体内存系统，能够通过自我参照的过程优化自身记忆机制，从而实现近乎无限层级的上下文学习能力。

在一系列公开的语言建模和常识推理任务中，Hope 架构的困惑度更低，准确性显著优于现代循环模型和标准 Transformer 架构。

尤其在考察模型长文本记忆能力的"大海捞针"测试中，Hope 展现出卓越的记忆管理能力，证明连续体内存系统是处理超长信息序列的有效方案，为实现真正能"温故知新"的AI铺平了道路。

NIAH 是一种用于评估大型语言模型长文本理解和信息检索能力的基准测试，要求模型从极长的文本（草堆，Haystack）中精准地找出并回答一个特定信息点（针，Needle）。

参考文献

Introducing Nested Learning: A new ML paradigm for continual learning

Nested Learning: The Illusion of Deep Learning Architectures