参数提升10倍的循环世界模型

在深入分析之前，先分享几个核心判断。

在刚刚解读完编程领域的 Loop Engineering（循环工程）概念后，已有研究团队成功训练出 Looped World Models（循环世界模型）。该模型在 ScienceWorld 科学推理任务中，性能全面超越 Claude Opus 4.6 和 Gemini-3-Flash，而参数量仅为这些模型的百分之一以下。

11 页 Claude Loop Engineering 实战操作指南

Loop Engineering：从提示工程师到循环设计者的 14 步进阶路线图

Loop Engineering 如何借助 AI 编程智能体构建可循环系统

这一模型的诞生，实际上是在回应一个核心问题：AI 是否能够持续理解、修正并推演它所处的世界？

当前大模型正加速向 Agent（智能体）方向演进。而 Agent 必须超越传统的对话 Chat 模式，与真实世界进行交互——这正是该模型被命名为"世界模型"的根本原因。

什么是"世界模型"？

在深入解读这篇论文之前，先花一分钟厘清核心概念。

想象你在玩《我的世界》（Minecraft）。每往前一步，屏幕画面随之变化；挥动镐子，方块碎裂。你基于当前画面做出动作，并预判下一帧画面的变化。

世界模型就是 AI 版本的这类模拟器。

向 AI 输入当前画面和动作指令，它需要预测下一时刻的画面状态：

• 自动驾驶：转动方向盘后，下一秒车辆会抵达什么位置？
• 机器人操作：伸手抓取杯子时，杯子将如何移动？
• 游戏 AI：释放该技能后，敌人会做出何种反应？
• 科学推理：对水进行加热，会发生怎样的变化？

世界模型面临的核心难题

精度与深度，始终是一对难以兼得的矛盾。

• 深度不足，模拟精度低，预测偏差大，几步之后便"偏离轨道"
• 深度过大，参数爆炸式增长，推理速度极慢，难以部署到实际设备中

传统做法是什么？堆叠更多参数、输入更多数据。但该模型的研发团队选择了截然不同的路径。

核心创新：循环机制

2019 年，DeepMind 提出了 Universal Transformer，其核心思想概括起来就是两个字：循环。

传统 Transformer 采用堆叠架构：第 1 层处理完毕传递至第 2 层，第 2 层再传给第 3 层……每一层都使用全新的参数。而循环 Transformer 的思路是：仅使用一层参数，让模型自身循环运行 N 次。

打个比方：传统模型相当于"雇佣 100 个人站成一排，每人处理一个步骤"；循环模型则是"雇佣一位高手，让他反复钻研 100 遍"。

但这里存在一个致命缺陷：循环会导致数值发散。

循环一个模块 100 次，输出极易发散，数值不断累积膨胀，最终全部变为 NaN。在语言模型中，这一问题或许尚可容忍，但在世界模型中却是致命的——因为世界模型需要展开数十甚至上百步的预测，一步出错，后续步步皆错。

该研究团队的核心贡献正在于：如何让循环模型保持稳定。

如何保持循环稳定性

研究作者为循环模块引入了一个数学约束。在状态更新公式中，矩阵 A 负责控制"保留多少历史信息"。

关键在于，作者将矩阵 A 设计为对角矩阵，且每个对角元素均严格小于 1。每循环一次，旧状态都会被施加一定的衰减，从根本上杜绝发散。

更精妙的是，这一约束无需梯度裁剪、无需人工归一化、无需调节敏感超参数——它在数学上天然稳定，可被严格证明。

正是得益于这一约束，模型可以放心地进行循环。训练时循环次数最高可达 1024 次，依然不会崩溃。

自适应深度机制

在解决稳定性问题后，第二个创新点随之而来：并非每一步都需要相同的循环次数。

例如，模拟一个球在桌面上匀速滚动——这一过程相对简单，循环 1 次即可。但若要模拟"将冰块放入热水中"——涉及热传导、相变、浮力等多种物理过程——则复杂得多，可能需要循环数十次。

作者设计了一个"退出门"（Exit Gate）机制：每次循环结束后，模型自主判断"是否已经充分推理？"如果条件满足，则停止循环进入下一步；否则继续循环。

实际效果令人惊叹：简单的状态过渡仅需 4 层计算，而复杂过渡可能用到 100 层以上。总体推理计算量节省了约 25 倍。

延迟解码策略

传统世界模型在每个时间步都需要进行"解码"——将内部状态转换为画面输出。这很好理解：输入一张图像，预测下一张图像。

但作者认为：并非每一步都必须解码。

以科学推理为例，假设要"将试管中的水烧开"，你并不需要观察水分子在每一步的微观运动，只需知道最终水是否已沸腾。

延迟解码的核心思路正是：仅在最后一步执行解码操作。

这一设计带来了三大优势：

1. 速度更快：解码器是模型中最重的计算模块，从每步解码转变为仅在最后一步解码，大幅节省计算资源。
2. 精度更高：模型无需在每一步分心"绘制画面"，可以专注于推理物理规律。
3. 过程可监控：如需在中间过程中查看状态，可通过轻量级的"探头"快速检查，不会打断推理进程。

这一设计构建了一个双层循环结构：

外层循环（动作步骤）：动作1 → 动作2 → 动作3 → 动作4 → 动作5
内层循环（深度精炼）：循环循环循环循环循环循环循环循环最终解码

总有效深度 = 动作步数 × 每步循环次数，而参数仅为一套。

实际测试效果

模型训练完成后，实际测试结果令人瞩目。

ScienceWorld 科学推理任务实测

数据充分表明，循环世界模型才是真正的"性能引擎"。

延迟解码的实际威力

延迟步数越多，性能提升越显著。以 Step 5（连续输入 5 个动作后解码）与 Gemini 的对比为例：

• 烧水任务：EM 得分提升 +500.9%
• 融化任务：EM 得分提升 +557.7%
• 化学反应任务：EM 得分提升 +100.0%

这就是"延迟越久，效果越好"——为模型提供了充足的内部时间进行物理规律推演。

这篇论文提出了一个截然不同的技术方向：模型训练不仅依赖堆参数和增加数据，还可以让模型"多循环几次"。上述三种方案可以协同实施。

此外，其参数效率极为出色。一个 1B 参数的循环模型，通过 100 次循环，能够达到相当于 100B 参数固定深度模型的"思考深度"。但显存占用和推理延迟却截然不同——这对手机、机器人、自动驾驶等端侧设备部署而言，具有革命性意义。

论文原文地址：https://arxiv.org/abs/2606.18208

研究团队：FaceMind Research Asia — Hongyuan Adam Lu, Z.L., Victor Wei 等