新基准破解世界模型评测最大盲区

世界模型，真的会有“记忆”吗？

想象一下这个场景：你正把一杯水倒进玻璃瓶，然后扭头看了一眼窗外，再转回来——瓶子里的水平肯定已经变了。这是任何一个三岁小孩都具备的常识：东西不在眼前，不代表它消失了，更不代表它会停止变化。心理学管这叫「物体恒存（object permanence）」，是人类最早建立起来的认知能力之一。

但对今天最先进的视频生成模型来说，这个任务可一点都不简单。

过去一年里，「世界模型」成了视频生成领域最火的关键词。从 Sora 到国内的多款视频大模型，厂商们都在强调自己的产品不只是“生成好看的画面”，而是在“模拟真实世界的运行规律”。其中，世界模型是否具备类似人类「物体恒存」的认知能力，正成为衡量建模水平的核心标尺：当物体暂时离开视野、并在遮挡期间持续发生物理变化时，模型能不能记住它的身份、推演它的状态，并在它重新出现时准确还原？

长期以来，业界评测一直没能精准检验这个能力：绝大多数基准只看物体持续可见时的帧间一致性；少数涉及遮挡的测试，也多是针对静态场景（物体消失期间环境没有任何变化），根本没法验证模型对动态世界的记忆与推演能力。

针对这个问题，来自哈佛大学、MIT、IBM、波士顿大学、谷歌、JHU、CMU 和 Kempner Institute 的研究者提出了一个诊断性新基准：MemoBench。这是首个面向动态环境的“消失-重现”世界建模评测基准，已被计算机视觉顶会 ECCV 2026 接收。一作 Haoyu Chen 是哈佛大学计算科学与工程专业一年级硕士生，师从该校计算机科学助理教授 Yilun Du。

论文标题：MemoBench: Benchmarking World Modeling in Dynamically Changing Environments

论文地址：https://arxiv.org/abs/2606.27537

项目主页：https://memobench-team.github.io/

代码：https://github.com/MemoBench-Team/MemoBench

数据集：https://huggingface.co/datasets/tonyc54/MemoBench

这个基准以 360 段高质量真值视频为基础，配合自动化指标和语义化 VQA 评估体系，系统测试了 10 个主流世界生成模型，清楚揭示了当前技术在记忆一致性上的核心短板：没有一个模型的「物体重现得分」超过 0.6（满分 1）。换句话说，没有一个模型能稳定地让消失的物体“记得住、认得出、变得对”。

这个结果也让研究团队给出了一个非常直接的核心判断：现有的视频生成模型，就算能生成视觉上完全连贯的画面，也几乎无法在物体重新出现时，正确恢复它在“消失期间”本该经历的状态变化。这个结论清楚揭示了“生成画面逼真”和“真正理解世界”之间的显著差距，也为下一代世界模型的研发提供了一个可量化的诊断标尺。

“记住”世界：世界模型的必答题

近年来，视频生成技术迭代得很快，模型已经能生成高分辨率、时序连贯的动态画面，也因此被越来越多地视作“世界模拟器”，为自动驾驶、机器人操纵、具身智能等场景提供环境推演能力。

但真实世界的运转，不会因为视线离开就停止：冰块会持续融化、火焰会持续燃烧、行人会持续行走、碰到液体的纸张会被持续浸染……

MemoBench 数据集中一个来自真实世界的数据样本

一个真正合格的世界模型，应该具备类似人类「物体恒存」的认知能力：就算物体暂时离开视野，也能维持对它的身份、位置与状态的表征，并正确推演它在遮挡期间的变化。

这正是当前评测体系的核心盲区。现有的视频生成基准大多只考核物体全程可见时的帧间一致性；少数涉及遮挡的测试，也多是针对静态场景（物体消失期间环境没有任何变化）。因此只需要还原原有外观就能通过测试，完全没法验证模型对动态世界的记忆与推演能力。

我们始终无法确认：当物体重新出现在画面中时，模型是真的“记住并更新了世界状态”，还是只是“重新生成了一个看起来合理的画面”？

MemoBench：补齐世界建模评测的新基准

核心设计：“可见-消失-重现”三段式范式

现有的视频生成基准（比如 VBench、WorldScore 等）主要评估视觉质量、物理一致性或相机的运动控制。它们几乎只评估“持续出现在画面中”的物体，如果偶尔有物体移出画面，现有基准也多是在静态场景下进行评估，缺乏对遮挡期间动态变化的考察。

为了回答这个问题，MemoBench 建立了Visible–Disappear–Reappear（可见-消失-重现，可缩写为V-D-R）的核心评测范式，用一个简洁的三段式结构，精准探测模型是否维持了对物体的持久状态表征。

每一个测试样本都严格遵循统一的物理逻辑：

可见（Visible）：目标物体完整呈现在视野内，并且正处于持续的物理变化过程中，比如可能是正在行走的人物、正在融化的冰块、正在倾倒的粉末。模型可以观察到物体的初始状态与变化趋势。

消失（Disappear）：相机通过平移、转头、U 型转弯等运动完全移开视线，目标物体彻底离开视野。在此期间，物理过程不会停止，会按照自然规律持续演化。

重现（Reappear）：相机转回对应区域，目标物体重新进入画面。模型需要准确还原物体更新后的状态，包括位置、形态、物理变化进度等，与真实演化结果对齐。

MemoBench 概述。第 1–2 行展示了一段合成的“可见–消失–重现”序列及其相机轨迹；第 3–4 行展示了一段真实世界的状态变化序列（粉末倾倒）。MemoBench 包含 196 段合成剪辑和 164 段真实世界剪辑，通过自动化指标和 LLM 评判的 VQA 进行评估。

这个看起来简单的范式，考验的是世界模型的核心能力：模型不能只是在做逐帧的画面生成，而是必须在视野外维护一个持续演化的世界状态。

它同时考验视觉记忆、状态更新与动态推演能力，是对“真实世界建模水平”的直接检验。

数据构建：合成场景与真实素材双管齐下

基于这个范式，MemoBench 构建了合成与真实世界两条并行的数据流水线，共包含360 段1920×1080 分辨率的高质量 Ground-truth 视频，配上完整的几何标注与评测工具：

合成子集（196 段）：在虚幻引擎 5 中渲染生成，覆盖 5 大类环境、14 个子场景，包含 U 型转弯、前进移动、头部转动、垂直运动等多种复杂相机轨迹。每段视频都附带逐帧 RGB 图、度量深度图、相机内参与相机位姿，能够支撑几何层面的精准评估，重点测试大视角变化下的空间记忆能力。

合成数据：由虚幻引擎 5 渲染的 5 个类别下的 14 个场景。

真实世界子集（164 段）：在可控室内环境中实拍完成，覆盖 7 大类、30 种物理状态变化过程，包括溶解、燃烧热变、扩散吸收、化学反应、粘性流动、泡沫演化、力学形变等。这些依赖粘度、弹性、热传导等真实材质属性的过程，很难被游戏引擎精准模拟，专门用来检验模型对真实物理动态的记忆准确性。

真实世界数据：在受控室内环境中拍摄，涵盖 7 大类别的 30 种物理状态变化过程

所有样本都经过人工标注，精准标记了物体“完全消失”和“完全重现”两个关键帧，用以精确划分可见（V）、消失（D）、重现（R）三个阶段，作为后续所有评测指标计算的基础。

MemoBench 的数据整编流程

怎么打分：自动化指标 + VQA 双线评测

MemoBench 设计了自动化量化指标和 VQA 语义评估两套互补的评估方案，既看底层像素保真，也看高层语义正确，避免单一指标的片面性。

自动化指标覆盖三大维度，所有核心分数都归一化到 0-100 区间，考验世界模型的：

通用视频质量：包含视觉质量、运动平滑度、物体身份一致性、3D 几何一致性四项，衡量基础生成能力；

记忆专属指标：这是评测的核心。其中物体重现分数（ORS）通过 SAM-3 文本驱动分割模型，检测重现阶段目标物体的存在性与置信度，直接衡量模型能否让目标“正确回来”；同时包含分阶段的像素级保真度（PSNR、SSIM、LPIPS）与相机可控性指标，可以精准定位性能退化的具体环节。

提示保真度：通过 ImageReward 衡量生成内容与文本提示的匹配程度。

VQA 语义评估则聚焦自动化指标难以捕捉的高层语义合理性，覆盖四个诊断维度：

指令遵循：是否准确执行提示中的相机运动、物体轨迹与事件顺序；

物体与背景一致性：前后景元素是否存在形态漂移、身份切换、场景突变；

记忆连续性：物体消失期间，模型是否维持了它的身份、轨迹与状态，是与“消失-重现”范式最直接对应的维度；

物理合理性：运动、重力、光影阴影是否符合物理规律。

VQA 评估流程。大语言模型根据提示词和首帧生成 24 个极性平衡的是/否问题（每个维度 6 个）。问题通过真实标注和失败片段评估进行筛选，再由人工审核验证。最终问题库应用于每个生成的视频，从而得出四个诊断维度各自的通过率。

为了保证评估的可靠性，所有问题都经过真值过滤、失败案例过滤与人工交叉验证三轮筛选。最终人工与 VLM 判断的整体一致性达到 92.9%，Cohen's κ 系数为 0.85，评估结果具备很高的可信度。

当前世界模型的真实水平如何？

研究团队在 MemoBench 上测试了 10 个当前主流的世界生成模型，涵盖相机可控图生视频（CI2V）、显式 3D 视角合成、普通图生视频（I2V）三类技术路线，得到了一系列关键发现，清晰呈现了当前世界建模技术的能力边界。

MemoBench 给出的核心结论是：当前没有任何一个模型能可靠完成“消失-重现”的记忆任务。

所有被测模型的物体重现分数（ORS）都没超过 0.6；在真正执行相机轨迹、让物体实际离开画面的模型中，“记忆连续性”维度的语义得分最高也只有 55.6 分（满分 100，57.0 的 LTX-Video 因为相机不动存在虚高问题）。也就是说，就算是表现最好的模型，针对记忆的提问也只能答对一半多一点。

在 MemoBench 上对 10 个世界生成模型的自动评估。模型分为 CI2V、基于 3D 和 I2V 三类。↑：越高越好；↓：越低越好。加粗：最佳；下划线：次佳。

在 MemoBench 上跨四个语义维度的 VQA 评估。每个维度评分范围为 0–100（↑：越高越好）。模型分为 CI2V、基于 3D 和 I2V 三类。粗体：最佳；下划线：次佳。

一旦物体离开画面，模型的“记忆”就开始快速退化。重现时的内容要么直接消失，要么被随机幻觉替代，要么外观还在、状态却完全不对。

研究团队把这些失败系统整理成六类：物体凭空消失、身份悄悄换人、状态被重置回初始、位置突然跳变、背景被幻觉填充、相机轨迹发生漂移。

LingBot-World 的失败分类。这里报告的计数并非互斥，因为一个生成的序列可能表现出多种失败类型。

其中，合成场景里最常见的失败是“背景幻觉”，也就是物体还在，但身后的世界已经面目全非；真实场景里最常见的则是“身份漂移”，即同一个物体，消失前后的样子判若两物。

这个大盘结论之外，评测还揭示了几组值得深入讨论的对照。

发现 1：“相机不动”会虚高一致性分数，传统指标存在盲区

最反直觉的发现出现在普通图生视频模型（I2V）身上。

LTX-Video 没有任何相机控制能力，但它在运动平滑度、3D 几何一致性、物体身份一致性三项指标上全部排名第一，物体重现分数也达到了 0.330。

单看数字，成绩相当体面，但研究团队发现，这份“好成绩”的来源有点可疑：LTX-Video 几乎不移动相机，目标物体从头到尾留在画面里，“物体从未消失”自然就“物体从未失忆”。它的高分是用“回避挑战”换来的，而不是真正的记忆能力。

不同模型在冲泡咖啡任务上的生成表现

这暴露了一个重要的评测漏洞：传统视频质量指标没法区分“在真实视角变化中保持一致”和“靠静止镜头绕开一切挑战”这两种本质不同的情况。

MemoBench 专门设计了“相机可控性”和“指令遵循”两个维度来识别这种现象。而在这两项上，LTX-Video 的得分排到了最后一档。

发现 2：能控制相机，不代表记得住物体

既然静止镜头会“作弊”，那支持相机条件控制的模型，表现是不是就一定更好？

答案是：不一定，而且差距相当悬殊。

同样接受相机轨迹作为输入，五个 CI2V 模型的物体重现分数从 0.266 到 0.582 不等，跨度超过一倍。HunyuanWorldPlay 以 0.582 的 ORS 领跑 CI2V 阵营，而 HunyuanGameCraft 和 FantasyWorld 的 ORS 只有 0.266 和 0.276；后两者的视觉画质评分反而更高。

这组数据说明：相机能跟着轨迹走，和模型脑子里是否维护着“走开之前那个世界的状态”，是两件独立的事。镜头控制得再精准，也只是“知道该看哪里”，不是“记住了那里之前发生了什么”。

物体恒存不会作为相机条件生成的副产品自然涌现，它必须被显式地纳入训练目标。

发现 3：几何精确和画面好看，往往不可兼得

3D 类模型提供了最鲜明的能力分化样本。

Stable Virtual Camera 直接以显式相机位姿驱动渲染，相机轨迹控制最为精准，像素级保真度在所有模型中也最高；但它的视觉质量评分偏低，画面中容易出现模糊边缘、拼接缝和深度修补错误，VQA 语义评分同样靠后。

Matrix-Game 2.0 则完全相反：画面最锐利、视觉质量最高，但相机轨迹经常跑偏；同一段轨迹指令，它生成的视角和真实路径偏差巨大，导致像素保真度和 VQA 得分都落入低位。

这两个模型同时站在评测榜单的两个极端，共同说明一件事：几何准确和画面自然度，在当前技术框架下还没对齐。用画质评分去推断几何精度，或者反过来，都会得出错误结论。

这也是 MemoBench 坚持多维度评测的核心原因：用任何单一指标，你都只能看见这张地图的一角。

发现 4：扩大模型，不如给它看第一帧

论文还披露了一项消融实验，结论相当出人意料。

研究团队对 Wan2.2 做了两组对照：一组把模型参数量从 5B 扩到 14B，另一组保持 5B 参数不变，但额外提供“可见阶段的第一帧”作为图像条件输入。

结果显示，加入第一帧条件使 PSNR 提升了约 4.2 dB，感知距离（LPIPS）下降了 0.20；而参数扩大近三倍，对这两项指标的改善微乎其微。也就是说，让模型清楚地“看见”物体的初始状态，比单纯堆参数量对记忆任务有用得多。

Wan2.2 初始状态条件化与骨干网络容量消融实验结果。基于 50 个片段。“V-frame”指将可见阶段的首帧作为图像条件。

这一发现指向了一个重要的设计方向：与其追求更大的模型，不如在“初始状态如何被编码和保持”这件事上下功夫。

十个模型同台竞技，四组发现从不同侧面共同指向同一个结论：让画面看起来连贯和真正记住世界的状态，是两件截然不同的事情。而后者才是世界模型走向真实应用必须跨越的核心门槛。

共建世界模型评测标尺

MemoBench 揭开的，不只是当前技术的短板，也是一个长期被忽视的研究方向——动态遮挡下的视觉记忆——第一次有了可量化、可对比、可追踪的评测基础。

对于研究者而言，这套体系在指出问题的同时，也暗示了改进路径：持久状态表征的显式建模、以记忆为目标的训练策略、对初始状态感知的强化设计，都是接下来值得深耕的方向。

目前，论文、代码、数据集与公开榜单均已开源，研究者可以直接使用评测工具测试自己的模型，并将结果提交至排行榜，与社区共享进展。

从“生成好看的视频”到“维护一个真实的世界”，这中间隔着的，正是 MemoBench 正在度量的那段距离。它不一定短，但现在至少有了刻度。

你是一名 AI 行业编辑，请围绕下面这条热点输出一份资讯解读：
热点：新基准破解世界模型评测最大盲区要求：
1. 先用一句话解释这条热点在讲什么
2. 再总结它为什么重要
3. 说明会影响哪些 AI 产品或内容方向
4. 最后给出 3 个适合资讯站使用的标题