港大联合顶尖机构为AI视频世界模型植入记忆大脑

这篇由香港大学联合复旦大学、浙江大学及快手科技团队完成的研究，于2026年6月30日以预印本形式发布在arXiv平台，编号为arXiv:2606.31734。希望深入了解的读者，可通过该编号直接检索并获取完整论文。

你是否曾有过这样的经历：与朋友聊天时，对方突然忘记几分钟前说过的话，又将同一段内容反复唠叨？那种感觉确实令人困扰。如今，AI生成视频也面临着完全相同的尴尬——开头几秒的画面可以拍得精彩绝伦，但只要视频长度拉长，它就会遗忘之前生成的内容，导致画面拼接凌乱、前后矛盾，观感大打折扣。

针对AI的“记忆缺失问题”，本次研究团队提出了一套名为MemLearner的创新解决方案。其核心思路非常直观：与其强行给AI预设一套刻板的“记忆规则列表”，不如直接教会它自主判断哪些信息需要记忆、以及在何时需要调用这些记忆。简而言之，前者像是按图索骥的新手，后者则是真正理解上下文的专家——两者的本质差异就在于此。

一、先来理解什么是“视频世界模型”

要深入理解这项研究，首先需要建立一个基本概念：什么是“视频世界模型”。

以游戏为例。当你在开放世界游戏中操控角色时，游戏引擎会根据你的操作——向左移动、向右观察、跳跃——实时渲染出你眼前的画面。视频世界模型所做的正是类似的工作。区别在于，它的背后并非固定编程的代码逻辑，而是一个经过海量真实视频数据训练而成的AI系统。当你向它下达摄像机移动指令，它便能立即生成对应的视频画面，仿佛你真的在一个真实的三维世界中探索。

这类技术拥有巨大的应用前景：可用于构建游戏场景、制作电影、训练机器人，甚至成为虚拟现实体验的核心引擎。研究人员称其为“交互式视频生成模型”——也就是说，用户可以通过动作指令与生成的视频世界进行实时互动。

然而，问题在于，一旦视频生成时长增加，诸多困难便随之浮现。AI的“视野”是有限的：它只能“看到”最近一小段生成的内容，更早的画面已经完全从它的信息窗口中消失。因此，当摄像机在场景中绕了一圈再回到原处时，AI早已忘记该地点的样貌，只能仓促地重新拼凑画面，导致生成的场景与之前拍摄的截然不同。这就是所谓的“场景一致性”问题，也正是这篇论文要攻克的核心难题。

二、为何现有方案均存在明显短板

在此项研究之前，已有不少尝试试图解决AI的“遗忘”问题，但每种方案都暴露出其固有的局限。

一类方法是“3D重建记忆”。它让AI先将观察过的场景重建为三维模型，后续需要时再从模型中渲染出对应角度的画面作为参考。这一思路听起来颇为扎实，但问题在于，三维重建本身就容易出错；而当场景中存在运动物体，例如行走的人或摇摆尾巴的狗时，重建几乎变得无从下手。

另一类方法是“特征压缩记忆”。AI不直接存储画面，而是将历史内容压缩成抽象的特征编码，类似于将一本书浓缩成几个关键词。这种方法存储效率确实很高，但信息损失同样巨大，大量细微之处都会丢失。

还有一类最直接的方法是“关键帧记忆”——从历史视频中挑选出若干具有代表性的帧，直接当作当前生成的参考依据。这个方向极具潜力，因为它简单明了，无需进行复杂的3D重建或特征压缩。但核心问题在于：如何科学地挑选这些关键帧？

目前主流的选择方式仍依赖于固定规则。例如，计算当前摄像机的视野范围（FOV），然后挑出与当前视野重叠度最高的历史帧；或者利用点云估算方法，找出在空间位置上最接近的帧。这些规则在简单场景中尚能奏效，但一旦面对复杂环境，其缺陷便立即暴露无遗。

以墙面遮挡为例。假设摄像机在一栋建筑外部，移动到另一侧。按照视野重叠规则，AI会认为某些历史帧“高度相关”——因为它们的拍摄方向相近。然而，事实上这两个视角之间隔着一堵厚墙，场景内容完全不同，参考这些帧反而会适得其反。再如，场景中有一条不断移动的狗，其位置时变时新，基于静态空间位置的规则根本无法准确追踪它的动态。

更根本的问题在于：这些规则是预先人为设定的，完全不具备根据场景复杂程度自动调整的能力。

三、MemLearner的思路：让AI自主学会“该看哪里”

MemLearner提出的方案，从根本上改变了整个问题的处理方式。与其告诉AI“按照规则X去查找相关帧”，不如让它通过大量训练，自主学会判断哪些历史信息对当前生成任务最有帮助。

为了实现这一目标，研究团队引入了一种名为“查询令牌”（Query Token）的机制。要理解这个概念，可以打个比方。

假设你是一位正在创作小说的作家（对应AI中负责生成视频的部分），图书馆里存放着你之前写下的所有草稿素材（对应历史视频帧）。你需要一名助手（对应查询令牌）来帮你从图书馆中调取参考资料。这名助手的工作方式很独特：他先查看你现在正在写的当前章节草稿（预测令牌），弄清楚你需要什么风格的信息；然后拿着这张“需求清单”去图书馆翻阅（上下文令牌），将真正有用的资料整理好递给你；最后，你参考这些资料完成创作。

在MemLearner的框架中，整个系统处理的信息被分为三类角色：C令牌（Context Token，历史上下文）代表已有的历史视频帧；Q令牌（Query Token，查询令牌）是连接历史与当前生成的桥梁；P令牌（Predicted Token，预测令牌）代表当前正在生成的视频帧。Q令牌首先关注P令牌，理解“需要生成什么”；再关注C令牌，提取“需要哪些历史信息”；最后P令牌参考Q令牌完成生成过程。

整个过程完全通过端到端训练学习完成——这意味着AI不需要任何额外的人工标注来指明“在这种情况下应该查询哪些帧”。它只是通过生成视频时的误差信号，反向不断调整自己的查询策略，最终自然而然地掌握了适应性的记忆提取能力。

四、一次失败的经历，带来了关键性洞察

研究团队在设计过程中也走过一段弯路。而这段弯路本身，恰好能说明很多问题。

最直观的想法是：既然需要一个“查询助手”，那就单独训练一个专门的查询模块，让它负责从历史帧中提取信息，再将提取结果传递给视频生成模型。两个模块各司其职，听起来非常合理。

然而，实验结果让团队大为震惊：这个单独训练的查询模块，完全没能学会查询历史信息。通过注意力可视化分析发现，该模块的查询令牌与历史上下文令牌之间的相似度几乎为零——换句话说，这个模块根本没有读取历史帧，只是在输出一堆毫无意义的信号。更糟糕的是，由于这个独立模块的输出毫无价值，视频生成模型也逐渐学会了“无视”它，最终退化为一个普通的文本生成视频模型，完全丧失了记忆能力。

这次失败揭示了一个关键洞察：从零开始训练一个新模块，让它学会有意义的视觉查询，是极其困难的。因为你无法为“正确的查询”提供明确的监督信号——没有人能够标注“在这一帧，你应该去查询历史第147帧的左上角”这类信息。

正确的做法是：直接利用视频生成模型本身来完成查询任务。视频生成模型已经经过大规模预训练，对视觉内容拥有丰富的理解能力。将查询令牌与上下文令牌、预测令牌一同输入到同一个视频生成模型中，让模型的自注意力机制自然地建立起它们之间的联系，效果反而更好——因为模型已经具备了理解视觉内容的能力，只需要学习如何运用这种能力进行记忆查询。

五、让系统效率更高的两个小技巧

理论上，将所有历史帧和当前帧全部输入模型让其自行分析，效果当然最优。但实际应用中，这会带来巨大的计算负担——随着历史帧不断累积，计算量将线性增长，最终变得难以承受。

研究团队提出了两个简洁高效的优化策略。

第一个策略是“浅层查询，深层生成”。整个扩散变换器模型共有28层，研究团队将其分为两段：前5层（浅层）作为“查询层”，负责让Q令牌从C令牌和P令牌中提取信息；后23层（深层）作为“生成层”，只处理Q令牌和P令牌，C令牌不再参与。这背后的逻辑是：提取记忆更像是“编码”过程，不需要太多计算量；而真正的创作生成才是主要工作。好比人的写作过程：快速浏览参考资料（浅层）只需几分钟，而真正坐下来撰写（深层）才是核心。实验证明，5层已经足以完成有效的记忆提取，继续增加查询层数对效果提升极其有限，却会显著拖慢处理速度。

第二个策略是“只保留必要的注意力计算”。在注意力机制中，每个令牌既可以作为“提问者”（查询），也可以作为“被问者”（键值对）。研究团队仔细分析了哪些注意力交互是真正必需的，然后删除了所有冗余计算。最终保留的核心交互只有三种：Q令牌向P令牌提问（明确当前要生成的内容）、Q令牌向C令牌提问（从历史帧中提取信息）、P令牌向P令牌和Q令牌提问（生成时参考同伴及查询结果）。特别值得注意的是，C令牌不作为提问者——历史帧的内容只需要被查询，无需主动询问任何人。

六、专为复杂场景设计的训练数据集

一个聪明的算法，还需要合适的训练数据。研究团队在这方面也投入了大量精力，因为他们发现，现有的长视频数据集无一能满足训练需求。

理想的训练数据需要同时具备四个特点：逐帧精确的摄像机位姿标注（即知晓每一帧摄像机的所在位置和朝向）、场景遮挡关系（物体之间相互遮挡的情况）、动态物体（会移动的人或动物），以及大量的“重访场景”（摄像机离开某地后又返回的情况）。现有数据集各有短板：基于YouTube视频组成的数据集内容丰富，但摄像机标注不够精确；基于游戏引擎渲染的数据集标注精确，但缺乏遮挡和动态物体。

为此，研究团队在虚幻引擎中自行搭建了一套数据采集流程。他们精心挑选了13个风格各异的三维场景，涵盖街道、购物中心、乡村、室内外等多种环境，并在场景中加入了人类角色、狗、骆驼、马等动态物体。为了高效生成摄像机运动轨迹，他们编写了自动化脚本，让摄像机在场景中自主漫游、自动避障，同时记录下每一帧的位姿信息。最终采集了100段长视频，分布在13个场景中，每段视频平均超过18000帧，总计时长达到16.7小时。

仅靠渲染视频还不够，因为渲染画面与真实世界的视觉风格存在差异。为此，研究团队还加入了另外两类视频：一类是带有较准确摄像机估算标注的真实世界视频；另一类则是完全没有摄像机标注的真实世界视频。针对这三类不同来源的数据，他们采用了一种独特的训练策略：为每类数据分别配备一个专属的摄像机编码器；对于完全没有标注的真实视频，则直接用零参数处理（相当于告诉模型“这段视频没有摄像机信息”）。通过这种隔离方式，不同质量的标注数据互不干扰，模型可以同时从精确的渲染数据、真实的风格数据和丰富的多样性数据中各取所长。

七、实验结果：数字与实例均清晰说明问题

研究团队在多个不同数据集上进行了全面评估，包括自己采集的复杂场景数据集、另一个团队发布的无遮挡、无动态物体数据集，以及真实世界的SpatialVID数据集。

评估方式分为两种。第一种是“地面真值对比”：让AI观看一段历史帧，生成接下来的画面，然后对比生成结果与真实视频的相似度。第二种是“重访对比”：让摄像机在场景中离开后再返回，对比“离开时拍摄的某个地方”与“返回时再次拍摄的同一地方”的画面是否一致。第二种测试方式更贴近实际应用，也更能检验模型的真实记忆能力。

用于对比的方法包括几类：完全没有记忆设计的长视频生成模型DFoT、通过压缩历史帧保留有限记忆的FramePack、基于点云规则检索的VMem，以及基于视野重叠规则检索的Context-as-Memory（CaM），还有研究团队曾尝试但最终放弃的“独立查询模块”设计。

在复杂场景数据集上，MemLearner在所有指标上均取得了最佳成绩。以像素相似度指标PSNR（数值越高越好）为例，CaM得分为19.85，MemLearner则达到21.23分；在衡量感知相似度的LPIPS指标上（数值越低越好），CaM为0.3475，MemLearner为0.2904，差距十分明显。在视频生成质量指标FVD上，MemLearner同样领先。而被放弃的“独立查询模块”方案，PSNR仅为9.16分，比完全没有记忆的DFoT（16.98分）还要低——这直接印证了研究团队关于“独立模块无法有效学习”的判断。

有趣的是，在无遮挡、无动态物体的简单场景数据集上测试时，CaM和MemLearner的成绩非常接近（分别为20.22和20.35）。这说明在简单场景下，规则方法与学习方法表现相当；但一旦场景复杂度增加，学习方法的优势便会显著拉开。

研究团队还进行了一项零样本迁移测试：在完全未曾接触过的Epic-Kitchens厨房视频数据集上直接测试（该数据集风格与训练数据差异很大），MemLearner依然比同类方法表现更好，说明其学到的记忆机制具备一定的通用性。

八、细节决定成败：几个关键设计的验证

研究团队还通过一系列消融实验，逐一验证了每个设计选择的必要性。

关于查询令牌的初始化方式，团队测试了两种方案：用随机噪声初始化，以及用带噪声的预测令牌副本初始化。结果两者的表现几乎没有差异，说明初始值本身并不重要——真正关键的是Q令牌通过注意力机制从P令牌那里学习当前的需求，而非依赖初始值传递信息。

关于摄像机位姿信息是否必须提供给所有令牌，结果颇出人意料。研究发现，即便不给历史帧（C令牌）和查询令牌（Q令牌）注入摄像机信息，只给当前生成帧（P令牌）注入，模型的记忆能力并未明显下降。这意味着，视频生成模型具备从纯视觉信息中隐式理解空间几何关系的潜力，无需手动提供三维坐标信息。

关于注意力计算的必要性，如果删除Q令牌向P令牌提问这一步（即不让Q令牌先理解“要生成什么”），性能会大幅下滑，PSNR从21.23骤降至17.27。这证实了“先理解需求再查询信息”这一两步走逻辑的关键性。

此外，研究团队还测试了另一种方案：将分别训练查询模块的做法改为“先预训练再联合微调”——用L1损失来预训练查询模块，让Q令牌的输出接近P令牌，然后再联合微调。结果，该方案依然远逊于MemLearner（PSNR仅为16.56），再次印证了端到端学习的优越性：无需人为设计中间监督目标，让误差信号自然地反向传播到查询机制中，效果反而更好。

九、这套方案能否迁移到其他模型上？

一个自然的问题是：MemLearner是否只能搭配研究团队内部使用的专属模型？

为了验证其通用性，研究团队将同样的方法应用到Wan2.1这个开源视频生成模型上（参数量为13亿）。结果显示，MemLearner在Wan2.1上同样比基线方法表现更优，说明这套机制并不依赖于特定的模型架构，只要底层模型使用了三维注意力机制，就可以直接接入MemLearner的查询框架。

归根结底，MemLearner所做的工作，就是将AI视频生成中那种“按规则寻找参考帧”的刻板逻辑，替换为一种“通过学习理解上下文需求”的灵活机制。这个转变听起来简单，但背后蕴含着一个深刻的工程洞察：与其费尽心机设计各种规则来告诉AI“什么情况下该记住什么”，不如为AI提供足够丰富的训练场景，让它自己摸索出最合适的记忆策略。

这项研究对普通人的生活可能不会立竿见影，但它所解决的问题，实际上是未来一系列应用的基础性障碍。当我们期待AI能够为我们生成一段沉浸式的虚拟旅行视频、在游戏中创造出真正有记忆的虚拟世界、或者帮助机器人在复杂环境中保持对空间的连贯认知——所有这些，都需要先解决AI的“遗忘”问题。MemLearner给出了一个目前看来极具说服力的解决方向。

当然，研究团队也坦诚地指出，问题远未彻底解决。当场景中同时有超过五个角色互动时，现有的10亿参数模型便开始力不从心，生成的画面会出现角色外貌不一致或物体消失的情况。更长远来看，记忆不应随着视频时长线性膨胀，未来的研究方向包括如何压缩、更新、编辑，甚至是有选择地遗忘历史信息——就像人脑的记忆一样，不是存档所有细节，而是保留真正重要的内容。

对这项研究感兴趣的读者，可通过arXiv编号2606.31734找到完整论文，以及该团队的演示项目页面，其中包含实际生成的视频案例，可供直观感受。

Q&A

Q1：MemLearner解决的“场景一致性”问题具体指的是什么？

A：场景一致性是指，在生成长视频时，当摄像机离开某个地方后又返回，AI生成的画面需要与之前拍摄的画面保持一致——例如，同一个房间应当拥有同样的家具，同一个角色应当拥有同样的外貌。由于AI的“视野”有限，它很容易遗忘早期的画面，导致重访时生成出截然不同的场景，这就是一致性问题。

Q2：MemLearner的查询令牌与普通的历史帧检索有何区别？

A：传统的历史帧检索依赖于人工设定的固定规则（如摄像机视野重叠度），而MemLearner的查询令牌则通过训练学会了自适应地判断“当前生成需要哪些历史信息”。它会先理解当前要生成的内容，再去历史帧中提取相关信息。整个过程是通过生成误差反向训练出来的，无需任何手动标注的查询标准。

Q3：在有遮挡的场景下，MemLearner为何比基于视野规则的方法表现更好？

A：基于视野规则的方法仅仅关注摄像机朝向是否相似，无法判断两个视角之间是否存在墙壁遮挡。而MemLearner通过训练学会了视觉内容之间的关联，能够隐式地理解遮挡关系，只调取真正视觉相关的历史帧，而非仅仅方向相近的帧。