中科院联合CreateAI发布多模态4D世界模型，实现4D场景重建

一篇论文详细介绍了一种名为 NeoVerse 的 4D 世界模型。该模型突破了以往模型在关键可扩展性上的限制，构建了一个可扩展至真实单目视频的训练流程。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

当前，众多“能懂”世界的 AI 正致力于将真实世界转化为可复用的数字世界，期望模型能构建出会动的 3D 世界并生成一致画面。然而，许多 4D 世界模型普遍存在依赖昂贵数据采集或复杂预处理、难以大规模推广的问题。对此，中科院与 CreateAI 联合推出的 NeoVerse，创新性地利用 100 万段开放场景的单目视频进行大规模训练，开辟了构建可扩展 4D 世界模型的新路径。

相关资料

论文与源码链接已提供。

论文介绍

该论文提出了一种名为 NeoVerse 的多功能 4D 世界模型。它能够进行 4D 场景重建、生成新颖轨迹视频，并能应用于丰富的下游任务。研究首先指出，当前主流的 4D 世界建模方法普遍存在可扩展性瓶颈，这要么是由于需要昂贵且专门的多视角 4D 数据，要么是源于繁琐训练预处理流程造成的。

与之相比，NeoVerse 基于一种核心理念构建，使得整个流程能够扩展适配到各种真实场景的单目视频。具体而言，NeoVerse 具备无需姿态先验的前馈式 4D 重建、在线单目退化模式模拟以及其他精心设计的技术。这些设计赋予了 NeoVerse 强大的通用性和泛化能力，使其能够应用于多个领域。同时，NeoVerse 在标准的重建和生成基准测试中均取得了领先的性能表现。

方法概述

上图展示了 NeoVerse 的技术框架。在重建部分，研究提出了一种无需姿态先验的前馈式 4DGS 重建模型，该模型采用双向运动建模。4DGS 在不同视角下的退化渲染结果，将作为条件输入到后续的生成模型中。在训练过程中，退化渲染条件通过单目视频模拟生成，而原始视频本身则作为训练目标。

实验结果

在极具挑战性的实拍视频中，利用大幅度的相机运动生成图像。我们将本方法与相关工作进行了比较，分别针对“向左平移”（左图）和“向右移动”（右图）的情况。NeoVerse 方法在保持精准相机控制的同时，实现了更高的图像生成质量。黄色方框突出显示了伪影问题。

此外，NeoVerse 可与功能强大的 Stable Diffusion LoRA 集成，从而实现不到 30 秒的快速推理速度。运行时评估在单个 A800 GPU 上进行。

结论

该论文介绍了一种名为 NeoVerse 的新型 4D 世界模型，它有效克服了以往模型在关键可扩展性方面的限制，构建了一个能够扩展至真实单目视频的训练流程。因此，得益于丰富的真实数据训练，NeoVerse 的泛化能力和通用性得到显著增强，从而能够应用于各种下游任务。大量实验表明，NeoVerse 在重建和生成任务中均取得了领先的性能。

局限性：NeoVerse 需要具备正确底层 3D 信息的数据进行训练。因此，它不能直接应用于缺乏 3D 信息的数据，例如纯粹的 2D 卡通图像。同时，受限于训练资源，我们精心整理的数据集（100 万个视频片段）规模仍有提升空间。我们为未来的工作保留了更多数据。