复旦联合腾讯开源VerseCrafter模型：动态真实视频生成新突破

VerseCrafter 是什么

VerseCrafter 是一款由复旦大学联合腾讯 PCG ARC Lab 等单位共同研发的动态真实感视频世界生成模型。它拥有先进的 4D 几何建模与控制能力，能够高效地构建复杂的动态场景，并确保场景在时间与空间维度上的高度一致性。该模型依托大规模真实世界视频数据集 VerseControl4D 进行训练，用户可以通过设定相机运动路径及目标物体的 3D 轨迹，来精确驱动视频的生成过程，最终输出几何结构准确、视觉质量优异的长时序视频。它在视频生成、虚拟现实、游戏引擎等领域都展现出了显著的应用潜力。

VerseCrafter 的核心能力

• 4D 几何可控性：支持用户自定义相机运动轨迹与多个目标物体的 3D 高斯轨迹，从而实现对画面视角变化与物体动态行为的精细化调控。
• 多模式控制机制：提供了相机独立控制、目标独立控制以及相机-目标协同控制三种方式，能够灵活适应多样化的创作与交互需求。
• 高保真视频合成：在保障画面自然真实的基础上，严格维持三维几何结构的一致性，有效抑制了形变、穿模等常见的画面失真问题。
• 跨视角内容统一：能够从多个不同视角同步生成语义连贯、几何对齐的视频序列，适用于多人协作、多终端协同等复杂交互场景。
• 强泛化数据基础：基于 VerseControl4D 数据集训练，涵盖了丰富的真实动态与静态场景，显著增强了模型对未知环境的适应能力。

VerseCrafter 的技术架构

• 冻结的 Wan2.1 主干网络：以高性能预训练视频扩散模型 Wan2.1 为基底，完整保留其强大的时空建模能力；在此基础上引入几何控制信号，且不破坏原有的生成性能。
• GeoAdapter 模块：这是一个轻量级的几何适配器，负责将 4D 控制指令（包含相机路径与 3D 高斯轨迹）编码为多通道空间特征图，并将其嵌入至 Wan2.1 的各个扩散层中，从而实现端到端的可控生成。
• 4D 控制信号可视化渲染：将输入的相机轨迹与目标轨迹分别渲染为背景 RGB 图、深度图及 3D 高斯轨迹热力图，作为条件引导信号注入模型。
• VerseControl4D 数据集构建：从海量真实视频中自动提取精确的相机位姿与目标运动轨迹，构建高质量的几何监督信号，支撑模型在动静态混合场景下的鲁棒建模能力。

VerseCrafter 的最新资源

• 项目主页：项目官方页面与介绍
• GitHub 开源仓库：模型源代码与使用文档
• Hugging Face 模型平台：在线模型体验与下载
• arXiv 技术论文：详细研究论文与技术解析

VerseCrafter 的典型应用场景

• 虚拟现实（VR）与增强现实（AR）：构建高沉浸感、可自由探索的三维虚拟空间，支持用户通过自然的视角移动与物体交互，大幅提升临场感与操作自由度。
• 游戏内容生产：快速生成具备物理合理性的动态背景与角色动作序列，优化镜头调度与实时渲染表现，有效缩短开发周期并降低美术资源成本。
• 创意视频制作：助力广告、影视、动画等领域的创作者高效产出富有表现力的动态影像，满足个性化叙事与视觉实验需求。
• 教育仿真系统：搭建高拟真度的教学模拟环境，例如历史事件还原、分子运动演示或工程装配演练，强化理解深度与实践参与感。
• 互动媒体体验：支持分支剧情类视频、视角可选式短片等新型内容形态，观众能实时操控摄像机或关键对象，主动影响情节发展与观看视角。