浙大与微软联手推出3000条文本数据集，解决AI视频生成3D穿帮难题

视频生成模型的画面质量日益精进，但一个顽固问题始终存在：一旦镜头移动，画面就容易出现扭曲、变形或物体消失等“穿帮”现象。其根本原因在于，多数模型仅在二维像素层面进行数据拟合，并未真正理解其生成内容所处的三维空间结构。

传统解决方案通常是为模型强行加入3D感知模块，但这往往导致计算成本激增、泛化能力受限，且多局限于图生视频任务，难以应用于文生视频场景。那么，能否在不改变模型架构的前提下，有效提升其三维理解能力？

浙江大学与微软亚洲研究院联合提出的World-R1，提供了一条创新路径：不修改模型结构，不依赖3D标注数据，仅通过强化学习技术，即可“唤醒”视频生成模型内在的三维世界先验知识。

World-R1 核心原理：不改变架构，用强化学习激活3D感知

World-R1的出发点颇具巧思：经过大规模预训练的视频扩散模型，其内部已隐含着丰富的三维空间知识，只是这些知识处于“休眠”状态。研究团队的目标，是借助强化学习作为“触发器”，将这些潜在的3D理解能力激活。

具体实现过程可归纳为三个关键步骤。

第一步：将相机运动轨迹编码至初始噪声

传统方法控制相机运动通常需训练额外网络。World-R1则采用“零修改”集成策略。

具体而言，模型从输入文本中解析描述相机运动的关键词（如“推进”、“环绕左转”），并据此生成相应相机轨迹。随后，通过光流投影技术，将运动信息直接编码到扩散过程的初始噪声中。这意味着无需调整任何模型代码或增加参数，生成过程即可依据文本指令实现自然的镜头运动。

第二步：构建多维度奖励评估体系

强化学习的效果关键在于奖励函数设计。World-R1为此设计了一套四维复合奖励机制，从多角度评估生成视频的三维合理性：

多视角一致性评分：利用Depth Anything 3模型估计深度，将视频转换为3D高斯溅射表示，然后从与生成视角截然不同的新角度进行渲染和评估。这相当于让模型自我检查：正面观看无误时，侧面视角是否依然合理？

运动动态合理性评审：调用Qwen3-VL等强大视觉语言模型作为“评审”，专门识别视频中物体运动是否符合物理规律，检测是否存在动作僵硬的异常现象。

三维重建保真度评估：对生成视频进行3D重建，再将其渲染回2D画面，与原始视频帧进行像素级比对，确保三维结构的一致性能够准确映射到二维视觉表现。

轨迹对齐与通用画质保障：评估生成的相机运动是否准确遵循指令，同时使用HPSv3等指标确保在优化3D一致性的过程中，画面美学质量得以维持。

整套奖励通过创新的Flow-GRPO框架进行高效优化。

第三步：采用周期性解耦训练策略

过度追求3D一致性可能导致副作用：为保持几何稳定，所有物体动态消失，场景失去活力。

为此，World-R1引入了周期性解耦训练。在常规训练阶段，使用完整奖励函数集中优化几何一致性；每经过100步训练，则切换到“动态增强”阶段，在此期间仅使用通用画质奖励，并在高动态场景数据上进行训练。这种“一张一弛”的策略，最终实现了建筑结构稳定、同时旗帜飘扬等动态自然的效果。

训练数据：无需视频，仅凭文本描述

你可能会问，训练此类模型需要多少带3D或运动标注的视频数据？答案令人惊讶：完全不需要。

研究团队利用Gemini大模型生成了约3000条高质量、多样化的场景文本描述，涵盖峡谷、城市、深海、蘑菇森林等多种环境，并按相机运动复杂度分为三个等级。模型正是在学习这些“文本想象”的过程中，领悟了真实世界的三维物理规律。

实验结果：3D一致性显著提升，画质同步优化

研究基于Wan 2.1模型训练了两个版本：参数为1.3B的World-R1-Small和14B的World-R1-Large。

三维一致性实现飞跃

在衡量3D一致性的关键指标上，Small版相比基线模型的PSNR提升了10.23 dB，Large版提升了7.91 dB。反映感知差异的LPIPS指标则从0.467显著降低至0.201。这表明视频中的几何扭曲和结构失真问题得到了极大改善。

美学与成像质量全面超越基线

更令人惊喜的是，优化3D一致性并未牺牲画质。在VBench评测中，World-R1-Small在美学质量和成像质量上分别达到65.74和67.53分，全面超越了基线Wan 2.1-1.3B。相比之下，那些需要额外添加相机控制模块的方法，美学得分普遍在38-42分之间。真正做到了三维稳定性与视觉美感的双重提升。

视觉效果对比鲜明

从3D重建的点云图可以直观看出差异：基线模型生成内容的重建结果结构散乱，而World-R1生成结果的点云则清晰地呈现出完整、连贯的建筑结构形态。

消融实验：验证各核心组件的必要性

消融实验结论明确，证实了系统设计的有效性：

移除3D感知奖励，几何一致性显著下降；
去掉通用生成奖励，画面美学质量明显降低；
放弃基于噪声编码的隐式相机控制，模型收敛速度大幅减慢；
取消周期性解耦训练策略，模型生成动态场景的能力几乎丧失。

这四个核心组件相互支撑，缺一不可。

World-R1的研究揭示了一个富有前景的方向：提升视频生成模型的三维世界理解能力，未必需要重构架构或强行植入复杂模块。通过精心设计的强化学习奖励机制，完全有可能激活模型内部已有的空间感知潜力，以更高效、更低成本的方式，解决长期存在的镜头运动“穿帮”难题，推动AI视频生成技术向更高维度的真实感迈进。