复旦大学AI导演系统实现虚拟人物精准操控革新视频制作

这项由复旦大学联合香港科技大学、阿里巴巴通义实验室等多家机构共同完成的突破性研究，为视频制作领域带来了革命性的变化。其成果已发表于2025年的arXiv预印本平台。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

在短视频盛行的今天，人们对个性化视频内容的需求日益高涨。然而，制作一部既能精准保持人物身份特征，又能精确控制其动作表现的视频，依然是一项极具挑战性的任务。想象一下，你希望拍摄一部短片，既要演员完全符合角色设定，又要其每一个动作、表情都精准执行导演意图——传统的制作方式耗时耗力，成本高昂。而现有的AI视频生成技术，虽然在生成精美画面上有所突破，但一旦涉及多个角色同时出现、需要精确控制每个角色动作的复杂场景时，往往就显得力不从心。

正是在这一背景下，研究团队推出了名为“DreamVideo-Omni”的智能视频生成系统。这套系统犹如一位经验老道的电影导演，不仅能精确识别并保持每个角色的身份特征，还能同时调度他们的全身动作、局部表情乃至镜头运动轨迹。更关键的是，它能够驾驭多个角色同台的复杂场景，确保每个角色都按剧本完美演绎，彻底避免了角色混淆或动作错乱的尴尬。

一、突破传统束缚：解决多角色视频制作的三大难题

在传统视频制作流程中，创作者常被三个核心难题所困扰，它们如同三座大山，阻碍着高质量个性化视频的诞生。

首先是“动作控制的粗糙性”。现有技术好比一位只会打拍子的指挥，只能给出“快一点”或“慢一点”的模糊指令，却无法精确控制每个乐器在特定小节的具体演奏。反映到视频生成上，就是系统只能大致控制角色的移动方向，难以同步协调全身姿态、面部表情与镜头运动。例如，想让角色在奔跑时做出特定手势，并要求镜头以特定角度跟拍——传统技术往往顾此失彼。

其次是“角色身份的混乱性”。当场景中间出现多个角色时，现有技术就像一个脸盲的导演，经常把动作指令张冠李戴。设想让角色A向左、角色B向右，系统却可能让A执行B的动作，甚至将两个角色的特征混合，生成一个“四不像”。这种混乱在有多主角的复杂叙事中，足以让整个故事线崩塌。

第三是“身份保真度的下降”。这好比一位化妆师，在专注于设计复杂动态场景时，反而忽略了角色妆容的精致度。AI系统在努力控制复杂动作序列时，往往不得不牺牲角色面部特征的准确性，导致生成的角色动作流畅却面目模糊，失去了原有的辨识度。

究其根源，这些问题在于现有技术缺乏一个统一的“指挥中枢”。就像一个剧组各部门虽专业却沟通不畅，最终成品质量参差。传统“分而治之”的思路，将身份保持与动作控制割裂处理，如同让两位导演分别负责表演和摄影，难以产出协调统一的作品。

为此，DreamVideo-Omni提出了全新的“统一指挥”架构。它将视频生成视作一场精心编排的舞台剧：角色身份是演员的固定档案，动作控制是详细的剧本与走位安排，镜头运动则是摄影师的拍摄计划。这套架构如同一位总导演，统筹所有环节，确保最终作品既保留了每个演员的独特魅力，又呈现出流畅自然的叙事节奏。通过这一创新设计，系统成功地将原本相互冲突的需求转化为协同一致的目标，为高质量个性化视频的规模化生产开辟了新路径。

二、精密的导演助手：系统架构的双重训练策略

DreamVideo-Omni的“养成”过程，类似于培养一位顶尖导演，其训练分为两个核心阶段，兼顾了“技”与“艺”的锤炼。

第一阶段称为“全方位动作与身份监督微调”，相当于为AI系统提供扎实的电影学院式教育。在此阶段，系统需要同步掌握四类“拍摄素材”的处理能力：一是角色外貌特征（记住每位演员的长相与气质），二是全局动作控制（把握演员的走位与场景调度），三是局部动作控制（指导手势、表情等细微表演），四是镜头运动控制（运用推、拉、摇、移等摄影技巧）。四者协同学习，确保系统具备制作高质量作品的综合基础技能。

为实现高效处理，团队设计了三个关键技术组件。其一是“条件感知三维位置编码”，如同为各类信息贴上专属标签（红色代表角色、蓝色代表动作、绿色代表镜头），使系统能清晰区分、避免混淆。其二是“分层动作注入策略”，这好比导演不仅在开拍前给出整体指导，还在拍摄中不断进行细节调整，确保动作在生成的每一步都得到精确引导。其三是“群组与角色嵌入”，它解决了多角色场景的身份管理问题，为每个角色分配独特的“身份证”（如红色臂章代表女孩，蓝色代表小狗），并将不同信息（如外貌、动作指令）打上功能标签，确保指令能准确送达目标角色。

第二阶段是“潜在身份奖励反馈学习”，这相当于为AI导演配备了一位资深艺术顾问。传统系统仅依赖技术指标评判输出，如同导演只关心拍摄参数而忽略观众感受。此阶段引入了“人类审美判断”，让系统学会辨别何种视频更符合观众期待。团队训练了一个“身份评判员”，它工作在“潜在空间”中，能像资深影评人一样，直接洞察视频深层特征，判断角色身份是否一致、动作是否自然。这种深度评判能力，使得系统在保证技术精确度的同时，也能在艺术质量上向人类审美标准靠拢。

这种双阶段策略的精妙之处，在于将技术能力的夯实与艺术眼光的养成有机结合，最终培养出一位既懂技术又有品味的“AI导演”。

三、智能身份管家：解决多角色混乱的创新机制

处理多角色视频，最大的挑战犹如在繁忙片场协调多位演员同时表演。DreamVideo-Omni的“群组与角色嵌入”机制，为此提供了一套巧妙的解决方案，堪称每位演员的“专属助理经纪人”。

该机制的核心，是为每个控制单元建立完整的“身份档案”，包含三大要素：角色外貌、全局移动轨迹、局部动作细节。这就像给每位演员一份明确的工作清单，写清了“我是谁”、“我去哪”、“我做什么”。

当处理包含多个角色的场景时，系统会为每个角色分配唯一的“群组标识”。例如，场景中有黄衣女孩和小狗，女孩获分配“红色群组”，小狗则为“蓝色群组”。此后，所有与女孩相关的信息（外貌、移动轨迹、手势）都会带上“红色”标签；小狗的信息则带上“蓝色”标签。

这套标签系统的精确性体现在指令执行上。当指令“向左走”被标记为“红色群组”，系统会准确将其应用于女孩，而不会影响小狗。同时，“角色功能嵌入”系统将外貌信息标记为“视觉部门”，动作信息标记为“动作部门”，确保各类信息各司其职，避免职能混乱。

该机制具备良好的扩展性。新增角色（如一只鸟、一辆车）只需分配新的群组标识即可，协调工作依然井然有序。实验证明，在复杂多角色场景中，传统方法常出现角色特征混合、指令错位，而DreamVideo-Omni能始终保持角色独特性，精准执行各自指令。

这套精确的身份管理机制，不仅攻克了技术难题，更为创作包含多主角、复杂互动的视频内容打开了新局面，让创作者能放心设计独特角色与情节，无需担心系统“张冠李戴”。

四、艺术品味的培养：人类偏好学习的突破性应用

传统AI视频生成技术如同一位技术过硬却缺乏艺术感的摄影师，作品指标完美却难以打动人心。DreamVideo-Omni在此实现了关键突破，其“潜在身份奖励反馈学习”机制，相当于为系统配备了一位资深艺术导师。

这位“导师”的核心是一个创新的“潜在身份奖励模型”。它不同于传统评判机制，能工作在“潜在空间”中，直接分析视频的深层特征，无需等待完全渲染。这好比资深鉴定师透过原石就能判断宝石品质，极大地提升了评判效率，并允许在生成早期就提供指导。

更重要的是，该模型基于视频扩散模型构建，天生擅长理解动态内容。它不仅能评判单帧美感，更能评估动作的流畅性、叙事的连贯性与整体艺术效果。

为使模型掌握人类审美，研究团队投喂了海量的人类偏好数据——数万个带有明确优劣评判的视频对比样本。通过学习，模型逐渐内化了人类的审美标准，能判断何种角色表现更自然、何种动作设计更具吸引力。

在实际生成过程中，该机制的工作流程如同一次艺术指导：当系统生成视频时，奖励模型会细致分析面部表情是否自然、动作是否流畅、身份特征是否一致等细节，并给出改进建议。通过反复练习，系统逐渐形成了自己的“艺术品味”，能自动规避生硬、不协调的表现方式。

例如，系统学会了在角色快速移动时保持面部特征稳定，避免“复制粘贴”式的生硬感；也让动作看起来更自然流畅，摆脱机械模式。这种学习还具备强大的泛化能力，即使面对训练中未见过的新场景或角色组合，系统也能运用习得的审美原则，生成符合人类期待的高质量视频。

五、训练数据的精心烹饪：大规模数据集的构建艺术

构建能处理复杂多角色视频的AI系统，犹如筹备一场国际美食节，需要汇集全球优质食材。DreamVideo-Omni的成功，很大程度上得益于其背后精心构建的超大规模训练数据集——包含超过200万个经精密标注的视频片段。

数据收集如同派遣专业采购团队全球选材。团队首先建立严苛筛选标准，运用光流分析技术评估视频运动强度，确保入选片段包含足够的动态内容，为模型学习提供“新鲜食材”。

在主体识别阶段，团队采用多步骤智能标注流程：先用RAM++工具识别视频中所有重要物体，再通过Qwen3 Max大语言模型筛选出具有明显运动特征的主体，保留“关键调料”。

随后是精细标注：使用GroundingDINO模型检测目标边界框，明确“食材”位置与分量；用SAM2模型生成精确分割掩码，清晰区分物体边界，如同精确切割食材。运动轨迹提取则使用CoTracker3技术，精确追踪每个像素点的运动，并根据物体掩码分类前景运动与背景相机运动，记录下“调料加入的时机与方式”。

为确保角色身份一致性，团队还开发了巧妙的参考图像构建策略：从与训练视频时间分离的帧中提取角色参考图，并通过分割掩码将其从复杂背景中精确分离，如同为演员拍摄标准肖像照。为进一步增强系统泛化能力，团队对这些参考图像应用了包括几何变换、视觉降质在内的数据增强技术，训练系统适应“不同品质的食材”。

值得一提的是，该数据集是首个同时支持多主体定制、全帧掩码标注、全帧边界框标注和全帧轨迹标注的综合性资源，如同一部既收录各国菜谱又详解每道工序的“美食百科全书”。这种全面而精细的数据准备，为系统卓越性能奠定了坚实基础，使其能从容应对从简单单人动作到复杂多角色互动的各类场景。

六、严格的考试制度：DreamOmni Bench评测基准的建立

为客观评估AI视频生成系统的真实能力，研究团队建立了一套全新的专业评测标准——DreamOmni Bench。它摒弃了传统方法只重“化妆效果”的片面性，构建了一个多维度的综合评审体系。

该基准包含1027个高质量真实视频样本，涵盖从简单到复杂的各类场景。评测遵循“分类评价”原则，将样本明确分为436个单角色场景与591个多角色场景，确保各类情况得到恰当评估。

技术评价涵盖六个关键维度：“整体一致性评估”使用CLIP文本相似度判断视频与文本描述的匹配度；“主体与面部保真度评估”则采用区域性评估方法，专门应对多主体场景的复杂性，避免背景与其他角色的干扰。具体而言，团队使用GroundingDINO技术识别并裁剪目标角色区域，再分别计算CLIP与DINO图像相似度，如同为每位演员打上聚光灯进行单独评判。

对于人脸身份，采用InsightFace库的ArcFace技术进行身份验证。在多人场景中，系统检测所有面部并提取特征向量，通过余弦相似度匹配每个检测面部与参考面部，最终选取最高相似度结果，确保评判的针对性。

运动控制精度通过两个互补指标评估：平均交并比衡量空间布局控制准确性；端点误差则量化细粒度轨迹控制的精确度。

为确保评测公正，团队严格采用“零样本评估”原则，所有测试视频均源于与训练数据完全独立的真实场景，如同用全新考题检验学生真实水平。

除客观指标外，团队还组织了大规模人工评价实验，邀请18位评估员对270组不同方法生成的视频进行盲评，维度包括主体保真度、运动一致性等。这种“观众投票”环节，确保了技术优秀的作品也能获得人的认可。

DreamOmni Bench的建立，不仅为当前研究提供了严格的标尺，更为未来相关领域的研究设立了统一的比较基准，推动整个领域健康发展。

七、实战验证：全方位性能表现的亮眼成绩

经过严格测试，DreamVideo-Omni交出了一份全方位优异的成绩单，证明了其技术先进性与实用可靠性。

在多角色定制与运动控制的综合测试中，系统相比现有代表性方法DreamVideo-2实现全面超越。身份保持方面，区域CLIP相似度达0.739，提升约1个百分点；面部相似度达0.301，近乎对手的两倍。运动控制精度提升更为显著：平均交并比达0.558（对比0.212）；端点误差降至9.31像素（对比24.05像素）。

在更具多样性的MSRVTT个性化基准测试中，系统同样表现卓越：主体模式下区域DINO相似度0.628，面部模式下面部相似度0.417，均达领域顶尖水平。轨迹控制精度尤其突出，主体模式端点误差11.21像素，面部模式仅8.50像素，远超其他对比方法。

在纯主体定制能力测试中，无论是单主体还是更困难的多主体场景，系统均保持最优或稳定性能，有效避免了角色混淆与身份泄漏，验证了其身份管理机制的有效性。

值得注意的是，与参数量达14B的大型模型Wan-Move相比，参数量仅1.3B的DreamVideo-Omni在各项指标上均取得更好成绩。这种“以小胜大”的表现，充分证明了其架构设计的高效与创新。

大规模用户调研（涵盖270组测试视频）为技术指标提供了有力佐证。在联合身份保持与运动控制任务中，系统获77.6%用户支持；在运动一致性评价中，支持率高达81.7%。这些真实用户的积极反馈，证实了其卓越的实际体验。

此外，系统还展现出意料之外的能力拓展：基于文本到视频模型开发，却通过多任务训练自然具备了图像到视频生成、首帧条件轨迹控制等额外功能，展现了其设计的优雅性与潜力。

八、技术细节的深度剖析：每个组件的关键作用

为深入理解系统卓越性能的根源，研究团队通过消融实验，细致剖析了各个技术组件的必要性及其协同作用。

“条件感知三维位置编码”被证明至关重要。移除该组件后，系统性能出现灾难性下降：多主体场景的区域CLIP相似度从0.720骤降至0.647，面部相似度更是从0.329暴跌至0.047。这如同移除了乐团的指挥，各乐器虽在演奏，却完全失去协调。

“群组与角色嵌入”机制同样不可或缺。缺少它，多主体场景的运动控制精度显著下滑：平均交并比从0.570降至0.459，端点误差从6.08升至20.69。这好比拍摄现场没有导演助理协调，场面极易失控。

“分层动作注入策略”是精确运动控制的核心。若仅在输入层注入边界框信息而不分层注入，多主体场景的平均交并比将从0.570严重跌至0.289。这如同烹饪只在一开始调味，成品必然缺乏层次。

两阶段训练策略验证了人类偏好学习的独特价值。尽管第一阶段监督微调已奠定基础，但第二阶段的奖励反馈学习带来了显著质量提升，特别是在面部相似度上从0.266提升至0.301，视觉改善明显。

对“潜在身份奖励模型”设计选择的详细分析进一步优化了系统：采用二元交叉熵损失函数比Bradley-Terry模型表现更佳；将参考图像作为查询信息而非键值信息的策略也被验证有效，使模型能主动从视频中搜索身份信息。

分析还表明，在全时间步长范围内提供密集反馈，优于仅在最后几步提供反馈。奖励学习的强度也需精细平衡：权重设为0.10时，能在身份保持与运动控制间取得最佳平衡，权重过低则指导作用不足，过高可能导致“奖励入侵”，过度优化单一指标而牺牲整体性能。

这些深度剖析不仅验证了DreamVideo-Omni设计的合理性，更为未来研究提供了宝贵的技术洞察，确保了每个组件都发挥最佳作用，并产生“1+1>2”的协同效应。

九、应用前景与技术意义的深远影响

DreamVideo-Omni的成功，其意义远超一项技术突破，它更像为整个视频内容创作领域打开了一扇通向未来新世界的大门。

在内容创作领域，它如同为普通人配备了一个专业电影团队。以往需要大量资源才能完成的复杂视频制作，如今可能仅需简单的文字描述和几张参考图。独立创作者、教育工作者、企业营销人员都能从中受益，大幅降低的创作门槛将释放巨大的创意潜能。

在娱乐产业，它有望革新传统影视制作流程。导演可用于快速生成概念验证视频；替身拍摄、危险场景预演、后期特效预览等环节的效率将大幅提升，成本与风险则显著降低。甚至可能催生观众可参与角色设定的互动影视新形式。

在教育培训领域，教师可创建个性化教学视频，让历史人物“亲口”讲述，让科学概念通过角色演示变得生动。语言学习者能观看自己“扮演”的角色进行对话练习；企业培训可采用沉浸式场景模拟，提升培训效果。

从技术发展角度看，该研究贡献了多项重要突破：统一多模态条件控制的架构为处理复杂多元信息提供了新思路；人类偏好学习在视频生成中的成功应用，为强化学习进军创意领域开辟了新路径；潜在空间奖励建模提升了计算效率；条件感知位置编码技术为处理异构序列数据提供了新方法。

更深层的意义在于，它证明了通过精巧的架构与训练策略，规模相对较小的模型也能在特定任务上超越大型通用模型。这为资源有限的研究团队与应用场景指明了“专精胜过通用”的新方向。

社会影响层面，该技术的普及可能改变视频内容的创作与消费模式，推动创意经济发展，同时也对内容质量管理与版权保护提出了新课题。技术的进步总伴随新的责任，其应用也需建立相应的伦理规范与安全机制。

展望未来，DreamVideo-Omni所代表的技术方向将持续演进。更智能、更易用的视频创作工具将不断涌现，并逐渐融入日常生活，成为数字时代内容创作的重要组成部分。

结论

总而言之，DreamVideo-Omni这项研究，相当于为AI视频制作技术装上了“大脑”与“眼睛”。研究团队通过巧妙的设计，让系统既掌握了精确的“手艺”，也培养了良好的“品味”。它能同时协调多个角色，保持各自独特魅力，并精确控制其一举一动，犹如一位经验丰富的导演统筹一部大戏的每个细节。

更重要的是，这位“AI导演”具备了审美能力，能判断何种画面更美观、何种动作更自然。通过学习海量人类偏好数据，它形成了自己的艺术判断标准，能自动规避不协调的表现。这项突破不仅解决了长期存在的技术难题，更为大众进行高质量视频创作开辟了全新可能。

从实用角度看，其最大价值在于极大降低了高质量视频内容的创作门槛。以往需专业团队、昂贵设备与大量时间完成的复杂制作，如今普通用户通过简单描述与图片即可实现。这种便利性将释放无穷创意。

当然，任何强大技术都需负责任地使用。该技术在带来便利的同时，也提醒我们需建立相应规范与安全措施，确保其产生积极社会影响。研究团队在论文中也强调了对此的关切。

归根结底，这项研究标志着AI视频生成技术发展的一个重要里程碑。它不仅展示了当前技术的高度，更为未来指明了方向。随着技术不断成熟与普及，我们有理由期待，在不久的将来，每个人都能轻松创作出符合自己想象的精彩视频，极大地丰富我们的数字生活体验。

Q&A

Q1：DreamVideo-Omni与普通的AI视频生成工具有什么区别？

最大的区别在于其能同时精确控制多个角色，并保持各自的身份特征。传统工具通常只能处理单一角色或简单场景，而DreamVideo-Omni如同一位专业导演，能协调复杂场景中的所有元素，确保每个角色按预设要求完美演出。

Q2：使用DreamVideo-Omni制作视频需要什么技术基础吗？

其设计理念正是为了让普通用户也能轻松使用。用户只需提供角色参考照片、简单的文字描述以及期望的动作轨迹，系统便能自动生成高质量视频。整个过程直观易用，无需专业的视频制作经验或复杂的技术操作。

Q3：DreamVideo-Omni生成的视频质量如何保证？

系统采用了独特的“人类偏好学习”机制，如同配备了一位经验丰富的艺术顾问。它不仅掌握了技术技能，还学会了人类的审美标准，能够自动判断何种画面更自然、更具吸引力。通过大量用户偏好数据训练，系统能够生成既技术精确又符合人类审美期待的高质量内容。