斯坦福大学JavisDiT++实现AI有声有色视频生成

这项由浙江大学、新加坡国立大学、多伦多大学等全球顶尖科研机构联合完成的研究成果，已正式发表于2026年国际学习表征会议（ICLR 2026），论文预印本编号为arXiv:2602.19163v1。对于希望深入探究技术细节的读者，可通过此编号查阅完整的学术论文。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

在浏览短视频时，你可能已经察觉到一种普遍的“违和感”：当前AI生成的静态图片足以以假乱真，动态视频流畅顺滑，甚至音频合成也相当自然。然而，一旦要求画面与声音协同生成，结果往往不尽如人意——就像观看一部口型对不上的译制片，处处透露着不协调。这个看似基础的“音画同步”挑战，恰恰是当前AI多模态生成领域最核心的难题之一。

可以想象，你是一位电影导演，需要同步指挥摄影师捕捉视觉画面、音响师录制声音，并确保两者在时间上精确对齐。对人类团队而言，这需要反复排练与默契配合。而对AI系统来说，挑战则更为根本：它必须从数据中理解声音与视觉之间那些复杂、动态的因果关系——例如鸟鸣必须对应鸟喙的张合，钢琴键按下必须同步响起特定音符。

目前主流的解决方案，大多采用“分步生成”或“接力赛”模式：要么先生成视频，再根据画面匹配声音；要么先合成音频，再生成对应画面。这种策略如同让两位画家各自完成半幅作品再进行拼接，接缝处难免生硬。更为现实的问题是，即便少数顶尖商业产品（如谷歌的Veo3）已能产出高质量有声视频，其核心技术往往闭源，广大研究者和开发者难以触及与改进。

为此，研究团队开创性地转换了思路。他们开发的Ja visDiT++系统，其核心突破在于让AI从生成过程的“最初时刻”就扮演“总导演”的角色，统一规划并协同生成声音与画面，而非事后进行对齐修补。这相当于从生成逻辑的根源上进行了重构。

更令人瞩目的是其卓越的训练效率。团队仅使用了约100万个公开可得的音视频样本进行训练，便使系统在多项关键性能指标上达到了业界领先水平。用相对有限的“教材”培养出顶尖的“学生”，这本身就证明了其底层方法架构的高效性与优越性。

这项工作的价值，远不止于学术论文上的指标提升。在短视频创作、影视特效预览、游戏内容生成、虚拟现实以及在线教育等领域，高质量、低门槛的AI音视频生成技术有着巨大的市场需求。传统制作流程耗时费力、成本高昂，而Ja visDiT++这类技术，有望彻底革新内容创作的生产方式，让专业级的视听表达变得更为普及和便捷。

秉承开放科学的精神，研究团队已将全部代码、预训练模型及训练数据集在开源社区全面公开。这意味着全球开发者与研究人员都可以在此基础之上自由探索、改进与应用，必将极大地加速整个AI生成领域的技术发展与生态繁荣。

一、破解同步难题的核心秘密

要理解Ja visDiT++的独特之处，首先需洞察问题的本质。要求AI同步生成音视频，好比让一位从未听过交响乐的人去指挥整个乐团，必须确保每位乐手的动作与对应的音符精确匹配。

传统方法通常采用“分工协作”的范式：系统内部设有独立的视频生成模块和音频生成模块，各自完成任务后，再通过复杂的后处理算法进行协调对齐。这就像两家专业外包公司合作项目，沟通成本高昂，最终成果常因配合问题而大打折扣。

Ja visDiT++创新性地提出了一种名为“模态特异性专家混合”的架构设计。通俗地讲，这好比组建了一个高度协同的创意工作室。工作室中央设有一个“公共协作区”，所有成员在此进行充分的信息交流与对齐，确保对项目有统一、深入的理解。但在具体执行时，视频专家会回到自己最擅长的视觉工作站进行深度处理，音频专家则操作顶级的音频设备进行精细合成。如此，既保证了跨模态信息的深度融合，又充分发挥了各模态专家的生成能力。

其精妙之处在于取得了完美的平衡。系统中的“交叉注意力层”充当了那个高效的“公共协作区”，让音视频信息在潜在空间中进行充分交互。而“前馈网络层”则像专业化的工作台，分别为视频和音频数据进行深度优化与特征提取。实验对比表明，这种设计在最终生成质量上显著优于传统的统一处理模型，而在计算效率上，又比完全独立、缺乏交互的双流设计节省了近三分之一的资源开销。对于追求实用化与可部署性的AI系统而言，这种效率提升至关重要。

此外，这种模块化架构天生具备良好的可扩展性。当未来需要处理更长时序、更高分辨率或更复杂语义的内容时，系统无需推倒重来，只需对相应模块进行增强或调整即可。这为技术的持续演进奠定了坚实的基础。

二、时间同步的精确制导系统

在专业的影视工业中，“同步师”负责确保声画严格对齐，毫秒级的误差都会影响观众的沉浸感。对AI生成模型而言，实现精确的时序同步更为复杂，因为它需要在生成过程中内化这种跨模态的时间对应关系。

以往的系统常常依赖外部的“同步判别器”或复杂的“跨模态注意力”机制来进行事后矫正与对齐。这就像为两个独立运行的精密钟表安装一套复杂的齿轮联动系统，不仅结构冗余复杂，还容易产生累积误差，导致生成结果不自然。

Ja visDiT++引入了一项关键技术：“时间对齐旋转位置编码”。其核心思想非常巧妙——为数据片段打上具有“同步意识”的智能时间戳。它不仅标记事件“发生在何时”，还通过一种特殊的数学编码方式，隐式地告知系统“与哪个模态的哪个部分对齐”。

具体实现上，系统将视频帧序列置于一个三维坐标空间（时间、高度、宽度）中进行编码。音频则被转换为梅尔频谱图，并映射到类似的坐标空间。关键创新在于，音频和视频在核心的“时间维度”上共享同一套坐标基准与编码规则，好比让舞者跟随统一的节拍器起舞，自然就能实现同步。

这里还有一个精妙的工程细节：为避免音频和视频的位置编码在模型内部发生混淆或冲突，系统为音频坐标附加了一个固定的、可学习的偏移量。这就像给合唱团中的不同声部成员穿上颜色迥异的服装，他们虽然严格遵循同一旋律与节奏演唱，但指挥能清晰地区分并协调彼此。

实验结果充分验证了该设计的优越性。相比那些需要额外同步模块或复杂对齐损失函数的方法，这种内置的、统一的时间编码方式在显著提升音画同步精度的同时，并未增加模型推理时的计算耗时。对于实际应用和产品化而言，这种“零额外开销”的性能增益无疑是巨大的优势。

三、让AI学会人类偏好的智能导师系统

解决了“能否生成”的基础问题后，下一个核心挑战是“生成得是否优秀”。培养AI生成模型，如同培养一位艺术家，不仅需要传授其技法，更需要塑造其符合人类主观感受的“审美”。

传统的AI训练类似于“题海战术”，主要追求生成结果与训练数据在数学指标上的逼近。然而，人类对视频质量的评判是多维、主观且复杂的。一个所有技术指标都完美的视频，可能看起来“机械”或“不自然”；而某些在参数上略有瑕疵的作品，反而因其生动性而更受青睐。

为此，团队创新性地开发了“音视频直接偏好优化”方法。其核心是让AI通过“对比学习”来领悟人类偏好：系统针对同一文本提示生成多个候选版本，经由一套自动化、多维度的评估体系筛选出“优”与“劣”的样本对，然后引导AI模型学习模仿优秀样本的特征，并远离较差样本的模式。

这套自动化评估体系本身即是一项精妙设计。它巧妙地绕开了昂贵、低效且难以规模化的人工标注，转而聘请了多位“AI评委专家”：一位专注于评估音频的清晰度、自然度与保真度；一位负责评判视频的流畅度、真实感与视觉质量；还有一位专家专门审核声画同步的准确性与内容语义的协调性。综合这三位“评委”的打分，系统便能高效、客观地构建出用于指导模型学习的“优劣对比对”。

优化效果是显著且可衡量的。经过偏好优化训练的系统，不仅在FVD、FAD等客观指标上持续提升，在盲测的人类主观评估中也获得了更高的认可度。实验数据显示，优化后的模型输出，有超过70%的概率被人类评判者认为优于优化前的版本。

值得注意的是，这种基于对比的学习方式还增强了模型的泛化能力与稳定性。它有效避免了传统最大似然训练中容易出现的“模式坍塌”或“死记硬背”式过拟合，让AI掌握了更本质、更鲁棒的生成规律。同时，该方法具有很高的数据效率，只需相对少量的高质量对比样本即可见效，大幅降低了技术应用与迭代的门槛。

四、超越巨头的开源奇迹

AI生成领域长期存在一个困境：最尖端的技术成果往往被科技巨头封装，成为闭源的“技术黑箱”。例如谷歌的Veo3虽然强大，却如同锁在保险柜中的珍宝，外界难以深入研究、复现或改进。这种技术垄断无疑阻碍了更广泛的学术创新与产业生态繁荣。

Ja visDiT++的出现有力地打破了这一局面，且其达成方式堪称“效率奇迹”。研究团队仅使用了约100万个公开可获取的音视频-文本样本进行训练，便使系统在FVD、FAD、同步性等多项核心指标上全面超越了已有的主流开源方案，甚至在部分维度逼近了顶尖商业系统的性能水平。

达成如此高效率的关键，在于一套精心设计的三阶段渐进式训练策略：

第一阶段：音频基础预训练。 系统首先专注于学习高质量音频的生成能力，使用了78万个高质量的音频-文本配对数据，广泛覆盖自然语音、音乐、环境音等多种声音类型。

第二阶段：音视频联合训练。 在掌握音频生成的基础上，系统开始学习声音与画面之间的复杂关联，使用了33万个精心筛选的高质量音视频-文本三元组数据，确保了数据质量与内容多样性的平衡。

第三阶段：人类偏好优化。 使用约2.5万个由自动化评估体系产生的对比样本对，引导系统生成更符合人类主观审美和偏好的内容，提升最终输出的自然度与协调性。

在整个训练过程中，团队还采用了高效的“低秩自适应”技术，仅对模型中的关键参数进行微调，而非更新全部权重，这大幅降低了训练所需的计算资源与时间成本。这好比只对机器的核心精密部件进行校准升级，而非更换整台设备，实现了成本与性能的最优平衡。

在权威的Ja visBench多模态基准测试集上的结果极具说服力：在衡量视频真实度的弗雷谢特视频距离指标上，Ja visDiT++得分141.5，显著优于之前最佳开源方法的194.2（分数越低代表越接近真实视频分布）。衡量音频质量的弗雷谢特音频距离指标也表现更优。尤为关键的是，衡量声画同步偏差的DeSync指标达到了0.832，同步精度获得大幅提升。人类主观评估也显示，其生成结果有超过70%的概率被评判者认为更优。

五、技术细节的精妙平衡

深入剖析Ja visDiT++的模型架构，能深刻感受到一种“简约而强大”的设计哲学。系统基于强大的Wan2.1-1.3B文本到视频基础模型构建，视频处理沿用成熟稳定的VAE编码器进行潜在空间压缩，音频则统一转换为梅尔频谱图，从而能够借鉴图像处理领域丰富而高效的技术方法。

“模态特异性专家混合”模块的具体实现尤为精妙：所有经过编码的音视频标记首先在共享的交叉注意力层中进行充分交互与信息融合（如同高效的集体头脑风暴），随后分别被路由到专属的、参数独立的前馈网络专家中进行深度特征处理（如同各领域的专家各司其职）。消融实验证明，该设计在保持高水准视频生成质量的同时，显著提升了音频的保真度与跨模态的同步效果。

时间对齐位置编码的实现也颇具匠心。视频帧保持标准的三维位置编码，音频频谱则先根据其时间点对齐到对应的视频时间坐标，再在空间维度上加上一个固定的、可学习的偏移量，以防止两种模态的编码在模型中发生冲突。一系列系统的消融研究证实，这种“时间共享、空间交错”的编码策略是实现高精度同步的最优解之一。

偏好优化训练依赖于一个专业的“AI评估委员会”：VideoAlign、AudioBox、ImageBind、SynchFormer等预训练模型分别从视频质量、音频质量、跨模态语义对齐、时间同步精度等多个维度进行自动化打分，综合形成稳定可靠的优化信号。训练框架支持动态批处理，能灵活适应不同时长与分辨率的生成需求。最终，在标准硬件上生成一段数秒的有声视频仅需约1分4秒，展现了明显的效率优势。

六、实验验证与性能突破

任何重大的技术突破都需要经过严格、全面的实验检验。研究团队精心构建了涵盖超1万个多样化、高质量文本提示的Ja visBench综合测试集，对系统进行了从客观指标到主观体验的全方位评估。

数据是最有力的证明：在核心的视频真实度（FVD）、音频质量（FAD）指标上，Ja visDiT++均显著领先于所有参与对比的开源基线方法。在文本-视频、文本-音频的语义匹配度指标上，也取得了更高的分数。这证明系统能够准确理解并忠实地执行复杂的文本描述意图。

声画同步（DeSync）指标的显著提升，直接关乎最终的用户观看体验，让生成内容彻底摆脱了“后期配音”般的违和感，趋向于原生拍摄的协调统一。详尽的消融研究则逐一验证了MS-MoE架构、时间对齐编码、偏好优化等关键组件的必要性与有效性。

人类主观评估的胜利更具说服力：在与前代最佳方法的盲测对比中，Ja visDiT++生成结果的胜率稳定在74%以上。此外，研究也深入探讨了训练数据量与质的关系，最终选用的33万高质量样本集在内容质量与场景多样性之间找到了最佳平衡点，避免了因数据噪声或偏差导致的模型性能下降。

七、开源精神与未来展望

Ja visDiT++的全面开源发布，堪称开源精神对技术壁垒的一次重要胜利。在AI研究日益被巨头资本与封闭生态裹挟的当下，它有力地证明了通过精巧的算法设计、高效的训练策略与开放的社区协作，学术界依然能够产出具有里程碑意义的尖端成果。

全面开源释放了巨大的生态潜力与创新动能。全球的任何开发者、研究者或创意工作者都可以在此基础之上自由探索、改进与应用，这必将催生更快速的技术迭代与更丰富的应用场景。当前系统主要针对2-5秒的短视频生成进行了优化，但其模块化、可扩展的架构已为未来生成长视频、高分辨率乃至更高帧率的内容预留了充分的空间。

未来的想象空间极为广阔：从当前的文本生成音视频，可以自然扩展到根据音频生成对应视频、根据视频生成配套音频，乃至支持图像、文本、音频、视频任意模态混合的条件生成。在教育科普、娱乐内容创作、广告营销、虚拟社交等领域，其降低专业创作门槛、提升内容生产效率的潜力是巨大的。

当然，技术永远是一把双刃剑。研究团队也在论文中坦诚讨论了该技术潜在的滥用风险（如生成深度伪造内容），并积极呼吁学术界与产业界共同建立相应的检测、溯源与治理机制。技术的健康发展，需要创新与责任并行。

回望这项研究，其最大价值或许不仅在于各项技术指标的显著提升，更在于它向每一位普通人递出了一支强大的“创意麦克风”与“视觉画笔”。当生成一段高质量、有声有色的动态视频变得如同撰写一段文字或拍摄一张照片一样简单时，人类表达的形态将被深刻重塑，创意与想象的边界也将被无限拓展。这种技术民主化所带来的深远社会影响，可能远超任何单项的技术突破本身。

Q&A

Q1：Ja visDiT++和现有的AI视频生成工具有什么核心区别？

最根本的区别在于，Ja visDiT++实现了真正意义上的“音画一体同生”。现有大多数工具采用“分步生成、后期合成”的策略，先生成画面或先合成声音，再进行对齐，难以保证原生级的同步性与协调性。Ja visDiT++则从生成过程的初始阶段，就将声音与画面视为一个整体进行统一建模与协同生成，如同一位导演在构思之初就同步规划视听语言，从而确保了最终作品在时序和语义上的高度统一与自然。

Q2：普通人或创作者可以使用Ja visDiT++来制作视频吗？

完全可以，这正是其开源价值的核心体现之一。目前，所有模型代码、预训练权重及必要工具均已公开在GitHub等平台，具备一定技术背景的开发者可以直接部署使用或进行二次开发。随着开源社区的持续建设和工具链的完善，预计未来会出现封装更完善、用户界面更友好的应用程序或在线平台，使得没有编程背景的普通创作者也能轻松驾驭这项技术，快速制作出专业级的视听内容。

Q3：Ja visDiT++生成的视频质量能达到什么水平？

根据论文中严格的定量与定性评估，其在视频真实度、音频质量、音画同步性等多项客观指标上均已超越现有的主流开源方案。在双盲的人类主观评测中，其生成结果有超过70%的几率被评判者认为更优、更自然。目前模型主要针对短时长（数秒）、中等分辨率的视频生成进行了优化，其产出在画质清晰度、音质保真度以及声画同步协调度上均已达到很高的实用水准。该领域技术仍在快速演进，未来的生成质量与时长限制有望持续突破。