苹果联合人大发布VSSFlow模型：无声视频AI生成音效与配音

2月10日消息，科技媒体9to5Mac近日发布文章，透露苹果公司已联合中国人大团队，成功推出了名为VSSFlow的新型AI模型。这项技术突破了传统音频生成的局限，能够在单一框架下，从无声视频中同时合成出逼真的环境音效与清晰的人声语音。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

该模型的核心在于其“化静为动”的能力，可对无声视频数据进行端到端处理。基于统一的架构，系统能同步生成与画面高度契合的环境声场，同时输出精准自然的语音对白。这一成果不仅解决了过往音频模型功能单一的问题，其生成质量更是达到了业界领先水平。

根据博文介绍，在VSSFlow问世之前，业内模型往往存在明显的功能偏向：专攻视频转语音的模型难以输出清晰人声，而基于文本的语音合成模型又无法有效处理复杂的环境噪音。

传统的解决方案通常需要将两项任务分阶段进行训练，这不仅增加了系统复杂度，还常因任务冲突而导致性能下降。VSSFlow则另辟蹊径，采用了10层的架构设计，并引入“流匹配”技术，让模型能够自主学习如何从随机噪声中，精准重构出目标语音信号。

研究团队在训练过程中发现了一个惊喜的现象：联合训练不仅没有引发任务干扰，反而产生了“互助效应”。具体来说，语音数据的训练提升了音效生成的质量，而音效数据的加入也优化了语音的最终表现。

为了实现这一效果，团队向模型输入了混合数据，其中包含带有环境音的视频、配有字幕的讲话视频，以及纯文本转语音数据。通过利用合成样本微调模型，使其学会了如何同时输出背景音与人声。

在实际运行中，VSSFlow以每秒10帧的频率从视频中提取视觉线索，从而塑造出匹配的环境音效，同时依据文本脚本精准引导语音生成。

测试数据显示，该模型在多项关键指标上均优于那些专为单一任务设计的竞品模型。目前，研究团队已在GitHub上开源了VSSFlow的相关代码，并正在推进模型权重公开以及在线推理演示的开发工作。