港科大新研究：跨模态AI翻译官同时理解视频和声音

这项由香港科技大学研究团队完成的重要成果，以预印本形式正式公布于2026年6月29日，论文编号为arXiv:2606.30811v1，研究方向属于计算机视觉与多模态学习领域。感兴趣的读者可以通过该编号在arXiv学术平台查阅完整论文，深入了解技术细节。

让我们先设想一个场景：观看一段无声视频时，总觉得缺少了某种临场感；或者，在聆听一段录音时，脑海中便会不自觉地浮现匹配的画面。人类大脑天生具备将声音与画面联合处理的能力。当一名儿童拍手时，我们同时感知到手掌碰撞的声音与手掌合拢的视觉动作——这两者在人脑中形成一个完整的感知单元，而非两条彼此独立的信息流。

然而，当AI试图生成“有声视频”时，却面临一个根本性障碍：它同时启用了两位“翻译官”——一位只精通图像语言，另一位只理解声音语言——二者各说各话，导致生成的内容经常出现音画不同步。例如，枪声响起时人物尚未开枪；音乐节拍与舞蹈动作错位；说话的嘴型与语音显得极不协调。这一问题被研究者称为“表示差距”（Representation Gap），是长期悬而未决的核心技术瓶颈。

香港科技大学的研究团队决定彻底重新审视这一难题。其思路非常清晰：与其训练两位语言互不相通的翻译官，不如培养一位同时精通两种语言的“双语翻译”，使视频与音频从一开始便共享同一套统一的编码语言。基于这一构想，他们提出了名为A VTok的全新统一音视频分词器——这也是该领域首次有人系统性地挑战并解决这一关键问题。

一、为何现有方法总是“左右手”难以协调

要理解A VTok的价值，首先需要了解当前AI视频生成系统的工作机制。现有的主流方案大多采用“双分支架构”设计。顾名思义，这套系统就像一家工厂拥有两条完全独立的流水线：一条处理视频画面，另一条处理音频声音。每条流水线各自使用一个预训练的分词器（Tokenizer，可理解为将原始内容压缩为简洁数字编码的工具），将对应的媒体内容压缩成一串数字代码，随后由各自的生成模块分别产出新的画面与声音。

问题在于，这两个代码系统从未在同一个“语言环境”下学习过。好比一个人从小只学英语，另一个人只学中文，双方的语言习惯与思维方式截然不同，沟通时难免产生误解。两个分词器学到的“音频语言”与“视频语言”之间存在天然鸿沟，后续的生成模型即便尝试让音画匹配，也很难跨越这道障碍。

研究团队对现有系统进行了一项可视化实验，运用t-SNE降维技术将视频与音频各自编码后的特征投射到同一二维平面上。结果非常直观：视频的特征点与音频的特征点犹如两群互不相识的人在广场上各自聚集，中间留有大片空白区域，几乎无混合或交叠——这表明两套系统确实处于两个互不连通的世界。而在展示A VTok结果的右侧图中，同一类别的视频与音频特征开始彼此靠近、交融，例如代表“狗叫声”的点与代表“狗的视频”的点聚集在一起。这种融合，正是实现音画同步生成的基础。

二、将视频与音频纳入同一本“词典”：核心思路的来龙去脉

研究团队面临的首要选择是：应采用何种统一的格式来表示视频与音频？这个问题看似简单，实则颇具挑战，因为两种媒体天生的“体型”截然不同。

视频是三维的——它具备宽度、高度和时间三个维度，如同一叠照片层层堆叠。多数视频分词器为忠实呈现视频的空间结构，会生成一种三维的代码块，存储大量空间位置信息。

音频则是一维的——它本质上是一条随时间变化的声波，就像一根绳子随时间的起伏波动。专门处理音频的编解码器（神经音频编码器）天然地将音频压缩成一维的时间序列代码。也有部分方法先将音频转换为“梅尔频谱图”（Mel-spectrogram，一种将声音频率与时间信息可视化呈现的二维图像），再作为图像进行处理。

两种格式的“形状”差异（三维 vs 一维或二维），为统一表示带来了天然障碍。关键的突破点源于近年视觉领域的一项新进展：一些研究者（尤其是LARP等工作）证明，视频同样可以被压缩成一维的离散代码序列，而且这种一维表示对于采用自回归方式（Autoregressive，简单而言，即像写文章一样逐字逐词按顺序生成内容）生成视频十分友好——因为自回归模型天然擅长处理一维序列数据，正如擅长阅读理解一般。

音频编码器原本就是一维的，如今视频也可实现一维化——两者在格式上终于可以无缝对接！A VTok团队敏锐地把握住了这一机遇，选定一维离散潜在表示（即一串离散数字代码）作为统一表示视频与音频的格式，由此建立起统一的“词典”。

三、双流变压器：一套共用的大脑，两套专属的“方言字典”

在确定目标格式后，下一个关键问题是：如何设计具体的网络结构来实现这种统一编码？

研究团队的整体架构灵感源自专门处理音视频预训练任务的两项工作（CA V-MAE与CA V-MAE Sync），但在此基础上进行了根本性改造。A VTok的编解码器（Encoder与Decoder）采用了标准Transformer（变换器，现代AI的核心组件，擅长处理序列数据并挖掘其中关联）架构。

最关键的设计思路可以用一个比喻来理解：将A VTok的编解码器想象为一套同时服务中文与英文读者的图书馆系统。图书馆的主体建筑、书架结构、管理系统均为共享（对应共享的编解码器参数），但每种语言都拥有专属的分类索引与检索方式（对应各个模态专属的可学习查询向量与归一化层）。

具体而言，视频画面首先被切分成一块块“视觉小补丁”（patches），音频的梅尔频谱图同样被切分成“音频小补丁”。两套补丁分别进入A VTok的编码器，但遵循两条独立的前向传播路径（dual-stream forward pass，双流前向传播），每次仅处理一种模态。处理视频时，编码器调用视频专属的归一化层参数；处理音频时，则调用音频专属的归一化层参数。除这两组专属的归一化层与可学习查询向量外，编解码器的其余所有参数（包括自注意力层、前馈网络等绝大部分参数）均由两个流共享。

这种设计带来了两大优势。第一，共享参数使两种模态的信息在训练过程中通过参数更新实现隐性的“对话”——音频的学习会对视频的参数产生影响，反之亦然，从而无需显式交叉注意力即可促进音视频对齐。第二，模态专属的查询向量与归一化层确保了每个模态的独特特征不会被另一模态淹没，如同那本专属的分类索引能让您在共用图书馆中精确找到自己语言的书籍。

编码结束后，视频产生1024个整体性离散代码（holistic tokens），音频产生128个整体性离散代码，合计1152个代码。所有这些代码共享一个统一的代码本（codebook），即所有“词汇”均来自同一本词典——这是实现表示统一的物理基础。

解码阶段同样对称：视频流使用1024个可学习的“补丁查询向量”来重建原始视频帧，音频流使用120个可学习的补丁查询向量来重建梅尔频谱图，最后梅尔频谱图通过一个预训练好的声码器（vocoder，一种将频谱图还原为实际音频波形的工具，A VTok默认使用HiFi-GAN）还原为真实可听的声音。

研究团队还测试了一个更简洁的“单流版本”（vanilla version），即直接将视频与音频补丁拼接在一起，用一套统一的查询向量处理。实验结果表明，这一简单方案的性能明显逊于双流版本，尤其在音频重建质量上差距显著——原因正是缺乏模态专属的组件来保护每个模态的独立特征。

四、“先练左手再练右手”：解决训练难题的分层策略

拥有良好的架构还远远不够，训练一个能够同时处理两种模态的模型本身便充满挑战。

研究团队很快发现了一个核心问题：视频与音频携带的信息量差异悬殊。一段16帧、128×128分辨率的视频所含像素信息量，远大于对应时长的音频频谱图。这种“信息密度不平衡”会使模型在训练过程中不自觉地投入绝大部分精力处理视频，音频的学习因此受到压制——好比班级中一位特别积极举手回答问题的学生，无形中压制了其他学生的发言机会。

为此，研究团队设计了一整套名为VFAL（Video-First-Audio-Later，视频优先、音频靠后）的三阶段分层训练策略。

第一阶段持续75个训练轮次（epoch），专注于视频流的训练。此时音频相关的专属组件处于休眠状态，模型全力学习如何将视频压缩成一维代码并重建回来，同时建立稳固的离散潜在表示空间。

待视频流的重建能力趋于稳定后，进入第二阶段，持续35个训练轮次。此时视频流与共享参数被冻结，模型仅更新音频专属的查询向量与归一化层。由于梅尔频谱图可被视为一张灰度图像，已掌握图像处理能力的共享编解码器天然能够用于处理音频频谱——就像一位精通钢琴的人学习电子琴时会更快上手的道理一样。共享参数作为已稳定的“底层能力”，助力音频流快速起步。

第三阶段仅持续10个训练轮次，对解码器的两个流同时进行微调，实现音视频联合重建的最终优化，精细打磨各自的输出质量。

这种分阶段策略确保了每个模态都能在合适的阶段获得充分的“训练注意力”，避免了两条流相互干扰、两败俱伤的局面。

五、请“特级教练”来助力：表示对齐学习

即使拥有了双流架构与分阶段训练，研究团队仍发现另一隐患：两个流之间的隐性融合（通过共享参数）尚不够主动，导致模型未能充分挖掘视频与音频之间的语义对应关系来提升重建质量。换句话说，图书馆中的中文书与英文书虽使用同一套管理系统，但缺少专门维护的一本“中英对照词典”。

解决方案是引入一位外部的“特级教练”——一个预训练好的音视频基础模型CA V-MAE Sync（对比音视频掩码自编码器同步版）作为对齐监督信号来源。这个基础模型在海量的音视频数据上训练，已学会识别“拍手的画面”与“拍手的声音”在语义上属于同一件事。

在训练A VTok时，研究团队将这一基础模型的中间层输出作为“标准答案”，强制要求A VTok编码器提取出的视频补丁特征与音频补丁特征，能够与基础模型提取的对应特征保持一致（通过一个小型多层感知机投影层hφ进行适配）。这一额外的训练目标被称为表示对齐损失Lrep，其计算方式是最大化A VTok提取特征与基础模型特征之间的相似度。

在训练过程中，基础模型本身是冻结的（不更新参数），仅有那个小型投影层与A VTok自身在学习。基础模型在推断（实际使用）阶段会被丢弃，不会增加实际使用时的计算负担。消融实验（即逐一移除某个组件以评估其贡献的对比实验）显示，去掉这一对齐损失后，音频重建质量的rFAD指标（越低越好）从5.93上升至8.48，视频的rFVD也略有下降——证明这位“特级教练”确实发挥了实质性作用。

六、让AI学会“顺序生成”：自回归先验模型

完成统一编码之后，A VTok还面临最后一个工程问题：那1152个离散代码的排列顺序较为随意，缺乏前后逻辑。这对于依赖“自回归方式”（逐步按顺序预测下一个代码）工作的生成模型而言是个麻烦，因为自回归模型依赖于代码之间的有序关系进行预测，正如写文章需依赖上下文。

为此，A VTok在训练时引入了一个轻量级的自回归先验模型MP（基于GPT-2架构）。这个先验模型在训练时与A VTok一起优化，通过“下一个代码预测”目标（Next Token Prediction，NTP）来倒逼编码器产生具有良好顺序结构的代码序列——就像给一堆随机摆放的乐高积木施加了一个“先从地基开始搭建”的约束，最终整体结构会变得有章可循。

有趣的是，为同时支持音频到视频（先提供声音代码，再预测视频代码）与视频到音频（反向）两个方向的生成，研究团队在训练时简单地采用两种代码顺序——视频代码在前加音频代码在后（xv∥xa），以及音频代码在前加视频代码在后（xa∥xv）——来同时计算这一预测损失。消融实验结果颇为反直觉：去掉这个先验模型后，重建质量反而是所有配置中最优的（rFVD降至10.63，rFAD降至3.47），但下游生成任务的质量却最为逊色。这与此前LARP的发现一致，表明先验模型在训练中扮演的是“引导代码空间有序化”的角色——牺牲了一点重建精度，换来了对生成任务更为友好的代码结构。

七、训练结束后，先验模型悄然退场

值得一提的是整个系统的一个精妙设计：CA V-MAE Sync基础模型与自回归先验模型MP在实际推断时均会被彻底移除。它们仅在训练阶段发挥引导作用——最终用户调用的A VTok仅包含编解码器与代码本，既轻量又高效，不会因引入额外监督信号而增加使用时的计算成本。

八、三种下游任务：一套代码走天下

A VTok的1152个统一代码不仅用于重建，还可直接接入自回归生成模型，完成三类不同的生成任务。

第一类是音频到视频生成（A2V）：将音频编码得到的128个代码作为条件输入，让一个Llama风格的自回归变换器逐步预测出1024个视频代码，再通过A VTok解码器还原成视频帧。两种模态之间的代码序列使用一个特殊分隔符[SEP]标记隔开。

第二类是视频到音频生成（V2A）：反过来，将视频的1024个代码作为条件，让模型预测128个音频代码，再经过声码器还原成声音。

第三类是类别条件联合音视频生成（cJAVG）：在序列最前端放置一个类别标签代码[CLS]（例如“狗叫”或“篝火噼啪声”），模型同时生成视频与音频的代码——这是最接近从零开始创造有声视频的任务形式。

这三种任务共用同一个208.4M参数的A VTok分词器与632M参数左右的AR生成模型，无需为每个任务单独训练分词器——这正是统一表示的核心价值所在。

九、实验结果：数字背后的故事

研究团队在VGGSound（约20万条带声音的视频，覆盖310个类别）与TA VGBench（约170万条样本）两个数据集上进行了实验，训练分词器时合计使用了约64万条数据，训练生成模型时使用了约18万条数据。

在重建质量方面，A VTok与视频领域的最强单模态对手LARP（使用1024个代码、128×128分辨率）对比时，A VTok的PSNR（图像保真度，越高越好）从24.53提升至25.62，rFVD（视频重建质量，越低越好）从14.24降低至12.80，LPIPS（感知质量，越低越好）从0.137降至0.126。这意味着A VTok在同时处理两种模态的前提下，视频重建质量不仅未下降，反而超越了专门处理视频的对手——研究团队将此归因于音频信息的辅助提供了额外的语义约束，帮助视频重建“思考得更清晰”。

在音频重建方面，A VTok与三个代表性的专用音频编解码器对比，在rFAD指标上以5.93的成绩明显优于Wa vTokenizer（6.82）与UniCodec（6.73），稍逊于SpectralCodec（5.56），在MR-STFT指标上也处于具有竞争力的位置（1.523对比SpectralCodec的1.514与UniCodec的1.508）。考虑到A VTok是一个同时承担视频与音频编码的统一模型，这一成绩相当扎实。

在下游生成任务中，A VTok-A2V（音频到视频生成）的gFVD为150.26，比采用10亿参数扩散模型的TempoTokens（786.61）大幅降低，IB-Score（语义对齐分数，越高越好）也从0.132提升至0.143，同时参数量仅为后者的三分之一左右。A VTok-V2A（视频到音频）的gFAD为49.47，处于所有对比方法的第二位，仅次于MMAudio（17.09），但A VTok所用生成模型的参数量不到MMAudio的一半，且推断效率更高（单样本生成耗时1.395秒，对比MMAudio的1.304秒，几乎持平）。在联合生成任务中，A VTok-cJAVG以138.80的gFVD与56.58的gFAD大幅超越Ja visDiT（1040.28 gFVD、268.51 gFAD）与Ovi（972.65 gFVD、129.02 gFAD），同时IB-Score为0.206，同样优于两者——而且生成单个样本的耗时仅为12.755秒，而Ovi需要87.282秒，Ja visDiT需要32.240秒。

在效率方面，A VTok的生成管线所需的TFLOPs（浮点运算量）为3.48（联合生成）至1.82（单向生成），而Ja visDiT需要2600，Ovi需要14990——差距达到数百乃至数千倍。

十、哪些方面还可以做得更好

研究团队在论文中坦诚列出了现有工作的几个局限性。

目前训练所使用的数据规模相对有限（64万条），场景也受限于VGGSound与TA VGBench的内容分布（主要为动物、乐器、日常生活场景），面对更复杂或更多样化的场景时，可能会产生生成瑕疵。

模型目前只能处理固定分辨率（128×128）的视频与固定时长（约4秒）的音频——这是Transformer位置编码的固有限制，工业级应用通常需要更高分辨率与更长时长的支持。

在时间同步方面，现有架构对音视频之间的精确时间对齐依赖于隐性的参数共享与因果自注意力机制，未设计明确的同步建模组件，因此在涉及对口型、音乐节拍配舞等需要高精度时间对齐的任务中，仍有提升空间。

此外，VFAL分阶段训练策略虽行之有效，但操作较为繁琐——每个阶段的超参数需单独调整，且阶段间的误差可能累积。未来若能设计出单阶段端到端的训练方案，将进一步降低使用门槛，尽管这会带来更高的优化难度与计算成本。

说到底，A VTok所做的工作其实并不神秘：它试图让AI学会像人类一样，将视频与声音视为一个整体来理解与生成，而非分别处理两段孤立的信息再强行拼接。这件事听起来自然而然，实践起来却需要一套精心设计的架构与训练策略——双流共享编解码器、模态专属查询向量、三阶段分层训练，再加上音视频基础模型的语义对齐监督。

对于普通用户而言，A VTok这类技术成熟后，意味着AI生成“配套声音的视频”或“配套视频的声音”的成本将大幅下降，且生成内容在语义上更能实现“对得准”——不再是画面说一套、声音说另一套的奇怪体验。从影视辅助创作、游戏音效自动生成到社交媒体内容制作，这类技术的商业化潜力相当广阔。

对于研究者来说，A VTok提供了一个重要的参考方向：统一的多模态离散表示，搭配设计良好的分流架构与分阶段训练，可能是在资源有限条件下挑战大参数双分支方案的一条有力替代路径。

如果您对这项工作的完整技术细节感兴趣——包括每一个损失函数的具体权重、每阶段训练的精确设置以及更多的可视化样本——均可通过arXiv编号2606.30811查阅原始论文，研究团队也承诺会公开代码、模型检查点与数据集。

Q&A

Q1：A VTok与普通的视频生成AI有什么本质区别？
A：普通的音视频生成AI通常使用两套独立系统分别处理视频与音频，两者“语言”不通，容易导致声画不匹配。A VTok则通过一套共用的编解码器将视频与音频同时压缩进同一组数字代码，使其从一开始便处于同一个“语言环境”中学习，生成时自然更容易实现语义对齐。

Q2：A VTok的1152个代码中，视频与音频各占多少？
A：A VTok将视频编码为1024个整体性离散代码，将音频编码为128个整体性离散代码，合计1152个代码，全部来自同一个共享的代码本（词典）。视频代码数量远多于音频代码，这也反映了两种模态信息密度的差异。

Q3：VFAL训练策略为何要先训练视频再训练音频？
A：因为视频的信息密度远高于音频，如果同时训练，模型会把绝大部分“注意力”都放在视频上，从而压制音频的学习。先单独训练视频流，让共享参数稳固下来，再冻结这些参数、专门训练音频专属组件——就像先打好地基再进行装修，能够确保两种模态都得到充分的训练机会。