浙江大学发布UniVBench：首个统一视频基础模型评测基准

这项由浙江大学、字节跳动和浙江实验室联合开展的研究发表于2026年2月25日的arXiv预印本平台，论文编号为arXiv:2602.21835v1。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

人工智能领域正经历一场深刻的变革，而视频理解与生成技术无疑是这场变革中最引人注目的前沿。想象一下，未来的AI助手不仅能看懂一部电影的情节和情感，还能根据你的想法创作出一段全新的短片——这听起来像是科幻，但正是当前技术努力的方向。然而，要准确衡量一个AI系统是否真的具备了这样的“全能”素质，我们首先得解决一个根本问题：如何公平、全面地给它“打分”？

长久以来，这个领域缺乏一套统一的“考卷”。现有的评测方法，好比让一位应聘者分别参加互不相干的技能测试：周一考编程，周二考设计，周三考演讲，每场考试的标准和题目来源都不同。更棘手的是，许多考题（即评测用的视频数据）很可能早已在AI训练阶段被“预习”过，导致评测结果无法反映其真实、泛化的能力。这种分散且可能存在“泄题”的评测体系，严重阻碍了技术的健康发展与客观比较。

一、打破壁垒：重新定义视频AI的能力边界

浙江大学的研究团队精准地指出了现有评测体系的三大局限：任务割裂、数据污染以及维度不全。为此，他们推出了UniVBench，一个旨在重新定义游戏规则的统一视频基础模型评测基准。

它的核心创新在于，首次将视频AI的六大核心任务置于同一套评价体系下进行考察：

• 视频理解：让AI“看懂”视频。
• 文本生成视频：根据文字描述创作视频。
• 参考图像生成视频：基于一张图片生成动态视频。
• 文本指令视频编辑：用文字指令修改现有视频。
• 参考图像视频编辑：用参考图像来引导视频编辑。
• 视频重构：先理解一段视频，再根据自己的理解重新生成它。

其中，视频重构任务堪称“终极试炼”。它要求模型完成“观看-理解-描述-再生”的完整闭环，最能综合检验其理解与生成能力的协同水平。研究团队为这套体系设定了八个主维度和二十一个子维度，从画面风格、主体对象、动作，到背景、镜头运动、光影色彩，构建了一套极其细致的评分标准。

二、纯净的赛场：构建无污染的原创评测集

一套好的标准，需要配上一套绝无“泄题”嫌疑的考题。UniVBench的另一个关键突破，在于其评测数据集的构建方式。

团队摒弃了直接从网络抓取视频的做法，转而采用了一套严谨的原创内容生产流程：

1. 专业脚本创作：由15位具备视频制作背景的专业人员，根据预设的评测维度，精心编写视频脚本。
2. 高质量视频生成：使用顶尖的商业视频生成工具（如海螺、快影、Veo3等）将脚本转化为视频。
3. 三重质量审核：每个视频都必须通过自动化预筛、专家组评审和质量专员终检三道关卡，平均每个合格视频需经过2.3次生成尝试。

最终形成的评测集包含200个高质量视频（100个单镜头，100个多镜头），并配有详尽的文本描述、编辑指令和864张涵盖多种主体与风格的参考图像。这套完全原创、版权清晰的数据，为公平评测打下了坚实基础。

三、智能考官：可解释的精细化评测系统

有了好考题，还需要一位明察秋毫的“考官”。研究团队开发了智能评测系统UniV-Eval，它不同于只给出一个模糊总分的传统方法。

UniV-Eval的工作方式更像一位经验丰富的教练进行赛后复盘：

1. 任务规划与分解：对于多镜头视频，系统会自动识别镜头切换点，将复杂任务分解。
2. 镜头级精细化分析：对每个镜头，从主体、动作、背景、色彩、光照、风格等9大类21个细分维度进行打分。
3. 生成可解释报告：输出结果不是冷冰冰的数字，而是一份详细的“诊断书”，明确指出模型在哪些具体方面做得好，哪里存在不足。

为了验证这位“智能考官”的可靠性，团队进行了大规模人工比对，其判断与人类专家的一致性达到了85%。

四、能力画像：当前主流模型的真实水平

当这套新基准应用于当前主流模型时，一幅清晰且不乏意外的技术能力全景图展现出来。

在视频理解任务上，Gemini 2.5 Pro以54.1%的平均得分领先，而一些统一模型（如Showo-2）在此项上得分仅16.3%，反映出理解能力仍是许多“全能型”模型的短板。

在视频生成任务上，Seedance-1.0-Pro以77.9%的得分表现最佳。但一个普遍存在的现象是：所有模型在动作维度上的得分都显著偏低，远不如它们在色彩、光照等静态属性上的表现。这说明处理复杂的时序动态信息，是目前AI面临的共同挑战。

在综合能力的试金石——视频重构任务上，即使表现最好的Wan2.1-VACE-14B模型，得分也仅为62.7%。分析发现，重构视频与原始视频的不一致性最为明显，这揭示了从“理解”到“生成”的信息传递过程中存在显著损耗。

五、挑战透视：技术瓶颈的具体案例

基准测试不仅给出了分数，更通过具体案例揭示了深层次的技术瓶颈。

在一个案例中，原始视频内容是“两只动物走向镜头并挥手”。在文本生成视频任务中，模型尚能依据明确指令生成合理结果。但到了重构任务，几乎所有模型都无法准确捕捉并复现“走向并挥手”这一连贯动作序列。

另一个案例更微妙：一只猫走进一个恐龙造型的宠物窝，恐龙的嘴会在猫进入时张开。这个简单的因果交互逻辑，难倒了大多数模型，生成的视频普遍缺失了这一关键细节。

此外，在涉及多镜头的任务中，模型难以保持跨镜头的一致性，例如同一个人物在不同镜头中形象发生改变。这些问题共同指向了当前AI在理解复杂时空关系、保持长时序一致性方面的巨大挑战。

六、未来路标：对AI视频发展的深远意义

UniVBench的发布，其意义远超一个评测工具本身。它首次为统一视频基础模型的研究提供了标准化的“度量衡”，使得不同模型之间的公平比较与针对性改进成为可能。

对于研究者而言，它像一张清晰的“体检报告”，指明了模型在具体维度上的强弱项。对于产业界，它则提供了一个可靠的质量评估框架，有助于推动技术走向更成熟、更实用的商业化阶段。

当然，这项工作也存在其局限性。200个视频的评测集规模对于全面训练下一代大模型而言还远远不够。研究团队也展望了未来，计划大幅扩展数据集，并考虑引入实用性、创意性乃至伦理性的评估维度。

总而言之，UniVBench的出现，标志着视频AI评测进入了一个追求统一、精细与公正的新阶段。它不仅为我们厘清了当前技术的真实水平，更重要的是，为通往那个既能深刻理解又能自由创造的视频AI未来，树立了清晰的路标。

对技术细节感兴趣的读者，可通过论文编号arXiv:2602.21835v1查阅全文，相关代码与数据均已开源。

Q&A

Q1：UniVBench与现有视频评测基准有什么不同？

A： 根本区别在于“统一性”与“纯净性”。它是首个能同时评估理解、生成、编辑、重构六大任务的综合基准。此外，其评测数据完全由团队原创生成，彻底避免了使用网络数据带来的“数据污染”问题，确保了评测的公正与准确。

Q2：视频重构任务为什么这么重要？

A： 该任务模拟了人类“观看-记忆-复述-重现”的完整认知闭环，是对AI理解与生成能力协同水平的终极检验。目前最佳模型在此任务上仅62.7%的得分，直观暴露了从理解到生成的信息损耗这一核心难题。

Q3：普通用户如何利用UniVBench的研究成果？

A： 虽然它是专业研究工具，但其结论为用户选择AI视频工具提供了客观参考。例如，若需求侧重视频内容分析（如自动摘要、标签生成），可关注在“理解任务”上得分高的模型；若侧重视频创作，则应参考“生成任务”的表现。测试中揭示的“动作生成弱”、“多镜头一致性差”等普遍问题，也有助于用户设定合理的技术预期。