北大与UCSD团队提出VideoOrion：Object tokens解锁视频理解新维度

在视频理解领域，北京大学与加州大学圣地亚哥分校的联合团队近日推出了一项突破性框架——VideoOrion，相关论文以优异成绩获国际计算机视觉顶会ICCV 2025接收。这项研究针对现有Video-LLM模型因依赖下采样或特征聚合所导致的细节丢失、语义混淆等痛点，创新性地将视频中前景物体的时空动态显式编码为"对象令牌"，并与背景上下文令牌并行输入大语言模型，构建出兼具高效性与可解释性的新一代视频理解系统。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新！ 👉 点此立即查看 👈

传统方法通常将视频帧分割为空间网格或聚合特征生成令牌，但这种方式容易模糊不同物体的语义边界。VideoOrion的独到之处在于，它将视频中每个对象及其跨帧演化视为独立语义单元，通过"检测-分割-跟踪"三级流水线精准提取对象动态轨迹。具体而言，系统首先采用通用检测模型GroundingDINO在关键帧生成候选框，再通过分割模型SAM细化对象掩码，最终由跨帧追踪器XMem生成随时间变化的掩码序列。这些掩码经过特征池化与投影处理，最终形成语义解耦的对象令牌，每个令牌对应一个独立物体的完整动态信息。

在该框架的双分支编码架构中，上下文令牌分支采用CLIP或SigLIP模型对采样帧进行编码，生成承载场景全局信息的上下文令牌；对象令牌分支则通过前述流水线提取对象级动态特征。两类令牌被并行输入大语言模型进行融合推理，使模型既能把握整体场景语境，又能聚焦关键对象的细节变化。例如在描述"红色三轮滑板车"时，模型不仅能准确识别其颜色与类型，还能解析"拖地组件"等精细部件；在分析运动场景时，可精准分解"黑色泳装跳板后空翻"中的动作要素。

实验数据显示，VideoOrion在MVBench、EgoSchema、Perception-Test等五大基准测试中全面超越同规模模型。以7B参数版本为例，其在MVBench上的准确率达63.5%，较VideoLLaMA2提升10.1个百分点；在EgoSchema上的得分为65.1分，提升幅度达14.6%。特别是在视频指代任务中，该框架展现出独特优势：通过在提示模板中填入目标对象对应的令牌，即可直接回答"这个物体在做什么"等指向性问题。在VideoRef45K数据集上，经少量微调后，其BLEU@4、METEOR等指标均显著优于Artemis、Merlin等现有方法。

研究团队通过消融实验验证了设计合理性：移除对象分支会导致性能全面下滑；预训练对象分支可提升模型表现，说明对象令牌需要先学习基础语义再与文本对齐；令牌数量控制在64个时模型最稳定，过多会分散注意力。流水线组件替换实验表明，RAM++自适应分段策略与XMem追踪器的组合效果最佳，较均匀分段或SAM2跟踪均有明显优势。

尽管VideoOrion在性能上取得突破，但研究也指出其局限性：专用视觉模型的引入带来约38.5%的时延开销；低质量视频可能导致掩码不准确；当前仍依赖视频分支提供上下文，对象-场景融合机制尚需优化。该框架通过结构化重写视频语义，为视频问答、机器人感知等任务提供了新范式，其双视角编码思路或将推动多模态领域向更精细化方向发展。