流式视频大模型何时开口？证据与场景图解析

多模态大模型与流式视频理解技术的融合，正深刻改变人机交互的范式。传统单向指令模式逐渐演进为更自然、高效的主动协作，AI不再是被动工具，而是能实时感知环境、主动判断时机的智能体。这种转变的核心，在于让模型学会像人类一样“边看边想”，在证据充分时果断回应，在信息不足时保持沉默。

要实现这种能力，视频大模型必须从“离线分析”转向“在线流式理解”，在动态视频流中实时判断响应时机。这不仅是技术挑战，更是实现自然交互的关键。近期，西北工业大学、香港科技大学与清华大学的研究团队在ACL 2026上提出了创新解决方案：基于证据-条件结构化对齐的流式视频理解主动交互框架（Response-G1），通过显式场景图建模，让模型“何时开口”变得可解释、可控制。

• 论文标题：Response-G1: Explicit Scene Graph Modeling for Proactive Streaming Video Understanding
• 论文链接：https://arxiv.org/abs/2605.07575
• 代码仓库：https://github.com/kadmkbl/Response-G1

流式视频理解的瓶颈：隐式表征难以把握响应时机

在流式视频问答场景中，模型的核心决策在于判断当前累积的视觉证据是否满足用户问题的隐含条件。传统方法依赖隐式表征或简单规则，常导致误判：画面变化未必意味语义条件满足，而相似帧面可能对应截然不同的响应需求。这限制了模型在主动交互中的可靠性与泛化能力。

Response-G1的突破在于将响应条件显式化为结构化场景图，将“是否响应”转化为可逐项核对的图对齐问题，从而提升决策的可解释性与准确性。

Response-G1 框架详解：用场景图对齐实现可解释决策

Response-G1框架包含三个核心模块，均在无需微调骨干模型的前提下，通过推理增强实现流式主动交互：

• 查询引导的场景图生成：针对流式视频片段，模型动态生成以物体、属性、关系构成的三元组场景图。通过注入用户查询进行引导，聚焦生成与问题相关的子结构，实现证据的针对性建模。
• 动态场景图检索与对齐：框架维护随时间增长的场景图记忆库。通过将历史场景图与解析用户查询得到的“条件图”进行语义相似度匹配，检索出最相关的Top-K证据子图，完成细粒度证据-条件对齐。
• 检索增强的流式触发与回答：在每个决策时刻，模型综合视频帧、带时间戳的检索场景图编码及触发指令，判断应“静默”或“响应”。若响应，则在相同上下文中生成最终答案。

该方法将黑箱决策过程转化为可追溯的图结构比对，显著提升了流式视频理解中时机判断的透明度与可靠性。

实验效果：主动交互性能显著提升，被动任务同步受益

研究在OVO-Bench与StreamingBench基准上进行了全面评估。以Qwen3-VL-8B为骨干模型，Response-G1在主动流式视频问答任务中表现突出：在OVO-Bench上提升12.8%，在StreamingBench的PO任务上提升15.1%。即使在被动设定任务中，该方法也带来了稳定增益，证明结构化场景图不仅优化了“何时说”，也改善了“说什么”的准确性。

消融分析与案例：揭示关键设计有效性

消融实验验证了核心设计的价值：场景图检索增强能同步提升主动与被动任务性能；为场景图编码加入时间戳信息可进一步强化证据理解；在证据生成阶段，“查询引导”策略相比“目标引导”能有效避免虚假三元组生成，防止过早响应。

案例可视化展示了Response-G1在复杂流式场景中的优势：面对“穿红色T恤的男孩离开后做了什么”的查询，模型能在证据完备的精确时刻（如时间戳18:51）触发响应，而基线方法则全程未能作出判断。这体现了其在流式视频理解与时机把握方面的优越性。

总结与展望

Response-G1通过引入显式场景图作为统一中间表示，将流式视频主动交互中的时机决策问题，转化为可解释、可调试的证据-条件对齐任务。这不仅提升了现有视频大模型在流式场景下的交互能力，也为构建具备长时记忆、复杂推理能力的多模态智能助手提供了结构化基础。随着视频大模型向在线化、主动化发展，此类可组合、可验证的交互框架将扮演越来越重要的角色。