当前位置: 首页
AI
首个Deep Research评测基准:视频理解与开放网络搜索

首个Deep Research评测基准:视频理解与开放网络搜索

热心网友 时间:2026-01-25
转载

由 QuantAlpha、兰州大学、香港科技大学(广州)、北京大学等机构的研究者联合推出了首个视频深度研究(Video Deep Research)评测基准 VideoDR。

在传统的视频问答(VideoQA)任务中,答案通常都直接蕴含在视频画面里。

然而,真正智能的视频 Agent 必须具备深度研究(Deep Research)的能力。

想象这样一个场景:你在视频中看到博物馆的一件展品,想知道“在这家博物馆推荐的展品中,距离这件展品最近的那个,它的注册编号是多少?”

这不仅需要看懂视频内容(识别展品、定位位置),还需要跳出视频本身,去博物馆官网查找地图、推荐列表和编号信息。

论文可在 arXiv 平台获取。

代码已在 GitHub 开源。

VideoDR (Video Deep Research) 正是为此而生,它定义了一种全新的任务模式:

多帧视觉线索:从多个连续视频帧中准确识别关键信息并进行推理。交互式网络搜索:在真实浏览器环境中进行交互,执行多跳深度搜索。多跳推理验证:结合视频线索与网络证据,提供可验证的事实性答案。

为了保证评测的含金量,VideoDR 并未采用自动化生成,而是进行了严格的人工标注与质检。

双重依赖性测试:剔除了那些“只看视频就能答”或“只搜文字就能答”的样本,确保模型必须具备结合两者信息的能力。

六大领域覆盖:涵盖日常生活、经济、科技、文化、历史、地理。

Workflow vs. Agentic

研究人员对比了两种主流范式:

工作流模式:先将视频内容转化为结构化文本线索,再进行搜索推理。代理模式:模型端到端地直接处理视频和搜索任务,自主决定何时搜索、何时思考。

评测模型:

闭源模型:GPT-5.2, GPT-4o, Gemini-3-pro-preview开源模型:Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5

核心发现与洞见

谁是目前的王者?

Gemini-3-pro-preview 和 GPT-5.2 处于第一梯队,准确率达到 69% - 76%,显著领先于其他模型。

Agentic 模式一定更强吗?

答案是:不一定。

虽然 Agentic 模式更灵活,但在处理长视频或高难度任务时,模型容易出现目标漂移现象。

工作流模式的优势:显式的中间文本线索充当了“外部记忆”,防止模型在漫长的搜索链路中忘记最初视频里的关键视觉细节。代理模式的短板:一旦初始的视觉感知出现偏差,且无法回看视频,错误的搜索路径会被不断放大。

长视频是“照妖镜”

在长视频场景下,模型保持长期一致性(Long-horizon Consistency)的能力成为瓶颈。

强大的模型如 Gemini-3 在 Agentic 模式下能利用长上下文获得提升,而部分开源模型在长视频任务中性能反而大幅下降。

总结

VideoDR 将视频理解的战场从封闭的测试集延伸到了无限的开放网络。

评测结果深刻地揭示了“端到端”并非万能灵药:在面对长链路搜索任务时,模型往往会陷入“记忆衰退”的困境。

未来的视频 Agent 只有在保持视觉线索的长程一致性上取得突破,才能真正胜任现实世界中的复杂调研任务。

来源:https://www.51cto.com/article/834771.html

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
商汤科技获评中国AI咨询服务市场领导者

商汤科技获评中国AI咨询服务市场领导者

IDC报告将商汤科技定位为中国AI咨询服务市场领导者。其凭借“大装置-大模型-应用”战略与全流程专家服务,帮助企业应对AI落地中的成本、适配与安全挑战,实现从战略规划到持续运营的全周期支持。目前服务已扩展至金融、能源、交通等多个领域。

时间:2026-05-16 08:43
趋境科技携手金航数码深化AI合作,共促空天领域数字化转型

趋境科技携手金航数码深化AI合作,共促空天领域数字化转型

趋境科技与金航数码签署人工智能合作框架协议,将前期成功实践深化为战略伙伴关系。双方基于已验证的大模型私有化解决方案,聚焦航空等复杂装备工业,通过算力底座与行业场景深度融合,共同推动智能化技术在研发、生产等环节的落地应用,助力工业数字化转型升级。

时间:2026-05-16 08:30
城市智能最后一公里难题的论文解决方案

城市智能最后一公里难题的论文解决方案

郑宇教授提出跨域多模态知识融合框架,整合空气质量、交通、气象等多领域数据,通过数据选择、知识对齐、模型构建与数据转换四个阶段,解决了数据稀疏与异构难题,显著提升了预测精度与异常识别能力,为智慧城市应用提供了可行路径。

时间:2026-05-16 08:30
ATEC2025科技精英赛落幕 机器人自主技术成焦点

ATEC2025科技精英赛落幕 机器人自主技术成焦点

第五届ATEC科技精英赛在香港收官,赛事以“无遥操”为核心,要求机器人在户外复杂地形中完全自主完成吊桥穿越、垃圾分拣等任务。来自全球的13支队伍参赛,浙江大学凭借全自主智能表现夺冠。比赛旨在推动机器人从实验室走向真实应用,通过真实场景挑战测试机器人的感知、决策与执行能力,促。

时间:2026-05-16 08:30
Recraft AI设计草稿如何保存与云端同步方法

Recraft AI设计草稿如何保存与云端同步方法

RecraftAI采用自动云端同步实时保存设计草稿,无需手动操作。用户可通过项目列表中“Lastedited”时间戳的实时更新验证同步状态,并需保持网络稳定与登录有效。必要时可刷新页面或进行微小操作触发同步。跨设备核对内容一致性是确认草稿安全存储于云端的最终方法。

时间:2026-05-16 08:30
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 日榜
  • 周榜
  • 月榜
热门教程
更多
  • 游戏攻略
  • 安卓教程
  • 苹果教程
  • 电脑教程