当前位置: 首页
AI
首个Deep Research评测基准:视频理解与开放网络搜索

首个Deep Research评测基准:视频理解与开放网络搜索

热心网友 时间:2026-01-25
转载

由 QuantAlpha、兰州大学、香港科技大学(广州)、北京大学等机构的研究者联合推出了首个视频深度研究(Video Deep Research)评测基准 VideoDR。

免费影视、动漫、音乐、游戏、小说资源长期稳定更新! 👉 点此立即查看 👈

在传统的视频问答(VideoQA)任务中,答案通常都直接蕴含在视频画面里。

然而,真正智能的视频 Agent 必须具备深度研究(Deep Research)的能力。

想象这样一个场景:你在视频中看到博物馆的一件展品,想知道“在这家博物馆推荐的展品中,距离这件展品最近的那个,它的注册编号是多少?”

这不仅需要看懂视频内容(识别展品、定位位置),还需要跳出视频本身,去博物馆官网查找地图、推荐列表和编号信息。

论文可在 arXiv 平台获取。

代码已在 GitHub 开源。

VideoDR (Video Deep Research) 正是为此而生,它定义了一种全新的任务模式:

多帧视觉线索:从多个连续视频帧中准确识别关键信息并进行推理。交互式网络搜索:在真实浏览器环境中进行交互,执行多跳深度搜索。多跳推理验证:结合视频线索与网络证据,提供可验证的事实性答案。

为了保证评测的含金量,VideoDR 并未采用自动化生成,而是进行了严格的人工标注与质检。

双重依赖性测试:剔除了那些“只看视频就能答”或“只搜文字就能答”的样本,确保模型必须具备结合两者信息的能力。

六大领域覆盖:涵盖日常生活、经济、科技、文化、历史、地理。

Workflow vs. Agentic

研究人员对比了两种主流范式:

工作流模式:先将视频内容转化为结构化文本线索,再进行搜索推理。代理模式:模型端到端地直接处理视频和搜索任务,自主决定何时搜索、何时思考。

评测模型:

闭源模型:GPT-5.2, GPT-4o, Gemini-3-pro-preview开源模型:Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5

核心发现与洞见

谁是目前的王者?

Gemini-3-pro-preview 和 GPT-5.2 处于第一梯队,准确率达到 69% - 76%,显著领先于其他模型。

Agentic 模式一定更强吗?

答案是:不一定。

虽然 Agentic 模式更灵活,但在处理长视频或高难度任务时,模型容易出现目标漂移现象。

工作流模式的优势:显式的中间文本线索充当了“外部记忆”,防止模型在漫长的搜索链路中忘记最初视频里的关键视觉细节。代理模式的短板:一旦初始的视觉感知出现偏差,且无法回看视频,错误的搜索路径会被不断放大。

长视频是“照妖镜”

在长视频场景下,模型保持长期一致性(Long-horizon Consistency)的能力成为瓶颈。

强大的模型如 Gemini-3 在 Agentic 模式下能利用长上下文获得提升,而部分开源模型在长视频任务中性能反而大幅下降。

总结

VideoDR 将视频理解的战场从封闭的测试集延伸到了无限的开放网络。

评测结果深刻地揭示了“端到端”并非万能灵药:在面对长链路搜索任务时,模型往往会陷入“记忆衰退”的困境。

未来的视频 Agent 只有在保持视觉线索的长程一致性上取得突破,才能真正胜任现实世界中的复杂调研任务。

来源:https://www.51cto.com/article/834771.html

游乐网为非赢利性网站,所展示的游戏/软件/文章内容均来自于互联网或第三方用户上传分享,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系youleyoucom@outlook.com。

同类文章
更多
华为AI深度布局:如何引领科技变革新格局

华为AI深度布局:如何引领科技变革新格局

新智元报道编辑:艾伦【新智元导读】华为诺亚方舟实验室主任王云鹤官宣离职。我们梳理了王云鹤的经历。王云鹤今日在朋友圈官宣,将辞去华为诺亚方舟实验室主任职位,告别华为。从 2025 年 3 月到今天,王

时间:2026-03-28 18:52
Claude限流,Altman紧急叫停Sora:AI竞争格局改变

Claude限流,Altman紧急叫停Sora:AI竞争格局改变

新智元报道编辑:元宇【新智元导读】Sora应用关停,Claude却因太火而被限流:一个烧不起,一个供不上,算力墙面前,AI竞赛的胜负手突然变了。一夜之间,打工人突然发现:Claude开始限流了。An

时间:2026-03-28 18:46
谷歌内存论文疑被抄袭,华人学者控诉业内学术不公

谷歌内存论文疑被抄袭,华人学者控诉业内学术不公

新智元报道编辑:好困 Aeneas【新智元导读】把闪存股一夜干崩的谷歌顶会论文,出大事了。TurboQuant的核心方法,两年前就被一位华人学者做完、发完顶会、代码全部开源了。谷歌不仅没正面提及,而

时间:2026-03-28 16:58
OpenClaw漏洞威胁:智能家居被反锁与隐私泄露风险

OpenClaw漏洞威胁:智能家居被反锁与隐私泄露风险

新智元报道编辑:倾倾【新智元导读】2025年底,极客圈发生了一场数字哗变,Anthropic的遮羞布被Peter Steinberger撕了个精光。从OpenClaw开源到Claude被扒出80页「

时间:2026-03-28 16:52
华为大模型负责人离职,重大人事变动引发行业关注

华为大模型负责人离职,重大人事变动引发行业关注

智东西作者|江宇编辑|冰倩智东西3月28日报道,今日,华为诺亚方舟实验室主任、华为盘古大模型负责人王云鹤在朋友圈发文,确认离职。王云鹤于2017年以华为北京部门首位实习生身份加入,至今已接近9年。在

时间:2026-03-28 16:46
热门专题
更多
刀塔传奇破解版无限钻石下载大全 刀塔传奇破解版无限钻石下载大全
洛克王国正式正版手游下载安装大全 洛克王国正式正版手游下载安装大全
思美人手游下载专区 思美人手游下载专区
好玩的阿拉德之怒游戏下载合集 好玩的阿拉德之怒游戏下载合集
不思议迷宫手游下载合集 不思议迷宫手游下载合集
百宝袋汉化组游戏最新合集 百宝袋汉化组游戏最新合集
jsk游戏合集30款游戏大全 jsk游戏合集30款游戏大全
宾果消消消原版下载大全 宾果消消消原版下载大全
  • 日榜
  • 周榜
  • 月榜
热门教程
更多
  • 游戏攻略
  • 安卓教程
  • 苹果教程
  • 电脑教程