网易首页 > 网易号 > 正文 申请入驻

视频理解+开放网络搜索=首个视频Deep Research评测基准

0
分享至

新智元报道

编辑:LRST

【新智元导读】现有的多模态模型往往被困在「视频」的孤岛里——它们只能回答视频内的问题。但在真实世界中,人类解决问题往往是「看视频找线索 -> 上网搜证 -> 综合推理」。为了填补这一空白,来自QuantaAlpha、兰州大学、香港科技大学(广州)、北京大学等机构的研究者联合推出了首个视频深度研究(Video Deep Research)评测基准VideoDR。

在传统的视频问答(VideoQA)中,答案通常就在视频里。

然而,真正的智能Video Agent应该具备Deep Research的能力。

试想这样一个场景:你看到视频中博物馆的一个展品,想知道「该博物馆推荐的展品中,距离这个展品最近的那个,其注册编号是多少?」

这不仅仅需要理解视频(识别展品、定位位置),还需要跳出视频,去博物馆官网查找地图、推荐列表和编号信息。

论文链接:https://arxiv.org/abs/2601.06943

代码链接:https://github.com/QuantaAlpha/VideoDR-Benchmark

VideoDR (Video Deep Research) 正是为此而生,它定义了一个全新的任务范式:

  1. 多帧视觉线索:从多个视频帧中准确识别连续的关键信息进行推理。

  2. 交互式网络搜索:在浏览器环境中进行交互,执行多跳深度搜索。

  3. 多跳推理验证:结合视频线索和网络证据,提供可验证的事实性答案。

为了保证评测的含金量,VideoDR并没有采用自动化生成,而是进行了严格的人工标注与质检。

双重依赖性测试:剔除了那些「只看视频就能答」或「只搜文字就能答」的样本,确保模型必须结合两者能力。

六大领域覆盖:涵盖日常生活、经济、科技、文化、历史、地理。

Workflow vs. Agentic

研究人员对比了两种主流范式:

  • Workflow(工作流模式): 将视频转化为结构化文本线索,再进行搜索推理。

  • Agentic(代理模式): 模型直接端到端处理视频和搜索,自主决定何时搜索、何时思考。

评测模型:

  • 闭源模型: GPT-5.2, GPT-4o, Gemini-3-pro-preview

  • 开源模型: Qwen3-Omni-30B-a3b, InternVL3.5-14B, MiniCPM-V 4.5


核心发现与洞察

谁是目前的最强王者?

Gemini-3-pro-preview和GPT-5.2处于第一梯队,准确率达到了69%-76%左右,显著领先于其他模型。

Agentic 模式一定更强吗?

答案是:不一定。

虽然 Agentic 模式更灵活,但在长视频或高难度任务中,模型容易出现目标漂移(Goal Drift)。

  • Workflow 的优势: 显式的中间文本充当了「外部记忆」,防止模型在漫长的搜索链路中忘记最初视频里的视觉细节。

  • Agentic 的短板: 一旦初始的视觉感知出现偏差,且无法回看视频,错误的搜索路径会被不断放大。


长视频是「照妖镜」

在长视频场景下,模型保持长期一致性(Long-horizon Consistency)的能力成为瓶颈。

强如Gemini-3在Agentic模式下能利用长上下文获得提升,而部分开源模型在长视频下性能反而大幅下降。

总结

VideoDR将视频理解的战场从封闭测试集延伸到了无限的开放网络。

评测结果深刻揭示了「端到端」并非万能药:在面对长链路搜索时,模型往往会陷入「记忆衰退」的困境。

未来的视频 Agent 只有在保持视觉线索的长程一致性上取得突破,才能真正胜任真实世界的复杂调研任务。

参考资料:

https://arxiv.org/abs/2601.06943

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广东男篮官宣:正式终止博日奇合同 场均21.3分成球队得分王

广东男篮官宣:正式终止博日奇合同 场均21.3分成球队得分王

醉卧浮生
2026-11-12 20:29:11
日限额300万年限额1.5亿,个人账户交易限额被银行单方面调高,储户质疑账户资金安全;银行:调整不需本人同意

日限额300万年限额1.5亿,个人账户交易限额被银行单方面调高,储户质疑账户资金安全;银行:调整不需本人同意

大风新闻
2026-11-12 21:39:01
独扛中国军团大旗:赵心童4-0横扫泰国选手,晋级斯诺克冠中冠赛小组决赛

独扛中国军团大旗:赵心童4-0横扫泰国选手,晋级斯诺克冠中冠赛小组决赛

侧身凌空斩
2026-11-12 22:18:13
黄仁勋夫妇共同控制英伟达巨额财富,在他辞职后股权安排变得更加复杂

黄仁勋夫妇共同控制英伟达巨额财富,在他辞职后股权安排变得更加复杂

新浪财经
2026-11-12 22:24:50
俄罗斯驻美国大使达尔奇耶夫去世

俄罗斯驻美国大使达尔奇耶夫去世

界面新闻
2026-11-12 07:14:38
狂送6连败!脸都不要了,联盟第一摆烂队诞生,三巨头应该散伙了

狂送6连败!脸都不要了,联盟第一摆烂队诞生,三巨头应该散伙了

篮球扫地僧
2026-11-12 19:19:00
谈判结束!普京开出条件,泽连斯基拒绝低头,特朗普态度转变?

谈判结束!普京开出条件,泽连斯基拒绝低头,特朗普态度转变?

军机Nova
2026-11-12 08:16:03
公信力崩塌很可怕,老百姓连新闻都不敢信了!

公信力崩塌很可怕,老百姓连新闻都不敢信了!

逍遥论经
2026-11-11 14:35:01
吃相难看!港媒曝霍启山喜讯不到3小时,荒谬事发生,还不止一件

吃相难看!港媒曝霍启山喜讯不到3小时,荒谬事发生,还不止一件

以茶带书
2026-11-12 13:31:32
7岁男孩误吞金属游戏币,妈妈多次带他到高铁站安检,借用金属探测仪扫描身体,掌握在体内动向,还喂食香油、金针菇等,一周多后顺利排出

7岁男孩误吞金属游戏币,妈妈多次带他到高铁站安检,借用金属探测仪扫描身体,掌握在体内动向,还喂食香油、金针菇等,一周多后顺利排出

洪观新闻
2026-11-12 20:20:13
李国旭:我宁可不要这个冠军,也要大连足球十年二十年的安稳

李国旭:我宁可不要这个冠军,也要大连足球十年二十年的安稳

懂球帝
2026-11-13 00:34:10
比亚迪发声明:此次事件给各位车主带来困扰,我们深表歉意,对错装车辆自即日起,重新起算整车质保;公司将全面复盘、协同供应商持续整改

比亚迪发声明:此次事件给各位车主带来困扰,我们深表歉意,对错装车辆自即日起,重新起算整车质保;公司将全面复盘、协同供应商持续整改

南方都市报
2026-11-11 14:27:04
马斯克:别急着解雇黄仁勋,等一等调查结果,如果他被裁了我会雇佣他

马斯克:别急着解雇黄仁勋,等一等调查结果,如果他被裁了我会雇佣他

可达鸭面面观
2026-11-12 12:28:27
全国多地官宣中小学推迟到校 本质是扭转不断加码的“苦读内卷”

全国多地官宣中小学推迟到校 本质是扭转不断加码的“苦读内卷”

封面新闻
2026-11-11 21:17:02
网友爆料近六千元的耳机线“扒开是棉布”?汉声经销商回应

网友爆料近六千元的耳机线“扒开是棉布”?汉声经销商回应

北青网-北京青年报
2026-11-12 21:26:04
“硬汉专业户”,走了

“硬汉专业户”,走了

中国新闻周刊
2026-11-12 19:59:03
普京:外国军队不得驻扎乌克兰

普京:外国军队不得驻扎乌克兰

新华社
2026-11-12 21:14:23
新华社消息确认了:“为伊朗捐躯”妇女培训中心揭幕活动在伊朗首都德黑兰自由广场举行,不同年龄伊朗女性在指导下练习瞄准、学习枪械操作

新华社消息确认了:“为伊朗捐躯”妇女培训中心揭幕活动在伊朗首都德黑兰自由广场举行,不同年龄伊朗女性在指导下练习瞄准、学习枪械操作

吉刻新闻
2026-11-12 07:48:29
外媒称西北工业大学购买英伟达H200芯片 外交部回应:我们坚决反对美方泛化国家安全概念、划设各种名目的歧视性清单、无理打压中国机构

外媒称西北工业大学购买英伟达H200芯片 外交部回应:我们坚决反对美方泛化国家安全概念、划设各种名目的歧视性清单、无理打压中国机构

闪电新闻
2026-11-12 19:05:25
中方:已向相关国家政府表达严重关切,希望相关国家及时纠正错误做法

中方:已向相关国家政府表达严重关切,希望相关国家及时纠正错误做法

政知新媒体
2026-11-12 19:43:11
2026-11-13 05:32:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16668文章数 67226关注度
往期回顾 全部

科技要闻

黄仁勋承认出轨:伤害了妻儿,毫无借口

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

头条要闻

国家级射击教练涉走私武器 家属:配件组成不了一支枪

体育要闻

西部狂飙!湖刺勇集体暴走 连胜到何时?

娱乐要闻

黄仁勋与黄乐合照曝光,吃饭氛围暧昧

财经要闻

72岁王健林重回“一号位”

汽车要闻

限时权益价8.88万 吉利星愿STAR限定系列发布

态度原创

艺术
家居
手机
公开课
军事航空

艺术要闻

17位 国外画家笔下的女子

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

全系都有背屏!荣耀700系列续航不打折扣:7.96mm厚度同档最大电池

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

恢复战前一半生产能力 伊朗"仍能战斗"

无障碍浏览 进入关怀版