中科大联合多所顶尖高校推出"视频深度研究"智能体

这项由中国科学技术大学（USTC）主导，联合小红书、香港中文大学、香港理工大学、浙江大学、加州大学洛杉矶分校、牛津大学、华东师范大学和清华大学共同完成的研究，以预印本形式发布于2026年8月4日，论文编号为arXiv:2608.03979。感兴趣的读者可以通过该编号在arXiv平台检索原文。

假设你现在拿到一段视频，视频里出现了一位你不认识的演员，你想知道这个人是谁、演过什么作品、有什么背景故事。你会怎么做？大概率是先定格画面，截取那个人的脸，然后去网上搜索图片，再根据搜索结果进一步追查相关信息。这整个过程——先"看"、再"搜"、最后"综合判断"——听起来理所当然，但现有的AI系统恰恰不擅长这样做。它们要么完全忽视视频画面，直接用文字去搜；要么凭借自己脑子里记住的知识猜一个答案，而不是老老实实地调用工具去查。

这正是这篇论文要解决的核心问题：如何让AI真正像人一样，先把视频"看透"，再去互联网上寻找证据，最终给出可靠的答案。研究团队将这种能力命名为"视频深度研究"（Video-DeepResearch，简称VideoDR），并为此构建了一套完整的训练体系和评估基准。

一、AI看视频时犯了哪些坏毛病

在正式介绍解决方案之前，研究团队先做了一个诊断实验，结果相当耐人寻味。

他们挑选了三个代表性的AI模型，分别是规模较小的Qwen3.5-35B-A3B、规模较大的开源模型Qwen3.5-397B-A17B，以及赫赫有名的闭源模型GPT-5，让这三个模型在一个视频问答基准上接受测试，同时统计它们在回答问题时分别调用了多少次视觉工具（比如截图搜索）和文字工具（比如直接用文字去网上搜索）。

结果非常能说明问题。即便是最强大的开源模型Qwen3.5-397B-A17B，平均每道题只调用了0.10次视觉工具，而调用文字工具的次数高达1.27次。换句话说，面对一道需要"看视频+上网查"的问题，它几乎完全跳过了"看视频"这个环节，直接去文字搜索。这就好比让你认出视频里的那位演员，你却不看画面，只是在搜索框里输入"这个视频里的演员是谁"——这样的搜索几乎不可能得到准确答案。

更有意思的是GPT-5的表现。它在同一个基准上拿到了57%的准确率，但视觉工具调用次数为零，文字工具调用次数也只有区区0.12次。这意味着什么？GPT-5基本上是靠"背答案"在做题——它的训练数据里可能已经包含了大量相关知识，它直接从记忆里提取答案，而不是真正去做调查研究。这就像一个考试高手，不是因为真的理解题目，而是因为题目他以前见过，直接默写出来就拿了分。

研究团队将第一个问题称为"模态偏见"——AI系统天然倾向于跳过视觉工具；将第二个问题称为"参数知识泄漏"——模型依靠记忆作弊，而不是依靠工具解题。这两个问题的存在，让现有的评估基准也变得不可靠：如果题目可以靠记忆答对，那高分就不代表AI真的具备视频理解和网络调研能力。

二、重新设计"看视频+上网搜"的工作流程

研究团队的核心思路可以用一个直觉性的比喻来理解：把视频当成一条时间轴上的侦探线索串，AI的任务是先沿着时间轴把关键画面定格下来，把画面里的重要人物或物体精确裁剪出来，拿着这些图片去视觉搜索引擎里比对，获得初步线索之后，再用文字搜索和网页访问来深入挖掘背景信息，最后把所有证据拼合成一个完整的答案。

为了实现这个流程，研究团队给AI配备了两类核心工具。第一类叫"选取关键帧"（Select_Keyframe），负责从连续的视频流中挑出信息最丰富的那几帧画面，就像侦探在一卷监控录像里标记出最关键的几个时间节点。第二类叫"裁剪搜索"（Crop_Search），负责把关键帧里某个具体的人或物精确框出来，拿着这张裁剪图去做视觉搜索，就像侦探把嫌疑人的照片打印出来去大街上比对。

这套工具组合构成了"感知阶段"，之后才是"探索阶段"：用文字搜索（Search）和网页访问（Visit）来获取更深层的知识。关键在于，研究团队强制规定了顺序——AI必须先把感知阶段走完，才能进入探索阶段。这个"先看视频再搜网络"的强制顺序，是整个方案最核心的设计决策。

在形式化的描述上，这个过程被建模为一个序列决策问题：AI在每一步根据之前所有的操作记录（问题、视频帧、已执行的工具调用及其返回结果）来决定下一步做什么。整个行动空间包含了上述所有工具，而策略的学习则依赖于接下来要介绍的训练体系。

三、如何"教会"AI做视频深度研究

教AI做一件新事情，最直接的办法是给它大量示范——展示"应该怎么做"的完整过程，让它从中学习。但在视频深度研究这个任务上，几乎没有现成的高质量训练数据，因此研究团队必须从零开始构建整个数据流水线。这个过程分为三个阶段，每一阶段都像是在为最终的训练食材做细心的预处理。

**第一阶段：筛选合格的"食材"视频。**研究团队从多个来源——包括学术视频数据集和YouTube等流媒体平台——收集了大量原始视频。然后对这些视频进行两轮筛选。第一轮是规则过滤，直接丢弃那些太短、太长或画质太差的视频。第二轮更有意思：他们用一个AI模型来判断这段视频是否"值得深度研究"，也就是说，理解这段视频的内容是否真的需要去互联网上查资料。比如，一段普通人走路的视频不需要查；而一段专业烹饪比赛的视频，里面涉及特定厨师、特定赛事，就需要外部知识来理解。只有通过双重筛选的视频才会进入后续流程。

**第二阶段：从视频中提取问答对。**通过筛选的视频进入问答生成流程。研究团队首先用一个基于图像相似度的算法（CLIP模型）来提取候选关键帧，剔除相邻帧之间差别不大的冗余画面，然后用大模型来最终确认关键帧的选择。接着，对每一帧，大模型预测画面中各个实体（人物、物体、标志等）的位置，并把这些实体裁剪出来做视觉搜索，获取外部知识。在此基础上，生成两种类型的问答对：一种是聚焦单个实体的深度问题（比如"画面中戴棒球帽的男人参演了哪部2024年的音乐奇幻电影"），另一种是需要联系多个实体的组合问题（比如"画面中的两位女演员之前有没有合作过"）。

生成问答对之后，还有一道关键的质量过滤程序：对每个问题进行四次"不用工具"的测试，如果AI仅靠自己的内部记忆就能答对其中任何一次，这道题就会被丢弃。这个设计直接对抗了前面提到的"参数知识泄漏"问题——只有真正需要外部工具才能答对的题目，才会被保留进训练集。最终，这一阶段产生了3万条高质量的视频问答对。

**第三阶段：构建完整的"侦查轨迹"。**有了问答对还不够，还需要给AI示范完整的解题过程——每一步调用了什么工具、得到了什么信息、怎么一步步走向正确答案。研究团队使用了一个强大的大模型（Qwen3.5-397B-A17B）来自动生成这些轨迹，同时采用了"阶段性工具解锁"策略：在前期阶段，模型只能使用视觉工具（选帧和裁剪搜索），被强制充分探索视频内容；当模型判断视觉信息已经足够、或者达到了预设的感知上限，才会开放文字工具（搜索和访问网页）。只有最终给出正确答案的轨迹才会被保留下来，作为训练数据使用。经过这道严苛的筛选，从原始生成中最终保留了7000条高质量轨迹。

四、两步训练：先模仿、再超越

有了7000条正确的侦查轨迹和另外7000条纯文字深度研究数据（后者用于补充文字搜索能力），研究团队开展了两阶段的训练。

第一阶段叫做监督微调（SFT），说白了就是让AI反复观看那些正确示范，把"先看视频再搜网"这个工作方式内化成自己的习惯。这个阶段给了AI一个"基本功"——它学会了什么时候该用哪个工具，大致的推理语法是什么样的。但纯粹靠模仿有一个天花板：如果训练数据里没有出现过某种情况，AI就不知道怎么处理。

第二阶段叫做组相对策略优化（GRPO），这是一种强化学习方法。在这个阶段，AI不再只是看示范，而是自己上场尝试，答对了就得1分，答错了就得0分。通过大量的自我尝试和反馈，AI开始探索训练数据里没有覆盖到的解题策略，逐渐发展出超越示范的能力。为了让这个训练更有效率，研究团队专门筛选了"中等难度"的题目来做强化学习训练——太简单的题（AI每次都答对）和太难的题（AI每次都答错）都不会产生有效的学习信号，只有那些有时候对、有时候错的题目，才能让AI从对比中学到东西。

整个训练在4台配备了8块80GB显存GPU的服务器（共32块GPU）上进行。研究团队提供了两个版本：Video-DeepResearch-30B-A3B基于Qwen3-VL-30B-A3B-Instruct，Video-DeepResearch-35B-A3B基于Qwen3.5-35B-A3B，两者采用完全相同的训练流程。

五、一个不能靠背答案过关的新基准

除了训练模型，研究团队还意识到，现有的评估基准本身存在根本性缺陷——因为有些题目用记忆就能答对，高分不代表模型真正具备视频理解和深度研究能力。于是他们自己动手，创建了一个叫做VIDEODR-BENCH的新基准，共包含200道问题，通过严格的人机协作标注流程构建而成。

这个基准的设计核心是"双重必要性"：每一道题的答案，必须同时依赖视频中的视觉信息和互联网上的外部知识，缺一不可。标注过程中，人工标注员会在视频的关键时间节点暂停，使用裁剪搜索工具验证画面里的实体信息，然后基于验证结果提出种子问题。接下来，一个多智能体流水线会将这些简单的种子问题扩展成多跳推理题——比如从"画面里的人是谁"出发，扩展到"他的职业是什么"、"他的国籍是什么"、"和他共同主持节目的男喜剧演员是谁"，形成需要多步推理的复杂问题链。

对生成的问题，还要再过一道"防背答案"的关卡：如果模型不用工具就能答对，这道题就被剔除。人工标注员随后再次核验剩余题目的准确性和可答性。这样层层筛选下来，最终保留的每道题都真正需要"先看视频、再查网络"才能答对。

从题目的分布来看，这200道题涵盖了六个视频领域：知识类（29.5%）、娱乐类（22%）、日常生活类（18.5%）、游戏和体育类（14.5%）、新闻类（12%）和其他类（3.5%）。从视频长度来看，46%是2分钟以内的短视频，34%是2至10分钟的中等长度视频，20%是10分钟以上的长视频。

六、实验结果：数字背后的故事

研究团队在VIDEODR-BENCH和另一个叫做VideoDR的外部基准上，对多个模型进行了全面评测，结果相当清晰地展示了各方的实力差距。

在所有被评测的模型中，Video-DeepResearch-35B-A3B以64.0%的平均准确率拿下了第一名的位置。排在它后面的是Claude-4.5-Sonnet（59.0%）、Gemini 2.5 Pro（57.5%）和GPT-5（52.5%）。要知道，Claude、Gemini和GPT-5都是参数规模庞大得多的闭源模型，背后是全球顶尖的商业AI公司。一个开源的35B参数模型，通过专门的训练方法，超越了这些庞然大物，这个结果本身就很说明问题。

Video-DeepResearch-30B-A3B的表现也令人印象深刻，59.3%的平均准确率与Claude-4.5-Sonnet几乎持平，明显高于GPT-5和Gemini 2.5 Pro。更值得关注的是它相对于自身基础模型的提升幅度：原始的Qwen3-VL-30B-A3B-Instruct只有40.5%的平均准确率，经过训练之后跃升至59.3%，提升了整整18.8个百分点。35B版本的提升幅度更大，从42.8%提升到64.0%，提升了21.2个百分点。

分领域来看，两个版本的模型在知识类（35B版本66.1%）和娱乐类（35B版本65.9%）表现最为突出，均超越了所有闭源模型。在日常生活类别上，35B版本提升了16.3个百分点，表现出较强的泛化能力。新闻类别上，30B版本表现（58.3%）反而优于35B版本（41.7%），这个反转提示研究团队，针对时效性强的新闻内容，模型可能需要特别的适应策略。

工具使用行为的变化同样值得关注。在对比数据中，Claude-4.5-Sonnet的视觉工具调用次数平均为1.83次（在VideoDR基准上），而经过训练的Video-DeepResearch-30B-A3B高达2.33次，远超所有原始模型。相比之下，原始的Qwen3.5-397B-A17B只有0.10次。这个数字上的变化，本质上是AI工作方式的重构——从"能不看视频就不看"变成了"先把视频看透再说"。

七、逐步拆解训练方案：每一步都有价值

为了搞清楚整个训练流程中哪些环节真正起了作用，研究团队对30B版本做了一组消融实验，逐步叠加训练数据和训练阶段，观察每一步的效果变化。

从基础模型的40.5%出发，引入4000条视频深度研究轨迹进行监督微调后，平均准确率提升到46.0%，增加了5.5个百分点。将轨迹数量扩充到7000条，准确率进一步提升到53.0%，说明数据量的增加带来了持续的收益。接着加入7000条纯文字深度研究数据进行混合微调，准确率升至56.8%——这验证了研究团队的一个假设：文字搜索能力和视觉搜索能力是互补的，文字数据的加入能帮助模型在视觉任务上也表现得更全面。最后，加入2000条中等难度样本进行强化学习训练，最终准确率达到59.3%。每一步都有实质性的提升，每一步都不是多余的。

研究团队特别指出了一个有意思的规律：在VIDEODR-BENCH上，7K轨迹微调带来的提升（从43%到51%）比在VideoDR上（从38%到55%）更为显著，说明视觉接地能力对于高难度的基准问题尤其重要。而最后的强化学习阶段，在VIDEODR-BENCH上贡献了额外的2个百分点提升，说明强化学习带来的探索能力对于需要多步推理的复杂任务特别有价值。

八、这意味着什么：超越分数的深层启示

研究团队在讨论中提出了几个值得反复思考的观点，这些观点超越了具体的数字，触及了AI能力的本质。

第一个观点是关于规模与能力的关系。传统认知是，模型越大能力越强。但这次实验给出了一个反例：参数量高达397B的Qwen3.5-397B-A13B，在平均准确率上只有52.8%，而经过专门训练的30B模型达到了59.3%，30B不到它参数量的十分之一，却表现更好。这说明，对于需要特定工作方式的任务，模型的训练方式比模型的大小更加关键。

第二个观点是关于"工具使用"是否等于"真正理解"的问题。GPT-5不用任何工具就能答对57%的题目，而训练过的30B模型需要平均调用约2.33次视觉工具和4.24次文字工具才能达到相近的分数。从某种角度看，哪个模型"更聪明"是个复杂的问题。但从另一个角度看，对于那些需要外部验证的问题，依靠记忆答题是不可靠的——今天恰好记住了，不代表对所有类似问题都能正确处理。研究团队认为，真正理解一个视频，意味着能够基于它采取行动，而不仅仅是回忆起与之相关的知识。

第三个观点是关于"模态偏见"的根源。研究发现，AI系统不愿意使用视觉工具，这种偏见不是架构上的天然缺陷，而是训练数据分布的产物——因为大多数训练数据是文字的，所以模型的默认行为也是文字导向的。这意味着，要真正解决多模态的对等性问题，不只是需要设计能处理图像和视频的架构，更需要在训练数据和训练范式上做出根本性的调整。

归根结底，这项研究的价值在于它证明了一件事：让AI真正"看懂"视频，是可以通过精心设计的训练流程来实现的，而不是非要等到模型参数量达到某个临界值才能自然涌现。一个精心训练的35B模型，在这个任务上比参数量大十倍的模型表现得更好——这个结论对整个AI领域的发展路线都有一定的参考意义。

当然，这项研究也坦诚地指出了自身的局限。当前的方案对计算资源的需求相当高，不论是数据合成还是模型训练都需要大量GPU资源。VIDEODR-BENCH的构建依赖人工标注，难以快速大规模扩展。未来的工作方向包括探索更高效的训练流水线，以及开发更自动化的评估方式，以减少对人工标注的依赖。

对于普通读者而言，这项研究离日常生活并不遥远。下一次你用手机应用问"这是什么植物"或者"这个标志是哪个品牌"的时候，背后的AI是否真的在"看"你发送的图片，还是在靠记忆猜测，会直接影响答案的准确性。当AI视频助手越来越普及，它们能否真正理解视频内容，而不是只会背题，将成为衡量这类产品是否可靠的核心标准之一。

Q&A

Q1：Video-DeepResearch（VideoDR）和普通的视频问答AI有什么区别？

A：普通视频问答AI通常直接根据视频内容或内部记忆来回答问题，而Video-DeepResearch系统被设计为必须先"看视频"（选取关键帧、裁剪重要实体做图像搜索），再去互联网上查询外部知识，最后综合两方面信息才给出答案。这种"先视觉感知、再网络调研"的强制顺序，是它区别于普通视频AI的核心特点。

Q2：VIDEODR-BENCH基准为什么能防止AI靠"背答案"作弊？

A：VIDEODR-BENCH在题目筛选阶段加入了一道专门的防泄漏过滤：对每道候选题目进行多次"不允许使用任何工具"的测试，只要AI仅凭内部记忆就能答对，这道题就会被直接丢弃。最终保留下来的每道题，都是那些必须结合视频视觉内容和互联网外部知识才能答对的问题，单靠记忆无法通过。

Q3：为什么参数量更小的Video-DeepResearch-30B能超越参数量更大的Qwen3.5-397B模型？

A：这个结果说明，对于需要特定工作方式的任务，训练方式比模型大小更重要。Qwen3.5-397B虽然参数量巨大，但没有经过专门的视频深度研究训练，它天然倾向于跳过视觉工具直接文字搜索，或者依赖内部记忆作答。而Video-DeepResearch-30B经过了专门的轨迹模仿训练和强化学习，学会了正确的工具使用习惯，因此在这个任务上反而表现更好。