中山大学重新定义视频理解：让AI像人一样"放大镜观看"长视频

当你在观看一部两小时的电影时，你的眼睛并不会平均分配注意力到每一个画面。相反，你会在关键情节出现时聚精会神地观看，在过渡场景时放松注意力。这种"有重点的观看"能力，正是中山大学联合阿里巴巴通义实验室研究团队想要赋予人工智能的核心能力。

这项由中山大学计算机科学与工程学院的傅圣豪、杨启泽、李袁明等研究者，联合阿里巴巴通义实验室的魏西涵等专家共同完成的研究，发表于2025年9月的arXiv预印本平台（论文编号：arXiv:2509.24786v1）。他们开发了一个名为LOVE-R1的视频理解模型，这个模型最大的特点就是能够像人类一样，先粗略浏览整个视频内容，然后根据问题需要"放大镜式"地仔细观察特定片段。

传统的AI视频理解就像用固定规格的网筛捞鱼——要么网眼太大漏掉小鱼，要么网眼太小装不下太多鱼。具体来说，当前的大型视频语言模型面临着一个根本性的矛盾：要理解长视频的完整情节，就需要密集采样更多画面帧，但这会导致空间细节模糊；要保持画面的清晰度和细节，就必须减少采样帧数，这又会丢失时间线上的重要信息。这种"鱼与熊掌不可兼得"的困境，让AI在面对长视频理解任务时表现不佳。

研究团队通过分析发现了一个有趣的现象：在大多数视频问答任务中，真正需要用到的关键帧其实很少。就像看一部侦探电影，虽然整部影片有两小时，但破案的关键线索可能只出现在几个重要场景中。具体的数据显示，超过75%的问题只需要随机选择的32帧画面就能回答，而90%的注意力权重都集中在仅仅5%的帧上。

基于这一洞察，LOVE-R1采用了一种"快慢结合"的视频处理策略。这就像你用无人机俯瞰整个城市规划路线，然后步行深入感兴趣的具体街区进行详细探索。模型首先以高帧率但低分辨率的方式快速浏览整个视频，获得全局时间线的理解。当遇到需要更多视觉细节的问题时，模型会智能地选择特定时间段，用高分辨率的方式重新观察这些片段。

整个推理过程被设计为一个三步骤的多轮对话。在第一步，模型评估当前掌握的视觉信息是否足够回答问题，这像是学生在考试时先判断自己是否已经掌握了答题所需的全部知识点。如果信息不够，模型会进入第二步，基于问题内容和已有的全局理解，精确定位需要"放大观察"的时间段。最后在第三步，结合全局视角和局部细节，给出最终答案。

为了训练模型具备这种智能的"注意力分配"能力，研究团队设计了一个三阶段的训练方案。第一阶段是"模板适应训练"，让模型熟悉这种新的视频处理格式。这就像教会一个人使用新式的显微镜，需要先熟悉设备的操作方式。他们使用了约15.3万个视频指令样本，其中包括FineVideo数据集和LLaVA-Video-178k中2-3分钟的视频片段，还加入了ET-Instruct数据集来增强时间定位能力。

第二阶段是"思维链冷启动"，团队精心构建了3.8万个高质量的思维链数据。这些数据来自两个经过精心筛选的视频问答数据集：NExT-GQA和CG-Bench。每个数据样本都包含了完整的推理过程，就像为学生提供了详细的解题步骤示例。为了确保数据质量，他们使用了强大的专有推理模型Gemini 2.5 Pro来生成这些思维链，并通过严格的清洗和过滤流程确保每个样本的准确性。

第三阶段最具创新性，被称为"解耦强化学习"。传统的强化学习只看最终答案是否正确，这就像只根据考试总分来评价学生，无法了解具体哪道题做得好哪道题做得不好。研究团队将这个多步骤推理过程拆解为独立的单步推理，分别优化每一步的表现。特别是对于"放大观察"这一步，他们设计了专门的奖励机制：如果模型选择的时间段与标准答案有重叠，就给予正向奖励，否则给予负向奖励。这种精细化的反馈让模型能够更准确地学会何时以及在哪里进行细节观察。

在具体实现上，LOVE-R1基于Qwen2.5-VL 7B模型进行优化。对于"快速浏览"模式，模型最多采样768帧画面，每帧编码为32个token（约168×168像素）。对于"放大观察"模式，每个选定片段最多采样32帧，每帧编码为256个token（约448×448像素）。由于内存限制，推理过程最多允许3个步骤，总体上下文控制在1.6万token左右。

在四个主要的长视频理解基准测试中，LOVE-R1的表现相当出色。在LVBench上得分48.2%，在LongVideoBench上得分60.1%，在VideoMME上得分66.2%，在MLVU上得分67.4%。与基础模型Qwen2.5-VL相比，平均提升了3.1个百分点，其中在LVBench上的提升最为显著，达到了6.2个百分点。这些提升看似不大，但在AI视频理解这个高难度领域，每一个百分点的提升都代表着技术的显著进步。

研究团队还进行了详细的消融实验来验证各个组件的有效性。他们发现，相比于完全不使用"放大观察"功能的版本，LOVE-R1的整体表现提升了5.3个百分点。当他们尝试随机选择放大片段时，效果明显不如智能选择。这证明了模型确实学会了根据问题内容来判断哪些视频片段最值得仔细观察。

在推理步数的实验中，研究团队发现使用2-3个推理步骤时效果最佳。只有1个步骤时，模型只能基于低分辨率的全局信息回答问题，准确率较低。超过3个步骤后，性能提升趋于饱和，这可能是因为训练时的上下文长度限制。

为了证明性能提升确实来自于这种动态的注意力分配机制，而非单纯的推理能力提升，研究团队还对比了使用固定高分辨率帧和固定低分辨率帧的单步推理模型。结果显示，使用128个高分辨率帧的模型在短视频上表现较好但在长视频上效果不佳，而使用768个低分辨率帧的模型则恰好相反。LOVE-R1通过动态平衡这两种模式，在各种长度的视频上都取得了最优表现。

研究团队还提供了一些精彩的可视化案例。在一个关于烹饪视频的问题中，当被问及"有多少瓣大蒜被加入到培根油中"时，模型首先基于全局信息判断需要寻找添加大蒜的场景，然后精确定位到23-25秒的时间段进行放大观察，最终从屏幕文字"GARLIC 4 CLOVES, MINCED"中找到了正确答案。在另一个关于电影角色的问题中，面对"哪个角色没有在视频中出现"的问题，模型分两步分别定位到不同时间段，找到了Spider-Horse、Spider-Dinosaur和Spider-Cat，最终正确推断出Spider-kangaroo是没有出现的角色。

这项研究的技术创新点不仅仅在于提出了新的视频处理策略，更重要的是为解决长视频理解这一核心挑战提供了一个全新的思路。传统方法试图通过更大的模型或更长的上下文来硬性解决问题，而LOVE-R1通过模仿人类的观看习惯，用更智能的方式分配计算资源。

当然，这项研究也有一些局限性。由于计算资源的限制，模型的推理步数被限制在3步以内，上下文长度也控制在1.6万token。研究团队认为，如果能够扩展到更长的上下文和更多的推理步骤，性能还有进一步提升的空间。同时，他们也指出，当前长视频理解领域的性能很大程度上受限于训练数据的质量，开源更多高质量的长视频理解数据集将对整个领域产生重要推动作用。

这项研究的意义远不止于技术层面的突破。在实际应用中，这种智能的视频理解能力可以应用于视频内容审核、智能视频编辑、教育视频分析、安防监控等多个领域。比如在教育场景中，AI可以自动识别课堂视频中的重点讲解片段；在安防领域，系统可以快速浏览监控录像并自动标记可疑行为发生的时间段。

从更广阔的角度来看，LOVE-R1代表了人工智能向更接近人类认知方式发展的重要一步。人类在处理复杂信息时，天然具备这种"先粗后细、重点关注"的能力。这项研究成功地将这种认知策略编码到了AI系统中，为未来开发更智能、更高效的多模态AI系统提供了重要启发。

说到底，LOVE-R1最大的价值在于证明了一个重要观点：解决AI的复杂问题，有时候不需要更大的模型或更多的计算资源，而需要更聪明的策略。正如人类通过合理分配注意力来高效处理信息一样，AI也可以通过学习这种智能的资源分配方式来提升性能。这种思路不仅适用于视频理解，也为其他需要处理大量信息的AI任务提供了新的解决方案。随着技术的进一步发展，我们有理由期待看到更多采用类似策略的AI系统，它们将更加智能、更加高效，也更加接近人类的认知方式。

Q&A

Q1：LOVE-R1的"放大镜观看"机制具体是怎么工作的？

A：LOVE-R1采用"快慢结合"的策略，首先用低分辨率高帧率的方式浏览整个视频获得全局理解，然后根据问题需要智能选择特定时间段用高分辨率重新观察。这个过程分三步：先判断信息是否够用，不够就定位需要放大的片段，最后结合全局和局部信息给出答案。

Q2：为什么LOVE-R1比传统视频理解模型效果更好？

A：传统模型要么用高分辨率但帧数少丢失时间信息，要么用低分辨率但帧数多丢失空间细节。LOVE-R1通过动态分配注意力解决了这个矛盾，在四个长视频理解基准上平均提升3.1个百分点，其中LVBench提升6.2个百分点。

Q3：LOVE-R1的训练过程有什么特别之处？

A：LOVE-R1采用三阶段训练：先适应新的视频处理格式，然后用3.8万个高质量思维链数据进行冷启动，最后通过"解耦强化学习"分别优化每个推理步骤。特别是对"放大观察"步骤设计了专门的奖励机制，让模型学会精确选择观察时间段。