腾讯ARC实验室突破：AI实现长视频智能分章解析

这项突破性研究由腾讯PCG ARC实验室的蒲俊富、王腾、葛亦肖、葛语莹、李晨和单颖领导完成，于2025年11月18日发布。感兴趣的读者可以通过论文编号arXiv:2511.14349v1查询完整研究内容，或访问项目的开源地址github.com/TencentARC/ARC-Chapter获取更多资料。

设想你正在观看一个两小时的烹饪教学视频，内容从食材准备到最终装盘一应俱全。如果没有章节划分，你想要找到某个特定步骤就像大海捞针一样困难。而如果有人能够智能地将这个视频分成"食材准备"、"调料搭配"、"烹饪技巧"、"装盘艺术"等清晰章节，并为每个章节配上详细说明，你的观看体验将会截然不同。

这正是腾讯ARC实验室团队想要解决的问题。随着网络上长视频内容的爆炸式增长——从在线课程到播客访谈，从技术讲座到生活记录，人们迫切需要一种智能工具来理解和导航这些内容丰富的长视频。传统的解决方案就像用放大镜在地图上找路线，既费时又不够精确。

研究团队发现，现有的视频分析技术面临着三个核心挑战。首先，大多数现有技术只能处理短视频片段，面对动辄几十分钟甚至几小时的长视频时就显得力不从心，就像试图用显微镜观察整座森林。其次，训练这些AI系统需要大量高质量的标注数据，但目前可用的数据集规模太小，标注也过于粗糙，这就好比想要训练一位美食评论家，却只给他看过几道简单的家常菜。最后，现有的评估标准无法准确衡量AI系统对视频内容的理解深度，就像用测量身高的尺子去评判一幅画的艺术价值。

为了解决这些问题，研究团队开发了名为ARC-Chapter的智能视频分章系统。这个系统就像一位经验丰富的电影剪辑师，能够理解视频的整体结构和内容流程，然后将其分成逻辑清晰的章节，每个章节都有简洁的标题、详细的摘要和深入的介绍。

ARC-Chapter的独特之处在于它能够同时处理视频的视觉信息和音频内容。传统方法往往只关注其中一个方面，就像只用一只眼睛看世界，缺乏立体感。而ARC-Chapter则像一位全能的内容分析师，既能看懂画面中的细节变化，又能理解语音中的关键信息，然后将这些信息综合起来形成完整的理解。

在数据准备方面，研究团队构建了一个名为VidAtlas的庞大数据集，包含超过41万个视频，总时长超过11.5万小时。这个数据集的规模是之前同类研究的50倍，就像从一个小图书馆扩展到了国家图书馆的规模。更重要的是，每个视频都经过了精心的多层次标注，不仅有基本的章节划分，还有详细的结构化描述和时间戳对齐的内容说明。

团队还开发了一套半自动的标注流程，就像组装了一个智能内容工厂。这个流程首先使用语音识别技术将音频转换为文字，同时用图像理解技术分析视频画面内容，包括场景变化和屏幕文字。然后，系统将这些多模态信息按时间顺序整合，形成一个完整的内容描述。最后，大语言模型像一位专业编辑一样，将这些原始信息重新组织成结构清晰的章节内容。

一、智能分章技术：像导演一样理解视频节奏

ARC-Chapter的核心技术就像培养一位专业的视频内容分析师。这位"分析师"需要同时具备敏锐的视觉观察能力和准确的听觉理解能力，才能真正掌握视频的整体节奏和内容结构。

在技术架构方面，系统选择了Qwen2.5-VL-7B作为基础模型，就像选择了一个聪明的学徒作为培养对象。这个基础模型本身就具备处理图像和文本的能力，研究团队在此基础上进行了专门的训练，让它学会理解视频内容的时序关系和语义结构。

系统的输入设计非常灵活，就像一个多才多艺的内容分析师可以适应不同的工作条件。当视频和音频都可用时，系统会同时分析画面变化和语音内容，获得最全面的理解。当只有视频画面时，系统会专注于视觉线索，比如场景转换、文字出现等。当只有音频转录文本时，系统则依靠语义分析来理解内容结构。

为了处理长视频，系统采用了巧妙的采样策略。对于较短的视频（12.8分钟以内），系统会以每秒1帧的密度采样，确保不遗漏任何重要的视觉信息。对于更长的视频，系统会智能地降低采样频率，但仍然保持足够的覆盖度来捕捉高层次的语义变化。这就像从飞机上俯瞰城市布局，虽然看不到每个细节，但能清楚地理解整体结构。

在音频处理方面，系统使用了一个聪明的解决方案。直接处理音频特征会产生海量的数据——一小时的音频可能产生18万个特征标记，这远超现有模型的处理能力。因此，系统选择使用Whisper-v3进行语音识别，将音频转换为带时间戳的文本。这样既保留了时序信息，又大大减少了数据量，就像将厚重的百科全书浓缩成精简的要点摘要。

系统的输出同样体现了灵活性和实用性。它可以生成三种不同详细程度的结果：简短标题适合快速浏览，结构化章节包含标题、摘要和介绍三个层次，而带时间戳的视频描述则提供了最详细的内容分析。这就像同一部电影可以有预告片、剧情简介和详细影评三种不同的介绍方式。

二、大规模数据集构建：打造视频理解的知识宝库

构建VidAtlas数据集的过程就像建造一座包罗万象的视频图书馆。研究团队面临的首要挑战是如何从互联网的海量视频中筛选出高质量的素材，然后为每个视频制作详细而准确的"目录"。

数据收集的起点是寻找那些已经有用户手工标记章节的视频。这些视频就像是已经被专业编目员整理过的图书，具有天然的结构化特征。研究团队设定了严格的筛选标准：视频长度必须在2分钟到3小时之间，既避免了过短视频的信息不足，也避免了过长视频的结构松散问题。

更重要的是，团队确保数据集覆盖了16个主要类别和100多个子类别的视频内容。从教育讲座到DIY教程，从产品评测到访谈节目，从健身指导到烹饪教学，这些多样化的内容就像不同类型的书籍，能够训练AI系统理解各种不同的内容模式和叙述结构。

在数据标注方面，团队开发了一套精巧的半自动化流程。这个流程就像配备了现代化设备的内容工厂，能够高效地将原始视频转换为结构化的知识。

首先，系统使用Whisper-v3对音频进行转录，生成带时间戳的文字内容。与此同时，系统以固定间隔从视频中提取关键帧，使用Qwen2.5-VL-7B模型为每帧生成详细的视觉描述，包括场景内容和屏幕上的文字信息。这个过程就像派遣两组专家分别负责"听"和"看"，确保不遗漏任何重要信息。

接下来是关键的信息整合步骤。系统按照时间顺序将文字转录和视觉描述编织在一起，形成一个完整的多模态内容描述。这就像将不同乐器的乐谱合并成一首完整的交响乐，每个时间点上的信息都得到了充分的记录。

最后，大语言模型登场，扮演专业编辑的角色。它分析整合后的内容，结合原有的章节标记，生成三个层次的结构化描述：简洁的章节标题、概括性的摘要，以及详细的介绍。这个过程需要模型深度理解内容的语义结构和逻辑关系，就像一位经验丰富的编辑能够从原始材料中提炼出清晰的文章大纲。

最终构建完成的VidAtlas数据集规模令人印象深刻：超过41万个视频，总时长超过11.5万小时，平均每个视频16.8分钟，包含5.5个章节。每个章节平均时长约3分钟，这个长度恰好符合人类注意力的自然节奏。数据集支持中英双语，确保了跨语言的适用性。

三、创新评估标准：更智能的内容理解衡量方式

现有的评估方法就像用测量工具的尺子来评判一幅画的艺术价值——工具本身没问题，但用错了地方。传统的SODA评估标准要求预测结果与标准答案一对一精确匹配，就像要求两个人用完全相同的方式切蛋糕，这在视频分章任务中显然不够灵活。

研究团队观察到，视频分章存在天然的粒度模糊性。同一段内容，有人可能按天划分章节（比如"第一天的旅程"），有人可能按活动划分（比如"参观博物馆"、"品尝美食"）。这两种划分方式都是合理的，就像同一个故事可以有不同的讲述角度。

为了解决这个问题，团队开发了GRACE评估标准。这个新标准的核心创新是允许"多对一"的匹配方式，就像拼图游戏中允许几个小块共同对应一个大块的区域。

GRACE的工作原理类似于一位公正的裁判，它会寻找预测结果和标准答案之间的最佳对应关系。每个标准答案章节可以对应多个预测章节，每个预测章节也可以对应多个标准章节，只要这种对应关系在时间上有重叠，在内容上有相似性。

评估过程分为两个步骤：时间重叠度计算和语义相似度评估。时间重叠度衡量两个章节在时间轴上的覆盖程度，就像计算两个活动的时间交集。语义相似度则使用BERTScore等现代自然语言处理技术，比较章节描述的内容相关性，就像让一位文学评论家判断两段文字是否在讲述相同的主题。

GRACE标准的另一个优势是它能更好地反映人类对视频内容的理解方式。人类在观看视频时，往往会根据内容的自然节奏和逻辑结构进行分段，而不是严格按照时间切割。这种理解方式的灵活性正是GRACE想要捕捉和量化的。

四、训练策略创新：让AI学会灵活适应不同条件

ARC-Chapter的训练过程就像培养一位全能的内容分析师，他需要能够在各种不同的工作环境中都发挥出色的表现。无论是信息完整的理想条件，还是信息缺失的挑战性环境，这位"分析师"都应该能够给出有价值的分析结果。

训练策略的核心是"适应性模态丢弃"技术。在训练过程中，系统会随机遇到三种不同的输入条件：有时同时获得视频和音频信息，有时只有视频画面，有时只有音频转录。这就像让学生在不同的考试环境中练习——有时可以参考所有资料，有时只能看图片，有时只能阅读文字。这种多样化的训练确保了模型在实际应用中的鲁棒性。

这种训练方法的智慧在于它避免了模型对某种特定输入模式的过度依赖。如果模型总是在完整信息条件下训练，当遇到信息缺失的情况时就可能表现糟糕，就像一个总是依赖GPS导航的司机在没有信号时就会迷路。

研究团队还采用了冻结视觉编码器的策略，这样做的好处是可以支持更长的上下文长度，同时集中计算资源优化语言模型部分。这就像在装修房子时保持主体结构不变，只对内部装饰进行精细调整。

训练目标设定为标准的自回归预测，模型需要根据前面的内容预测后续的标记。这个过程就像让模型学会续写故事——不仅要理解已有内容，还要能够生成连贯合理的后续内容。

为了进一步提升模型的时序定位能力，研究团队还引入了基于GRPO算法的强化学习阶段。这个阶段就像给已经基本合格的分析师进行专项技能训练，专门提升他对时间边界判断的精确度。

强化学习的奖励函数专门设计来奖励准确的时间分割，使用简化版的GRACE指标，只关注时间重叠度而忽略语义相似度。这样可以让模型专注于提升时序理解能力，就像专门练习节拍感的音乐家。

有趣的是，虽然强化学习阶段只使用视频输入，但训练效果却能跨模态传递到音频和多模态输入上。这表明模型学习到的是更深层的时序结构理解能力，而不是表面的模态特征匹配，就像学会了音乐节奏感的人即使不看谱子也能感受到音乐的结构。

五、实验验证：全方位性能测试展现卓越能力

为了验证ARC-Chapter的实际效果，研究团队进行了大规模的对比实验，就像举办一场视频理解能力的奥林匹克竞赛，让各种不同的方法在同一个赛场上公平竞争。

实验覆盖了三个主要的评估基准：英语的VidChapters7M数据集和中文的VidAtlas数据集，确保了跨语言的验证效果。这就像在不同的文化背景下测试同一个产品的适用性。

在VidChapters7M的大规模测试中，ARC-Chapter的表现令人印象深刻。与之前的最佳方法Chapter-Llama相比，ARC-Chapter在F1分数上提升了9.2个百分点，在时间重叠度(tIoU)上提升了4.9个百分点，在SODA评分上提升了6.0个百分点。这种提升幅度就像从业余选手一跃成为专业水准。

更有意思的是，随着视频长度的增加，ARC-Chapter的优势变得更加明显。在处理30-60分钟的长视频时，系统的SODA和CIDEr评分相比之前最好的方法有了显著提升，这说明ARC-Chapter真正掌握了长视频理解的精髓，就像一位经验丰富的长距离跑手在后半程展现出更强的耐力。

在中文VidAtlas数据集上的测试结果同样令人鼓舞。完整的多模态版本ARCChapter-vidasr在各项指标上都大幅领先，F1分数达到66.2，比最强的商业模型Gemini-2.5-Pro高出17.5个百分点，SODA评分更是翻了一番还多。这种跨语言的一致性表现证明了系统的通用性和鲁棒性。

研究团队还验证了多模态融合的重要性。单独使用视频或音频的版本虽然也有不错的表现，但多模态融合版本的效果明显更好，就像双眼视觉比单眼视觉有更好的深度感知能力。

在迁移能力测试中，ARC-Chapter展现了优秀的泛化性能。当应用到YouCook2和ActivityNet Captions等密集视频字幕任务时，系统显著超越了之前的最佳方法。在YouCook2上，事件分割的F1/SODA分数达到37.9/12.5，相比之前的33.5/7.9有了实质性提升。这说明在大规模视频分章数据上学到的知识能够有效迁移到相关任务中。

六、数据规模效应：展现深度学习的真正潜力

研究团队进行了细致的数据规模研究，就像探索"数据营养"对AI模型成长的影响。他们分别用20%、40%、60%、80%和100%的训练数据训练模型，观察性能变化趋势。

结果显示了清晰的数据规模效应：随着训练数据增加，模型在所有评估指标上都呈现稳定的性能提升。这种趋势在不同输入模态（纯音频、纯视频、音视频结合）上都保持一致，表明更多数据确实能带来更好的理解能力，就像读书越多的人往往有更深的见解。

这个发现对学术界具有重要意义，因为它反驳了之前一些研究得出的"在小规模数据集上性能会饱和"的结论。实际上，那些研究的数据集规模只有约2万样本，而本研究使用了超过40万个样本，规模差异就像池塘和海洋的区别。

更重要的是，即使只用20%的数据，ARC-Chapter也能达到相当不错的性能，这说明模型具有良好的数据效率。而当使用全部数据时，性能仍然没有出现饱和趋势，暗示着进一步扩大数据规模可能带来更大的性能提升。

七、层次化标注的价值：证明精细标注的重要性

研究团队专门验证了层次化标注策略的效果。他们比较了生成简单章节标题和生成复杂结构化信息（包括标题、摘要、介绍）的模型性能。

结果显示，即使生成更复杂的输出，模型在基本的时序分割任务上的性能几乎没有下降。这就像一位作家在写长篇小说的同时仍然能够保持对故事结构的精确把控。在VidChapter-sml300数据集上，多模态模型在简单标题任务上的F1分数为62.4，在复杂结构化任务上为61.4，差异微乎其微。

这个发现具有重要的实践意义：投入额外努力创建更丰富的标注不仅不会损害基本性能，反而能让模型获得更强的语义理解和生成能力。这就像学习演奏复杂乐曲的音乐家往往在演奏简单曲目时也更加游刃有余。

八、强化学习优化：精雕细琢的时序理解能力

GRPO强化学习阶段的效果验证为研究增添了精彩的结尾。对比实验显示，经过强化学习优化的模型在时序分割精度上有了明显提升，同时基本保持了语义生成质量。

在VidAtlas数据集上，经过强化学习的纯视频模型F1分数提升了0.8，时间重叠度提升了0.7。更令人惊喜的是，虽然强化学习只在视频模态上进行，但音频和多模态版本的性能也得到了提升。这种跨模态的效果传递表明，强化学习过程真正改善了模型的底层时序理解能力，而不仅仅是表面的视觉特征匹配。

语义质量方面的稳定表现也很重要。CIDEr等语义评估指标基本保持不变，有些情况下甚至略有提升，说明KL正则化成功防止了策略退化，让模型在提升时序精度的同时保持了描述质量。

这个研究成果对普通用户意味着什么呢？简单来说，ARC-Chapter就像一位专业的视频内容助理，能够帮助人们快速理解和导航长视频内容。无论是想要在两小时的技术讲座中找到特定知识点，还是想要浏览一小时播客的核心观点，这个系统都能提供精确的章节划分和详细的内容摘要。

对于内容创作者来说，ARC-Chapter可以自动为他们的视频生成专业的章节结构和描述，大大减少了后期整理的工作量。对于在线教育平台和视频网站来说，这项技术能够提升用户体验，让观众更容易找到他们感兴趣的内容片段。

从技术角度看，这项研究展示了大规模数据和精细标注在提升AI系统性能方面的巨大潜力。它不仅在视频理解领域取得了显著进展，更重要的是验证了"数据规模定律"在复杂多模态任务中的有效性，为未来的相关研究指明了方向。

研究团队的工作还体现了开源精神，他们不仅发布了训练好的模型，还提供了完整的代码和数据集，为学术界和产业界的后续研究提供了宝贵的基础。这种开放的态度加速了整个领域的发展，让更多人能够在这个基础上进行创新。

总的来说，ARC-Chapter代表了视频内容理解技术的一个重要里程碑。它不仅解决了长视频分章这个具体问题，更重要的是为构建能够深度理解多媒体内容的AI系统提供了宝贵的经验和启发。随着越来越多的人类知识和经验以视频形式记录和传播，这样的技术将在帮助人们更好地组织、检索和利用这些知识方面发挥越来越重要的作用。

Q&A

Q1：ARC-Chapter是什么，它能做什么？

A：ARC-Chapter是腾讯ARC实验室开发的智能视频分章系统，就像一位专业的视频内容分析师。它能够自动将长视频（比如几小时的讲座或播客）分成有意义的章节，为每个章节生成标题、摘要和详细介绍，还能产生带时间戳的完整视频描述。这样用户就能快速了解视频内容结构，直接跳转到感兴趣的部分。

Q2：ARC-Chapter处理长视频的能力比现有技术强在哪里？

A：现有技术大多只能处理几分钟的短视频，而ARC-Chapter能处理长达几小时的视频内容。它使用了超过41万个视频的大规模训练数据，比之前研究的数据量大50倍。更重要的是，它能同时理解视频画面和音频内容，就像人类一样进行多维度分析，而不是只依赖单一信息源。

Q3：普通用户如何使用ARC-Chapter技术？

A：目前ARC-Chapter主要面向开发者和研究人员，代码和模型已在GitHub开源。对于普通用户，未来可能会看到集成了这项技术的视频平台和应用，比如在线课程网站自动生成课程章节，或者视频网站提供智能内容导航功能。这项技术还能帮助内容创作者自动为他们的视频生成专业的章节结构。