南京大学等多所高校联手打造，开源视频AI终于能"一心多用"了？

这项研究来自南京大学、上海人工智能实验室、南洋理工大学与北京大学的联合团队，论文以预印本形式发布于arXiv（编号：arXiv:2607.14935），发布时间为2026年7月16日。有意深入了解的读者可通过该编号检索完整论文。

在日常生活中，我们早已习惯了用视频来记录、分享和传递信息。短短几分钟的短视频、长达几小时的纪录片、实时直播的体育比赛……视频早已渗透进我们生活的每个角落。而在人工智能领域，让机器"看懂"视频，一直是一项极具挑战性的任务。近年来，能够理解视频内容、回答相关问题的AI系统已经出现，但这些系统普遍存在三个让研究者头疼的老问题：要么只擅长处理某一类视频，换个场景就"水土不服"；要么计算量太大，跑起来费时费力；要么代码和数据不公开，外人很难重复验证甚至借鉴改进。

正是为了攻克这三个难题，来自多所顶尖高校和研究机构的团队共同推出了一个新的视频理解AI系统，命名为VideoChat3。这个名字里的"Video"代表视频，"Chat"代表对话交流，合在一起就是"能和你聊视频内容的AI"。而这次发布的第三代版本，在前两代的基础上做出了系统性的全面升级，目标是打造一个既能处理各种类型视频、又高效节能、还完全开放给公众使用的视频理解基础系统。

VideoChat3的核心参数规模只有40亿（4B），在主流的视频理解测试中，它的表现超越了许多参数规模相同甚至更大的竞争对手，包括阿里巴巴旗下的Qwen3-VL-4B和艾伦人工智能研究所的Molmo2-4B。更重要的是，团队不仅开放了模型权重，还把训练代码、训练策略、完整训练数据集和数据构建流程全部公开，让任何有兴趣的研究者都能完整复现这一成果。

一、视频理解为什么这么难？机器的"视觉疲劳"

要理解VideoChat3的创新价值，先得弄清楚让机器看懂视频到底难在哪里。可以把这个问题类比成一个人在读一本书——但这本书有成千上万页，每一页都印满了密密麻麻的图案，而读者需要在极短时间内不仅记住每一页的内容，还要理解各页之间的因果关系、时间顺序以及前后呼应。

现有的大多数视频AI系统，其实是把图像理解能力"搬运"到视频上来用的。具体做法是：从视频中每隔一段时间抽取一帧（一张静止画面），然后对这些静止画面逐一分析，最后把分析结果汇总给语言模型进行推理。这就好比你想了解一部电影的剧情，但只被允许每隔几分钟看一张截图——你可能能猜出大致情节，但细节和连贯性必然大打折扣。

这种方式带来了两个根本性的缺陷。其一，稀疏采样意味着大量细节被直接丢弃，比如一个快速的动作、一个转瞬即逝的表情，很可能就消失在被跳过的帧里，永远不会进入AI的"视野"。其二，即便是相邻帧之间的内容，往往有大量重复——比如一个人在走路，连续十帧画面里背景几乎一模一样，但系统仍然会把每一帧当作全新信息来处理，造成大量"无效计算"。更糟糕的是，随着视频变长，需要处理的帧数呈线性增长，但AI中"语言理解"部分的计算量却是以帧数的平方速度飙升，就像往一个越来越小的容器里塞越来越多的东西，系统很快就会不堪重负。

VideoChat3团队提出的核心理念是：与其在AI的"大脑"（语言模型）那里处理大量重复冗余的信息，不如在更早的阶段——也就是AI的"眼睛"（视觉编码器）那里，就把时间上连续的、冗余的信息压缩掉，只把真正有价值的内容传递出去。这个思路听起来简单，实现起来却需要从底层架构重新设计。

二、给AI装上"时间感知眼睛"：I3D-ViT是什么

VideoChat3的第一个核心创新是一种全新的视觉处理器，团队给它起了个技术名称叫"充气式三维视觉变换器"，英文缩写是I3D-ViT（Inflated 3D Vision Transformer）。这个名字听起来很绕口，但背后的原理其实可以用一个直观的比喻来理解。

普通的视觉处理器就像一个摄影师，每次只能看一张照片，看完这张再看下一张，永远不知道前后两张之间发生了什么。I3D-ViT则更像一个视频剪辑师——他不只是逐帧分析，而是把连续的若干帧放在一起，同时感知它们，从而理解帧与帧之间的运动变化和时间联系。

具体来说，I3D-ViT把视频切分成若干个"帧块"（frame chunk），每个帧块包含若干帧相邻的画面。在每个帧块内部，所有帧的画面信息被展平成一个序列，然后通过一种叫做"时空自注意力"的机制，让画面中的每个小区域都能感知到同一帧块中其他位置、其他时刻的内容。这就好比给每张照片里的每个像素都装了一双"时间望远镜"，能同时看到几帧前后发生了什么，从而判断自己的位置和状态是否发生了变化。

处理完帧块内部的时空关系之后，I3D-ViT还会对时间维度进行"压缩"——把同一帧块里多帧的信息合并成一个更紧凑的表示。如果每个帧块包含4帧，那压缩之后，原本4份信息就变成了1份，同时还结合了2×2的空间像素合并，整体上把视觉信息压缩了16倍。换句话说，同样的"内存预算"之下，VideoChat3能处理的视频帧数是原来的4倍，而且这额外的帧数带来的不是噪声，而是更丰富的动态细节。

这个设计还有一个巧妙之处：它不是从零训练的，而是从一个已经在大量图像上预训练好的模型（MoonViT）出发，通过"充气"（inflation）的方式把原本只能处理单帧图像的2D注意力机制，扩展成能处理多帧视频的3D版本。这就像把一个只会看静态照片的摄影师，通过专项培训改造成了能剪辑动态视频的剪辑师——底层技能是共通的，只是多了时间感知的维度。

从实验数据来看，装备了I3D-ViT之后，系统在图像理解任务上的表现几乎没有退步（图像平均得分从65.30微升至66.10），而在视频理解任务上的综合得分则从43.9大幅跃升至51.4，涵盖了动作识别、长视频理解、时间推理和时间定位等各类任务，提升幅度十分显著。这说明I3D-ViT在保住"看图"能力的同时，极大地增强了"看视频"的能力，而这一切只需要每个帧块多付出一点点计算代价。

三、给AI装上"注意力节流阀"：流式视频中的自适应分辨率

除了改造"眼睛"来看普通视频之外，VideoChat3还需要应对一个更特殊的场景——实时直播流。当视频是实时播放的，AI必须在内容到来的同时就做出判断：现在该回答问题，还是继续等待？

这个问题让研究者想到了人类观看直播的方式。当你在看足球直播的时候，大多数时候你的注意力是放松的，只是大致跟随着比赛节奏；但当一名球员突破防守、带球冲向球门的时候，你会立刻集中注意力，屏住呼吸等待那关键的一脚。这种"平时放松、关键时刻高度专注"的模式，正是VideoChat3的流式处理机制想要模仿的。

在技术层面，VideoChat3把直播流切分成连续的"感知窗口"（streaming clip），每个窗口对应一段短暂的视频片段。对每个窗口，AI会先判断当前内容属于三种状态之一。第一种叫做"静默"（Silence）：当前内容与用户的问题无关，没有有价值的信息，AI保持沉默，继续低成本地监视后续内容。第二种叫做"待命"（Standby）：当前内容可能与问题有关，有潜在线索，但信息还不够充分，需要更仔细地观察接下来的内容。第三种叫做"回应"（Response）：已经积累了足够的视觉证据，可以生成答案了，AI立即输出回答，然后回到低成本监视模式。

最巧妙的设计在于，这三种状态不仅控制着AI什么时候"开口说话"，还控制着下一个感知窗口的"视觉分辨率"。处于静默状态时，下一个窗口用低分辨率处理（每帧最多224×224像素），省电省算力；处于待命状态时，下一个窗口切换到高分辨率（每帧最多448×448像素），放大细节以便做出更准确的判断；回应完毕之后，重新回到低分辨率监视。这就好比你在看直播的时候，平时可以把屏幕亮度调低省电，但当球场上出现紧张局势时，你会自动把屏幕亮度调高、坐直身体仔细看。整体算下来，VideoChat3在直播流处理中平均只用了满额像素预算的30.2%，却比一直使用低分辨率或一直使用高分辨率都要表现得更好。

四、数据是模型的粮食：三个专属数据集是怎么做出来的

一个视频AI系统性能的好坏，不只取决于模型结构有多精妙，训练数据的质量和多样性同样至关重要。为了让VideoChat3能够同时处理短视频、长视频和实时直播，团队专门构建了三个各有侧重的训练数据集，合计包含约300万条高质量的多模态指令样本。

第一个数据集叫VideoChat3-Academic2M，共包含约227万条样本，主要来源于已有的六个学术数据集，包括LLaVA-Video、Spoken-MIT、Vript等，涵盖了视频字幕生成、视频问答和细粒度动作理解等多种任务类型。这些学术数据集的优势在于经过人工验证、标注可靠；但问题是，很多原始标注都太简短了——很多问答样本的答案只是一个选项字母或一个短语，比如"A"或者"去汽车那里"，这对AI学习如何生成完整、有逻辑的回答帮助不大。

为了解决这个问题，团队开发了一套"注释增强"流程。具体做法是用另一个更强大的AI模型（Qwen3-VL-235B-A22B）对每条原始问答进行改写，把简短的答案扩展成包含视觉证据和推理过程的详细回答。比如，原始数据里的答案是"去汽车那里"，改写后变成了一段逐步描述女性如何走出建筑、穿过通道、接近蓝色汽车并把包放进后备箱的详细叙述，平均单条回答的词量扩展了约33.5倍。为了防止AI改写时"胡编乱造"，系统还会用同一个模型作为"审核员"，检查改写内容与原始标注是否语义一致，不一致的样本直接剔除。这套流程保留了原始数据的可靠性，同时大幅提升了监督信号的密度和质量。

第二个数据集叫VideoChat3-LV116K，共包含约11.6万条样本，专门针对长视频理解场景。长视频不是短视频的简单叠加，它面临的挑战是：关键信息可能散布在视频的各个角落，事件之间有跨越数分钟甚至数小时的因果关系，理解一件事往往需要联系更早发生的另一件事。为了构建这类数据，团队先从多个来源收集了大量长视频（平均时长从156秒到1300秒不等），然后用视频场景检测工具把每个长视频切成若干个时间上连贯的短片段，对每个短片段单独进行描述和标注，最后把这些片段描述按时间顺序拼接起来，形成对整个长视频的结构化理解。在这个基础上，系统会进一步生成需要跨片段推理的问答对（比如"这两件事发生的先后顺序是什么"）、时间定位任务（比如"'演员换装'这一事件发生在视频的哪个时间段"）以及长视频时间轴摘要等多种类型的训练样本。

第三个数据集叫VideoChat3-OL617K，共包含约61.7万条样本，专门针对实时直播场景。这个数据集的构建思路是把已有的高质量视频问答对，转换成带有明确"回应时机"标注的直播交互序列。具体做法是：先让AI找到视频中包含回答问题所需关键信息的时间段（视觉线索定位），然后把找到的时间段从原视频中剪出来，验证仅凭这段内容是否真的能回答原问题（线索验证），只有通过验证的样本才被保留。最后，把每个样本转换成一个交互序列：无关的视频窗口被标记为静默状态，包含线索的窗口被标记为待命状态，线索出现完毕后立即标记为回应状态并附上答案文本。这套流程把原本的"离线问答"数据，改造成了教AI学会"在正确时机主动回应"的"在线直播"训练数据。

五、四阶段渐进式训练：从"学会看"到"学会主动说"

有了架构和数据，还需要一套合理的训练策略，才能让模型把这一切能力融为一体。VideoChat3的训练分为四个依次递进的阶段，就像一个新员工从入职培训到独当一面的成长过程。

第一阶段（Stage 0）是"视觉预训练"。在这个阶段，I3D-ViT被单独拿出来，配合一个轻量级的临时语言模型进行训练。目标不是让系统学会回答复杂问题，而是让它的"眼睛"能够产生语言模型可以直接理解的视觉特征。就像一个新厨师，第一步先学会识别各种食材，而不是急着做复杂的菜肴。这个阶段共使用了约759万条图像和视频文本对进行训练。训练结束后，临时语言模型被丢弃，只保留训练好的视觉编码器权重，用于后续阶段。

第二阶段（Stage 1）是"视觉与语言对齐"。把训练好的视觉编码器与正式的目标语言模型（Qwen3-4B）连接起来，通过大量图文和视频文本描述任务，让两者的"语言"统一起来。就像让厨师和服务员建立默契——厨师做出的菜，服务员得能准确描述给顾客。这个阶段共使用了约347万条单轮描述样本。

第三阶段（Stage 2）是"视频指令微调"。在前两阶段打好基础之后，这个阶段开放所有模型参数进行全面训练，数据涵盖图像问答、视频问答、字幕生成、多项选择、开放式回答等多种任务形式，共使用了约1033万条样本、约500亿个训练词元。保留大量图像数据的目的是防止模型在适应视频任务时忘记基础的"细看图片"能力，就像一个学习高级烹饪技巧的厨师，仍然需要保持基本的刀工功底。

第四阶段（Stage 3）是"长视频与流式视频专项微调"。使用前面介绍的VideoChat3-LV116K和VideoChat3-OL617K数据，在更长的上下文窗口（最长约10万个token序列）上对模型进行适应性训练，共处理约100亿个词元。这个阶段还引入了一个特别设计的训练机制：在流式视频的训练样本中，并非对所有状态标记都施加同等的训练损失。一个直播流里，"静默"状态出现的次数远多于"待命"和"回应"，如果对每个静默都同等惩罚，模型会变得过于保守，永远不肯开口。另一方面，如果只对状态发生切换的时刻训练，模型又可能学会从历史状态模式而非视觉内容推测下一步行动，走捷径而不真正理解视频。团队设计的解决方案是：始终保留所有状态切换时刻的训练损失，同时从其余的"保持状态"时刻中随机抽取与切换时刻数量相等的样本也施加损失，两者形成1:1的平衡，迫使模型既学会"何时转变"，也学会"何时坚持"，而这两种判断都必须基于视觉证据而非历史惯性。

六、测试成绩单：在各类考试中表现如何

VideoChat3经过了大量标准化测试的全面检验，涵盖了从细粒度动作识别到长视频问答、从时间推理到时间定位、再到实时直播交互的五大类考试场景。

在动作感知类测试中，VideoChat3在MotionBench（细粒度动作理解基准）和TempCompass（时间理解基准）上分别取得了61.7分和75.6分，是所有完全开源模型中的最高分。这说明I3D-ViT带来的时空建模能力，确实让系统在捕捉细微动态变化方面有了显著提升。

在长视频理解方面，VideoChat3在Video-MME（无字幕条件）、LVBench和VideoEval-Pro多项选择三项测试中分别取得了70.1、56.7和60.7分，超越了同等规模的开源竞争对手。在时间定位类测试中，成绩尤为突出：在TimeLens套件的三个子测试（Charades-STA、ActivityNet和QVHighlights）中分别取得了56.1、54.6和67.0的mIoU分数（mIoU是一种衡量预测区间与真实区间重叠程度的指标），比同规模的Qwen3-VL-4B分别高出约9.7、6.4和8.3分；在更难的VUE-TR v1和v2测试中，则分别比Qwen3-VL-4B高出15.0和20.6分，比VideoChat-Flash-7B（一个更大规模的模型）高出超过30分。VideoChat3甚至在全部三个TimeLens子测试中超越了GPT-5和Gemini 2.5 Flash这样的商业闭源系统。

在实时直播测试中，VideoChat3在ODVBench上取得了72.3分，比此前最强的开源流式视频系统StreamForest高出12.4分。在主动回应能力测试OVO-Timing上，取得了平均F1值35.5分，比专门为此设计的Em-Garde系统（还额外配备了20亿参数的辅助模块）还高出4.5分。

在计算效率方面，对比同规模的Qwen3-VL-4B可以发现一个有趣的权衡：由于I3D-ViT需要做时空联合计算，在视觉编码这一步消耗的时间比Qwen3-VL多（比如在处理256帧时，VideoChat3的视觉编码耗时1.272秒，而Qwen3-VL只需0.288秒）；但由于传给语言模型的视觉token数量只有Qwen3-VL的一半，语言模型部分的计算量大幅降低（256帧时语言模型耗时0.380秒对比Qwen3-VL的1.074秒）。综合下来，帧数越多，VideoChat3的总体优势越明显：处理512帧时总耗时3.596秒对比Qwen3-VL的3.838秒，处理1024帧时总耗时8.099秒对比12.251秒，处理2048帧时总耗时20.412秒对比44.449秒，同时显存占用也从106.9GB降至80.8GB，计算量（FLOPs）减少超过60%。

七、消融实验：每个设计到底有多大用

为了验证各个设计组件是否真的有效，而不是"凑巧"整体效果好，团队进行了系统的消融实验——也就是逐一去掉某个组件，看系统整体表现如何变化。

关于I3D-ViT与原始MoonViT的对比：在图像类任务上，两者表现相当（平均分65.30对比66.10，几乎持平）；而在视频类任务上，I3D-ViT的综合得分从43.9提升到51.4，提升幅度约17%。这印证了团队的判断：I3D-ViT的价值不在于增加图像理解能力，而在于利用时间压缩来处理更多帧数，从而获得更丰富的时间动态信息。

关于自适应分辨率与固定分辨率的对比：在OVO-Timing（直播主动回应）测试中，始终使用低分辨率（224×224）的得分是33.5分，始终使用高分辨率（448×448）的得分是30.5分（精度提高了，但用的算力是全额，召回率虽然更高但精确率反而下降，整体F1反而不如低分辨率），而使用状态驱动的动态分辨率则达到了35.5分，并且只用了满额预算的30.2%。这说明"在对的时候用高清"比"始终高清"或"始终低清"都更聪明。

关于状态切换监督掩码的对比：对所有状态标记都施加损失，得分仅有5.8分（模型过于保守，几乎不切换状态）；只对状态切换时刻施加损失，得分是20.1分（召回率97.9%，但精确率只有11.8%，模型变得过于"话痨"，频繁触发回应）；而使用团队设计的平衡掩码，最终得分达到35.5分，精确率33.1%和召回率44.9%均衡提升。这说明掩码设计对于教会AI"什么时候该说话"至关重要。

关于数据集的贡献：使用VideoChat3-Academic2M改写数据集相比使用原始注释，视频综合平均得分从45.7提升到51.4，尤其是动作感知（TVBench从44.0升至54.6）和时间定位（QVHighlights从29.5升至58.4）提升最为显著；加入VideoChat3-LV116K之后，长视频相关测试全面提升，Video-MME从68.4升至70.2，LVBench从54.3升至56.7，QVHighlights从60.3升至67.7；加入VideoChat3-OL617K之后，直播相关测试提升最大，OVO-Timing主动回应F1从4.0飙升至35.5，同时ODVBench从58.2升至72.3，StreamingBench从81.9升至83.0，而离线视频问答指标几乎没有退步。

说到底，VideoChat3解决的核心矛盾，是AI"看视频"时的一个根本性困境：视频信息量太大，直接处理吃不消；但如果简单地大量跳帧，又会错过关键细节。这个研究给出的答案是，在信息进入AI大脑之前，就在视觉感知层面做智能压缩——相邻帧之间的冗余合并掉，无关紧要的时刻用低分辨率扫描，关键时刻才全力以赴。这种"在对的地方花对的力气"的思路，不仅让系统变得更高效，也让它在各类任务上的综合表现超越了更大的竞争对手。

对于普通人而言，这项研究意味着，未来的视频AI助手有可能真正做到：一边陪你看直播，一边在关键时刻主动告诉你"刚才那个球进了"，而不需要你反复截图提问。对于研究者而言，完全开放的代码、数据和训练策略意味着，任何人都可以在VideoChat3的基础上继续改进，而不需要从头开始。如果你对这个研究方向感兴趣，可以通过arXiv编号2607.14935查阅完整论文，或者访问团队在HuggingFace和GitHub上公开的代码和数据仓库。

Q&A

Q1：VideoChat3和普通视频AI有什么区别？

A：普通视频AI通常只是逐帧看静态截图，VideoChat3则通过I3D-ViT同时感知相邻多帧之间的运动变化，相当于从"看照片集"升级为"看短片段"，能捕捉更细微的动作细节，同时把冗余信息压缩掉，大幅减少传给语言模型的数据量，在处理长视频时速度和效率都有明显优势。

Q2：VideoChat3怎么知道直播中什么时候该回答问题？

A：VideoChat3在看直播时会对每个时间窗口做出三种判断：静默（当前内容无关，继续低调监视）、待命（发现潜在线索，切换高清模式仔细看）、回应（证据充分，立即生成答案）。这三种状态还控制了下一段视频用多高的分辨率处理，实现"平时省电、关键时刻全力以赴"的效果。

Q3：VideoChat3的训练数据是怎么来的？

A：团队构建了三个专属数据集。VideoChat3-Academic2M把已有学术数据集的简短答案用AI改写成含视觉证据的详细回答；VideoChat3-LV116K通过把长视频切段、逐段标注再组合的方式，生成需要跨段推理的长视频问答数据；VideoChat3-OL617K把普通问答对转换成带有明确回应时机标注的直播交互序列，三类数据合计约300万条。