TPAMI 2026 | 时空图社区检测：Momentor++ 合并冗余令牌，超长视频秒级处理

来源：市场资讯

（来源：小白学视觉）

刷短视频时，你是否有过这样的体验：想精准找到视频里某个片段，却要拖着进度条反复快进后退？想让AI说说视频里某分钟发生了什么，得到的却是笼统的回答？

如今的视频大语言模型，就像一个「只会看个大概」的观众。面对动辄几分钟、包含多个事件的长视频，要么抓不住关键片段，要么计算量暴增导致卡顿。而近期发表的顶会论文《Momentor++：通过细粒度长视频推理推进视频大语言模型》，恰好解决了这些痛点。今天就用大白话，带你看懂这篇让长视频理解「又快又准」的硬核研究。

论文信息

题目： Momentor++: Advancing Video Large Language Models with Fine-Grained Long Video Reasoning

Momentor++：通过细粒度长视频推理推进视频大语言模型

作者： Juncheng Li, Minghe Gao, Xiangnan He, Siliang Tang, Weishi Zheng, Jun Xiao, Meng Wang, Tat-Seng Chua, Yueting Zhuang

先聊聊：现有视频大模型的「两大软肋」

我们刷到的未修剪长视频，往往包含多个独立事件。比如一段10分钟的美食教程，有备料、翻炒、调味、装盘等多个片段。但当下的视频大语言模型，却存在两个明显短板：

1. 记不住「时间」：模型编码视频时，只是单独处理每一帧，没法精准记录画面的时间位置。想让它指出「2分30秒加了生抽」，要么时间戳不准，要么根本说不出具体时刻。

2. 看不懂「片段」：模型只关注视频整体语义，比如「这是一段美食视频」，却没法分析单个片段的内容，更没法理解片段之间的关联。问它「备料和翻炒阶段用的是不是同一个锅」，大概率答不上来。

这就导致，面对长视频，现有模型要么「答非所问」，要么「算得慢还不准」。而Momentor++的出现，就是为了补上这两个缺口。

核心创新1：给模型装上「精准时间感知器」

为了让模型能「看懂时间」，研究团队给Momentor设计了「时序感知模块（TPM）」——相当于给模型配了一个高精度的「时间标尺」。

不是「离散卡点」，而是「连续感知」

以往模型用离散的时间令牌标记视频，比如用〈5〉代表第5秒，容易出现「量化误差」，就像用尺子量长度只标厘米，没法精准到毫米。而TPM构建了「连续时序令牌空间」：把视频的时间线均匀划分，再通过插值计算，让模型能精准表示任意时间点的特征。

简单说，就像给视频时间线铺了一张「连续的特征网」，模型能精准定位到「2分30秒15帧」这样的细粒度时间点，再也不会出现时间戳模糊的问题。

让「相邻时间」更「亲近」

时间是连续的，比如2分30秒和2分31秒的画面，理应比和5分钟的画面更相似。研究团队设计了「邻近令牌传播机制」，让相邻时间的令牌特征更接近，就像让尺子上相邻的刻度线更「默契」，进一步强化了模型的时间感知能力。

下图是Momentor的整体架构图，能清晰看到时序感知模块（TPM）在整个流程中的核心位置：

从图里能直观看到，视频帧先经过编码和投影，再通过TPM注入时间信息，最后和用户指令一起输入大语言模型。整个过程像给视频「打上精准的时间标签」，让模型能读懂每一刻的内容。

核心创新2：给模型喂饱「细粒度训练数据」

巧妇难为无米之炊，想让模型懂片段，得先有对应的训练数据。研究团队打造了「Moment-10M」数据集——包含1000万条指令，覆盖150万个视频片段、45.15万个实例轨迹。

怎么生成这么多高质量数据？

团队设计了一套自动化的数据生成引擎，核心分两步：

1. 精准切分视频片段：先用算法检测视频的事件边界，比如从「备料」到「翻炒」的转换点，再通过语义一致性校验，避免把同一事件拆成多个片段。

2. 构建「实例-事件矩阵」：把视频里的人物、物品（实例）和对应的事件片段关联起来，比如「铲子」出现在「翻炒」「盛盘」等片段，让模型能理解实例在不同片段的关联。

下图是Moment-10M的数据生成流程，能看到从视频到结构化信息，再到多样化指令的完整过程：

有了这套数据，模型不仅能学「单个片段讲了什么」，还能学「跨片段的推理」，比如「备料时切的土豆，在翻炒阶段有没有放」。而且团队做了严格的质量控制，人工抽查显示时间戳准确率89.2%，语义正确率92.7%，确保数据足够靠谱。

核心创新3：给模型装上「令牌瘦身器」，又快又省

长视频编码后会产生海量视觉令牌，就像手机里存了太多高清照片，既占内存又卡速度。研究团队提出「时空令牌整合（STTC）方法」，给这些令牌「瘦身」，而且全程不用额外训练参数。

第一步：空间上「合并相似令牌」

每一帧画面里，总有相似的视觉内容，比如背景墙、重复的图案。STTC把每帧的视觉令牌建模成「空间图」，用社区检测算法找出语义相似的令牌组——比如属于同一个杯子、同一个人物的令牌，然后合并成一个特征。

第二步：时间上「合并冗余令牌」

连续帧里的内容往往高度重叠，比如杯子在5秒到10秒里位置没变化。STTC把空间合并后的令牌组，再构建「时空图」，合并跨帧的相似令牌组，比如把5-10秒里的杯子令牌合并成一个。

下图能直观看到STTC的效果：左边是原始的海量令牌，右边是合并后紧凑的令牌，冗余信息大幅减少，关键细节却没丢：

把STTC和Momentor结合，就得到了Momentor++。它就像给视频大模型装了「压缩神器」，既能减少输入令牌数量，又能保留细粒度细节，计算效率大幅提升。

实测：又快又准，碾压现有模型

研究团队在多个权威基准测试里验证了Momentor++的实力，这些测试覆盖的视频平均时长从473秒到1010秒，全是实打实的长视频。

下图是Momentor++和其他模型的性能对比，横轴是计算开销（FLOPS），纵轴是性能得分，能看到Momentor++用最低的计算成本，实现了最优的性能：

具体来看：

• 在通用视频理解基准（如MLVU、LongVideoBench）上，哪怕基于较弱的Video-ChatGPT骨干，Momentor++也能把得分从31.3提升到61.3；

• 在视频问答任务（如NExT-QA）上，精准的时序建模让推理准确率从34.9提升到46.1；

• 更关键的是，Momentor++的可训练参数最少，计算开销最低，在普通硬件上也能高效运行。

为什么这篇研究值得关注？

对普通用户来说，未来刷长视频时，AI能精准回答「3分15秒出现的那个景点叫什么」，不用再手动拖进度条；对开发者来说，Momentor++的低计算开销，能让长视频理解功能更快落地到手机、平板等终端设备。

这篇论文的核心价值，在于找准了现有视频大模型的「时间感知」和「片段建模」两大痛点，用简洁且高效的方法一一破解：时序感知模块解决「时间不准」，Moment-10M解决「数据不够」，STTC解决「计算太费」。三者结合，让视频大模型从「看个大概」升级为「看懂细节」。

从技术落地角度，Momentor++的无参数STTC模块、低训练成本的特性，也让它更容易被产业界采纳。或许用不了多久，我们日常使用的视频AI助手，就会用上这些技术——到时候，长视频的每一个片段，都能被精准读懂。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：人工智能0基础学习攻略手册

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~