网易首页 > 网易号 > 正文 申请入驻

NeurIPS | 消除多对多问题,清华大规模细粒度视频片段标注新范式

0
分享至

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年,机器之心AIxiv专栏接收报道了2000多篇内容,覆盖全球各大高校与企业的顶级实验室,有效促进了学术交流与传播。如果您有优秀的工作想要分享,欢迎投稿或者联系报道。投稿邮箱:liyazhou@jiqizhixin.com;zhaoyunfeng@jiqizhixin.com

陈厚伦,清华大学计算机系媒体所的二年级博士生,主要研究方向是多模态大模型与视频理解 ,在 NeurIPS 、ACM Multimedia 等顶级会议发表多篇论文,曾获国家奖学金、北京市优秀本科毕业生等。

视频内容的快速增长给视频检索技术,特别是细粒度视频片段检索(VCMR),带来了巨大挑战。VCMR 要求系统根据文本查询从视频库中精准定位视频中的匹配片段,需具备跨模态理解和细粒度视频理解能力。

然而,现有研究多局限于粗粒度理解,难以应对细粒度查询。为此,来自清华大学的研究者提出自动化视频 - 文本细粒度标注系统 VERIFIED,并基于此系统构建新的细粒度 VCMR 基准数据集(Charades-FIG、DiDeMo-FIG 和 ActivityNet-FIG),以推动细粒度视频理解的发展。

  • 论文题目:VERIFIED: A Video Corpus Moment Retrieval Benchmark for Fine-Grained Video Understanding (NeurIPS 2024 Track on Datasets and Benchmarks)
  • 论文链接:https://arxiv.org/pdf/2410.08593
  • 主页链接:https://verified-neurips.github.io/

一、介绍

视频语料库时刻检索(VCMR)旨在根据文本查询从大量视频中精确定位特定片段。传统 VCMR 基准的视频标注多为粗粒度标注,视频与文本间存在多对多问题,无法支持细粒度视频检索的训练与评估(图 1 (a)),因此有必要为细粒度 VCMR 建立一个合适的 benchmark。为解决此问题,该研究提出了细粒度 VCMR 场景,使用更精细的文本查询消除数据集中的多对多现象(图 1 (b))。然而建立此类细粒度的 benchmark 有如下的挑战:

(1)人工标注细粒度信息成本高昂,是否可以利用大模型技术实现这一过程?

(2)研究证明大模型存在幻觉问题,如果利用大模型进行标注,如何设计一种方法保证标注数据的质量?

为此,该研究设计了自动细粒度视频标注系统 VERIFIED(图 1 (c)),通过大模型生成富含静态和动态信息的标注,并且基于微调 video foundation model 设计了一个高效的标注质量评估模块,基于此构建了 Charades-FIG、DiDeMo-FIG 和 ActivityNet-FIG 高质量细粒度 VCMR 基准,以推动细粒度 VCMR 研究发展。

图 1:a) 粗粒度 VCMR 中,因查询文本简单,存在许多潜在正匹配(绿色),但这些时刻未被标注,导致真实标注不合理。b) 该研究提出的具有挑战性的细粒度 VCMR 中,查询更细粒度,方法需要从部分匹配的候选项(粉色)中检索出最匹配的一个(绿色)。c) 该研究的 VERIFIED 生成了可靠细粒度标注,包括丰富静态(绿色)和动态细节(蓝色)。

二、VERIFIED 视频细粒度标注系统

图 2:VERIFIED 流程图。Statics Enhanced Captioning(A)和 Dynamics Enhanced Captioning(B),它们生成带有静态和动态细节的多个细粒度描述候选。此外,该研究设计了一个 Fine-Granularity Aware Noise Evaluator(C),该模块生成并选择被扰动的正负样本,通过难负样本增强的对比损失和匹配损失来微调 UMT。这个评估器对描述进行评分,以识别不准确描述。

图 2 展示了该研究的 VERIFIED 标注流程图。为了让大模型像人类那样对视频中的细粒度信息进行标注,该研究设计了 Statics Enhanced Captioning 和 Dynamics Enhanced Captioning 模块,分别对静态与动态细节进行描述。静态信息增强模块通过提取视频关键帧,分析前景和背景属性,生成多个静态细粒度描述,丰富视频的静态视觉信息。动态信息增强模块则根据视频的一个粗粒度标注,首先由 LLM 生成与视频动态内容相关的问题,使用视频问答系统(VQA)获取动态细节,进而生成多个动态细粒度标注,帮助模型更好地理解视频中的动作和变化。

为了保证数据标注的质量,该研究设计了一个细粒度感知的噪声评估模块,其目的在于从前面模块标注的数据中,筛选出可靠的细粒度标注,主要通过以下步骤进行:

(1)扰动文本生成:评估器首先从原始粗粒度标注中生成正向和负向的扰动文本。这些文本通过引入难例(挑战样本)与原始标注进行对比,以提高模型对细粒度差异的敏感度。

(2)筛选最优扰动:通过使用预训练模型(如 SentenceBERT),评估器从生成的扰动文本中挑选最合适的正向改写和最具挑战性的负向改写,保证生成的文本与原始标注的语义距离合理。

(3)损失函数:引入上述正向和负向的扰动文本,计算文本和视频间的对比损失和匹配损失。引入正向扰动文本是为了防止 LLM 生成文本的潜在的 bias,引入负向扰动文本作为困难负样本增强模型对细粒度信息的感知能力。

最后该研究用这个模块对标注数据进行打分,用来作为数据筛选的标准。该研究将 VERIFIED 系统应用于 Charades-STA、DiDeMo、ActivityNet Captions 数据集,对每个视频片段筛选分数最高的标注,得到新的 Charades-FIG、DiDeMo-FIG、ActivityNet-FIG 数据集,作为细粒度 VCMR 的 benchmark。

图 3 图 4 展示了该研究的标注中具有代表性的可视化样本。

图 3:(1-3)分别节选自 ActivityNet-FIG、Charades-FIG、DiDeMo-FIG 数据集,静态和动态的细粒度内容分别用绿色和蓝色标出,不准确的内容用红色标出。

图 4:(1) 本文构建的标注捕捉到了狗与训犬师之间的互动以及狗的运动轨迹。(2) 捕捉到了人物抛掷物体的细节,并传达了这个人多次抛掷的信息。(3) 读取了视觉内容中的文字信息,并正确表达了使用原料的顺序。

统计数据和用户实验还表明视频片段与标注文本之间的多对多现象得到了显著减少,标注细粒度和质量得到了用户的认可。

三、VCMR 实验

本文评估了 HERO、XML、ReLoCLNet、CONQUER、SQuiDNet 方法,分别在 Charades-FIG、DiDeMo-FIG、ActivityNet-FIG 上,对 VCMR(视频库片段检索)、VR(视频检索)、SVMR(单视频片段检索)任务进行了测评,对于片段检索指标,以 0.5/r10 为例,0.5/r10 表示召回的 top-10 个片段中与 ground truth 的 IoU 大于 0.5 的比例,结果如图 5、6 所示。不同模型在视频检索任务中的表现各异,两阶段方法(如 CONQUER、SQuiDNet)通常优于单阶段的方法,所以训练过程中应当避免将视频级别和片段级别的学习纠缠在一起,因为这可能会干扰模型对精确时刻定位的能力,进而影响整体性能,未来研究应该关注如何有效分离视频级别和片段级别的学习,并合理引入细粒度信息。

图 5:细粒度 VCMR、VR 实验结果

图 6:细粒度 SVMR 实验结果

为了说明该研究的细粒度训练数据对于提升模型的细粒度视频检索能力的意义,图 7 展示了 XML 在 Charades-FIG 上训练时,使用不同细粒度训练数据的预测结果可视化。当使用粗粒度数据进行训练时,真实值视频不在时刻排名列表的前 100 名内。排名靠前的预测主要集中在笔记本电脑上,而忽略了其他细节。使用该研究细粒度数据时,性能大大提升。它在排名第 5 位找到了目标时刻,后面的其他候选也与查询高度相关。这展示了细粒度 VCMR 场景中的挑战以及该研究的 VERIFIED 系统生成的标注数据在训练中的有效性。

图 7:XML 在 Charades-FIG 上使用不同细粒度训练数据的部分预测结果

四、结论

现有 VCMR 基准数据集以粗粒度为主,限制了模型对细粒度视频特征的学习。为此,该研究提出了 VERIFIED 自动标注系统,结合大语言模型和多模态大模型生成细粒度的静态和动态标注,并通过微调 UMT 作为数据评估模块提高标注可靠性。基于 VERIFIED 系统,该研究构建了新的细粒度 VCMR 数据集(Charades-FIG、DiDeMo-FIG、ActivityNet-FIG),评估了现有 VCMR 模型在细粒度场景上的表现,实验发现现有检索模型在处理细粒度信息时仍与现实需求存在较大差距。

参考工作

[1] Unmasked teacher: Towards training-efficient video foundation models

[2] Tall: Temporal activity localization via language query

[3] Localizing moments in video with natural language

[4] Dense-captioning events in videos

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
回声报:阿诺德在皇马必须开俱乐部提供的宝马,选低调纯电iX60

回声报:阿诺德在皇马必须开俱乐部提供的宝马,选低调纯电iX60

懂球帝
2026-11-21 05:19:09
3-0!国乒男单再破8强魔咒:陈垣宇淘汰日本世界冠军,林诗栋利好

3-0!国乒男单再破8强魔咒:陈垣宇淘汰日本世界冠军,林诗栋利好

老牛体育解说
2026-11-20 16:03:44
最高法出台《意见》:原则上基层法院不再设立专业化人民法庭

最高法出台《意见》:原则上基层法院不再设立专业化人民法庭

极目新闻
2026-11-20 17:23:21
深夜巨震!“史上最大IPO”,盘中大跌逼近发行价!绿鞋加码再募资122亿美元

深夜巨震!“史上最大IPO”,盘中大跌逼近发行价!绿鞋加码再募资122亿美元

证券时报
2026-11-20 23:52:02
论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

论三大淫妇的饥渴程度:潘金莲初会西门庆,一把将西门庆搂抱放倒

覃仕勇说史
2026-11-13 11:01:08
《GTA6》预告片的金发比基尼美女找到了!不是女主

《GTA6》预告片的金发比基尼美女找到了!不是女主

游民星空
2026-11-21 10:15:23
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

巷北楠猫本尊
2026-11-19 12:30:32
打不过就加入?越南禁不掉军队经商,干脆把公安系统也拉了进来!

打不过就加入?越南禁不掉军队经商,干脆把公安系统也拉了进来!

通文解武
2026-11-15 23:05:05
太鸡贼了!日本放任日元疯狂贬值,实际上是给中国做的一个局?

太鸡贼了!日本放任日元疯狂贬值,实际上是给中国做的一个局?

瓦伦西亚月亮
2026-11-21 01:41:05
7亿!加索尔正式联手科比遗孀!

7亿!加索尔正式联手科比遗孀!

左右为篮
2026-11-20 12:43:22
为什么邓艾非死不可?只因他偷渡阴平一战同时得罪了四位大佬

为什么邓艾非死不可?只因他偷渡阴平一战同时得罪了四位大佬

史笔似尘钩
2025-05-26 22:16:09
来了一趟中国,菲总统小马科斯态度变了,要加强合作管控分歧

来了一趟中国,菲总统小马科斯态度变了,要加强合作管控分歧

光电科技君
2026-11-20 23:40:19
赵本山唱慌啥子嘛,网友却说:你是不慌,我车贷房贷能不慌?

赵本山唱慌啥子嘛,网友却说:你是不慌,我车贷房贷能不慌?

蜜桔娱乐
2026-11-19 09:25:18
收藏!党的二十届五中全会学习手账来了

收藏!党的二十届五中全会学习手账来了

共青团孝感市孝南区委
2026-11-20 17:17:26
ATP总决赛四强出炉:阿卡兹维列夫均3战全胜,前4号种子成功会师

ATP总决赛四强出炉:阿卡兹维列夫均3战全胜,前4号种子成功会师

全景体育V
2026-11-21 06:33:11
丢绝平三分!活塞爆冷惜败猛龙 坎宁安23+9致命失误巴恩斯29分

丢绝平三分!活塞爆冷惜败猛龙 坎宁安23+9致命失误巴恩斯29分

醉卧浮生
2026-11-21 11:10:44
拖到投票前八天才站台,王惠美出手,反而把难题丢给郑丽文

拖到投票前八天才站台,王惠美出手,反而把难题丢给郑丽文

阿天爱旅行
2026-11-21 09:20:29
炸锅!曼联被公开炮轰!放弃世界级名帅选波切蒂诺

炸锅!曼联被公开炮轰!放弃世界级名帅选波切蒂诺

奶盖熊本熊
2026-11-21 09:10:54
这张《占领南京总统府》的照片,实际上是后来经过“摆拍”的!

这张《占领南京总统府》的照片,实际上是后来经过“摆拍”的!

颜威爱历史
2026-11-13 17:12:29
C罗致敬礼办成追悼会!葡萄牙六场丢十球防线崩盘,新帅四胜难掩尴尬

C罗致敬礼办成追悼会!葡萄牙六场丢十球防线崩盘,新帅四胜难掩尴尬

友谊第一
2026-11-20 12:09:02
2026-11-21 11:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
旅游
教育
手机
游戏

医生眼里"很伤腰"的椅子,很多人天天坐

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

PC Gamer试玩GTA6百小时:双主角出色但任务重复

无障碍浏览 进入关怀版