TPAMI 2025 | 清华 & NTU 联合攻关：掩码全局语义补全

来源：市场资讯

（来源：小白学视觉）

在刷短视频时，你有没有过这样的体验：想搜“海边日落的治愈画面”，结果出来的全是杂乱的风景照；问AI“图片里穿红色裙子的女孩在做什么”，它却答非所问。这些问题的核心，都指向一个关键技术——视觉-语言预训练（VLP）的跨模态对齐能力。

近期，一篇发表于TPAMI 2025的论文《Global and Local Semantic Completion Learning for Vision-Language Pre-Training》，为解决这一难题带来了全新思路。研究团队提出的全局与局部语义补全学习（GLSCL）方法，让模型既能看懂“整体语义”，又能精准匹配“细节特征”，在视觉问答、图文/视频检索等任务上都刷新了最优性能。

论文信息

题目： Global and Local Semantic Completion Learning for Vision-Language Pre-Training

面向视觉-语言预训练的全局与局部语义补全学习

作者：Rong-Cheng Tu, Yatai Ji, Jie Jiang, Weijie Kong, Chengfei Cai, Wenzhe Zhao, Hongfa Wang, Yujiu Yang, Wei Liu

先搞懂：为啥现有模型“看不懂”图文？

我们日常接触的视觉-语言模型，比如能回答图片问题、检索图文的AI，核心依赖“掩码建模”技术。简单说，就是像做填空题一样：遮住文本里的部分单词，或图片里的部分区域，让模型根据上下文补全。

但问题来了——现有方法只盯着“局部补全”：比如补全一个被遮住的单词，或还原图片里一个被遮挡的色块。就像你只认识拼图的每一块，却拼不出完整的图案。

如图1所示，传统模型的注意力图杂乱无章（中间列），全局特征对另一模态的关注毫无规律；而用了本文方法后（右侧列），注意力图精准聚焦关键区域，全局-局部对齐能力大幅提升。

这种“重局部、轻全局”的问题，直接导致模型的全局语义理解能力拉胯：明明是“海边日落”的全局语义，却匹配到了“路边小花”的局部特征；明明问的是“女孩的动作”，却只关注到“裙子的颜色”。

核心创新：给模型补上“全局+局部”双buff

这篇论文最核心的突破，就是提出了“全局与局部语义补全学习（GLSCL）”，简单说就是让模型既补全“整体意思”，又补全“细节特征”，双管齐下提升跨模态对齐能力。

整个方法的核心架构如图2所示，从输入到输出，清晰实现了“单模态编码-跨模态融合-语义补全”的全流程：

创新点1：掩码全局语义补全（MGSC）——让模型看懂“整体”

想象一下：遮住一张图片的80%内容，只留零星像素，让模型根据配对的文本，还原这张图的“全局语义”；或者遮住40%的文本，让模型根据图片，补全文本的核心意思。

这就是MGSC的核心逻辑（如图3）：利用完整模态的信息，恢复被掩码模态的全局特征。比如看到“一只金毛在草地上叼飞盘”的文本，哪怕图片只剩一小块草地，模型也能精准还原“金毛叼飞盘”的全局语义，而不是只盯着“草地”这个局部。

这种训练方式，让模型不再局限于“碎片信息”，而是能抓住跨模态数据的核心语义，大幅提升全局-局部的对齐能力。

创新点2：掩码局部令牌补全（MLTC）——让模型抓准“细节”

如果说MGSC是练“大局观”，那MLTC就是练“细节控”。

传统的局部补全，只靠单模态信息（比如只看图片像素补全图片块）；而MLTC（如图4）的关键在于：用融合了跨模态信息的语义特征做监督。比如补全图片里的“飞盘”区域时，模型会结合文本里“飞盘”的语义，而不是只靠像素猜测。

简单说，MLTC让模型补全细节时，不只是“看像素”，更是“懂语义”，让局部特征和文本单词精准匹配。

创新点3：量身定制的评估基准——ALIGN-BENCH

光说方法好还不够，得有精准的评估方式。研究团队手动标注了1500组图文对，打造了ALIGN-BENCH基准（如图6）：给每张图的关键区域做像素级、边界框级标注，并且和文本里的对应单词绑定。

图6

比如标注“金毛”对应的图片区域，“飞盘”对应的像素范围，然后量化计算模型的注意力是否精准落在这些区域。这就像给模型的“跨模态对齐能力”做了一次“精准体检”，而不是靠模糊的指标判断。

创新点4：灵活的视觉编码器——一张图到一段视频，无缝切换

这篇论文还有个超实用的设计：一个能同时处理图片和视频的视觉编码器。

传统模型要么只能处理图片，要么只能处理视频；而这个编码器只加了少量额外参数，就能把图片预训练的知识迁移到视频任务上。比如先学懂“图片+文本”的语义，再轻松适配“视频+文本”的检索，不用从头训练，效率拉满。

效果有多惊艳？数据说话

再好的方法，最终都要靠实验验证。这篇论文的实验覆盖了视觉问答、图文检索、视频文本检索等多个主流任务，结果堪称“全面领先”。

1. 视觉问答：答得更准

在VQA2.0数据集上，用400万张图片预训练的模型，比同类模型（如METER）高出1.04分；加入MLTC后，性能又进一步提升——意味着模型既能看懂全局问题，又能抓准图片细节，回答自然更精准。

2. 图文检索：找得更快更准

在Flickr30K零样本检索任务中，只用预训练模型直接评估，IR@1（以图搜文准确率）达到79.74%，TR@1（以文搜图准确率）达到91.7%，全面超越ALBEF、TCL等经典模型。哪怕和用18亿图文对训练的ALIGN相比，性能也毫不逊色。

3. 视频文本检索：迁移能力拉满

在MSRVTT视频检索任务中，微调后R@1指标比现有最优模型高出4.6%；零样本场景下也提升了4.8%。更关键的是，只用图片预训练的模型（加入MLTC），就能在视频任务上实现性能提升，充分体现了视觉编码器的灵活性。

4. 跨模态对齐：精准度碾压

在ALIGN-BENCH基准上，该模型的全局-局部、局部-局部对齐分数都远超ALBEF、METER等模型。这意味着模型的注意力真的能精准落在图文对应的关键区域，而不是“瞎猜”。

消融实验：拆解开看，每个创新都有用

为了验证每个模块的价值，研究团队做了大量消融实验：

• 去掉MGSC，零样本检索性能暴跌（IR@1降3.38%，TR@1降6.20%），证明全局语义补全是核心；

• MLTC的图像掩码率选0.3时，检索效果最佳；MGSC的图像掩码率选0.8、文本0.4时，全局特征学习最充分；

• 对比不同损失函数，基于对比学习的损失远优于L2损失、余弦相似度损失，证明损失设计的合理性。

这些实验不是“走过场”，而是真的把每个参数、每个模块的作用讲清楚，让方法的可解释性拉满。

总结：不止是性能提升，更是思路突破

这篇论文的价值，不止是刷新了几个数据集的SOTA，更重要的是提出了“全局+局部”双维度的语义补全思路。

以往的视觉-语言预训练，要么盯着局部碎片，要么忽略全局语义；而GLSCL让模型既懂“整体”，又抓“细节”，从根本上提升了跨模态对齐的质量。同时，ALIGN-BENCH基准的提出，也为后续研究提供了更精准的评估方式；灵活的视觉编码器，则让模型的落地场景更广泛——不管是图文问答、内容检索，还是视频理解，都能发挥作用。

对于普通用户来说，这意味着未来的AI能更精准地理解“图片+文字”“视频+文字”的组合信息：搜“海边日落”不再出现无关图片，问“视频里的人物在做什么”能得到精准回答，甚至刷视频时的推荐也会更贴合心意。

而对于科研和工业界来说，这篇论文的思路也提供了新方向：跨模态学习不该只盯着“局部修补”，更要兼顾全局语义的完整性，让模型真正“理解”多模态信息，而不是简单的“匹配”碎片。

下载1：OpenCV-Contrib扩展模块中文版教程

在「小白学视觉」公众号后台回复：扩展模块中文教程，即可下载全网第一份OpenCV扩展模块教程中文版，涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。

下载2：Python视觉实战项目52讲

在「小白学视觉」公众号后台回复：Python视觉实战项目，即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目，助力快速学校计算机视觉。

下载3：人工智能0基础学习攻略手册

交流群

欢迎加入公众号读者群一起和同行交流，目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群（以后会逐渐细分），请扫描下面微信号加群，备注：”昵称+学校/公司+研究方向“，例如：”张三 + 上海交大 + 视觉SLAM“。请按照格式备注，否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告，否则会请出群，谢谢理解~