网易首页 > 网易号 > 正文 申请入驻

超越CLIP等,多模态图片检索的增强视觉语言大模型预训练

0
分享至

多模态图片检索是计算机视觉和多模态机器学习领域很重要的一个任务。现在大家做多模态图片检索一般会用 CLIP/SigLIP 这种视觉语言大模型,因为他们经过了大规模的预训练,所以 zero-shot 的能力比较强。

牛津 VGG ,港大,上交大团队这篇论文旨在提供一种方法,能够用学术界的资源来增强视觉语言大模型的预训练 (Enhance Language-Image Pre-training),使得其可以更好地用于文字 - 图片检索。这篇论文被 IEEE 国际基于内容的多媒体索引大会(IEEE International Conference on Content-Based Multimedia Indexing)接受,并被评选为最佳论文提名,大会近期在爱尔兰都柏林召开。

  • 关键词:大模型;视觉语言模型;图片检索
  • 项目主页:https://www.robots.ox.ac.uk/~vgg/research/elip/
  • 论文链接:https://www.robots.ox.ac.uk/~vgg/publications/2025/Zhan25a/zhan25a.pdf
  • 代码仓库:https://github.com/ypliubit/ELIP

方法概览

下图是这篇文章方法的预览图。ELIP 方法的核心思想是,先用传统的 CLIP/SigLIP 对全体图片做一次 ranking,然后选出 top-k candidate 再做一次 re-ranking。做 re-ranking 的时候,作者设计了一个简单的 MLP mapping network,可以用文字的特征来定义一些视觉域中的 token,并把这些 token 插入到 image encoder 当中,使得 image encoder 在编码图片信息的时候可以感知到语言信息。这样重新编码之后的图片信息和语言信息再做比对的时候,同一个语言 query 能得到更好的 ranking 结果。ELIP 可以应用到一系列大模型上,比如 CLIP/SigLIP/SigLIP-2/BLIP-2,作者称之为 ELIP-C/ELIP-S/ELIP-S-2/ELIP-B。

学术界研究的挑战

视觉语言大模型的预训练,一般都是工业界做的事情,但作者提出的方法使得用学术界两张 GPU 做训练也变得可能。想法的创新点主要在模型架构和训练数据上。

创新点:模型架构

模型架构上,庞大的图片编码器和文本编码器的权重是固定的,只有作者涉及的由三层 linear + GeLU 构成的 MLP maping network 需要打开训练。

下图是 ELIP-C 和 ELIP-S 的训练图示。训练的时候,一个 batch 的文本图片对输入模型,文本特征映射到视觉特征空间来引导图片信息的编码。对于 CLIP 沿用 InfoNCE 损失函数,对于 SigLIP 沿用 Sigmoid 损失函数,来对齐文本特征和重新计算的图片特征。

下图是 ELIP-B 的训练图示。和 CLIP/SigLIP 类似,MLP mapping network 把文本特征映射到视觉特征空间。唯一不同的是,在这里由文本引导的图片特征放进了 Q-Former 来和输入的文本做 cross-attention,并最终由 ITM Head 来预测图片和文本是否匹配。训练的时候,ELIP-B 沿用 BLIP-2 的 BCE 损失函数。

创新点:训练数据

训练数据上,在学术界做大模型训练要面临的挑战就是 GPU 数量不够,没法开很大的 batch size 训练,这样可能训练出来的模型分辨能力就会下降。而 ELIP 却是要去分辨 CLIP/SigLIP 排序出来的 hard sample,对模型分辨能力的要求就更高了。为了解决这样的挑战,作者在训练的时候先算了一下每个训练图片和对应文字标题的 CLIP 特征,然后把相似特征的图文对聚集在一起形成 hard sample training batch。下图是作者聚合的训练 batch 的例子。对于每一行,第一个 sample 被用来聚合其他 sample。第一行的 caption 从左往右分别是:'a wooden table with no base'; 'a wooden table with a couple of folding legs on it'; 'a table that has a metal base with an olive wood top'; 'small table outdoors sitting on top of the asphalt'。第二行的 caption 从左往右分别是:'a huge body of blue ice floats in a mountain stream'; 'the big chunk of glacier is falling off of the cliff'; 'there is a broken piece of glass that has been broken from the ground'; 'a body of water surrounded by a forest near a mountain'。

新的评测数据集

除了在标准测试集比如 COCO, Flickr 上做测试之外,作者还提出了两个新的 OOD 测试集:Occluded COCO 和 ImageNet-R。对于 Occluded COCO,正样本包含了文字中描述的物体(物体通常被遮挡);对于 ImageNet-R,正样本中包含了文字中描述的物体,但是是来自一些不常见的领域的。负样本中不含文字中描述的物体。下图是一些例子,第一行是正样本,第二行是负样本。对于 Occluded COCO,正样本中含有被遮挡的自行车,负样本中不含自行车;对于 ImageNet-R,正样本中含有金鱼,负样本中不含金鱼。

实验结果

文章的结果如下表。可以看到,应用了 ELIP 之后,CLIP/SigLIP/SigLIP-2 的图片检索表现都显著增长,甚至于 SigLIP 系列模型达到了和 BLIP-2 接近的表现。ELIP-B 应用到 BLIP-2 上之后,也提升了 BLIP-2 的表现,超过了最新的 Q-Pert 方法。

在 OOD 的测试数据集上,ELIP-C/ELIP-S/ELIP-S-2/ELIP-B 都取得了 zero-shot 的泛化提升。如果我们在对应的 domain 上做一些 fine-tune,比如对于 Occluded COCO 我们在 COCO 数据集上 fine-tune,对于 ImageNet-R 数据集我们在 ImageNet 数据集上 fine-tune,可以得到更显著的提升。这进一步说明了 ELIP 除了增强预训练之外,还提供了一种高效的 adaptation 的方式。

作者进一步观察了注意力图,发现当 text query 和图片相关时,ELIP 可以提高图片信息提取 CLS token 对于文字描述的相关区域的注意力和信息提取。

更多细节详见论文原文。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
争议!中国女排队员称国外没有瘦肉精,网友:中国食品安全不能抹黑

争议!中国女排队员称国外没有瘦肉精,网友:中国食品安全不能抹黑

米果说识
2026-11-22 11:30:45
1879年,浙江巡抚谭钟麟午睡醒来,经过通房丫鬟的房间时与她有了关系;正是这一次,这名丫鬟后来生下了一位国民政府主席

1879年,浙江巡抚谭钟麟午睡醒来,经过通房丫鬟的房间时与她有了关系;正是这一次,这名丫鬟后来生下了一位国民政府主席

人生录
2026-11-20 00:05:12
连演唱会荧光棒里都装上了芯片,“工业克苏鲁”真在赔本赚吆喝吗?

连演唱会荧光棒里都装上了芯片,“工业克苏鲁”真在赔本赚吆喝吗?

平流层散步者
2026-11-19 22:50:17
随着凯尔特人96-97,马刺114-91,尼克斯97-96,NBA最新积分榜出炉

随着凯尔特人96-97,马刺114-91,尼克斯97-96,NBA最新积分榜出炉

俯身冲顶
2026-11-22 13:41:27
中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

中国28岁留学生嫖娼16岁日本女高中生,被抓狡辩:为了学日语!

圆圆神神神
2025-08-09 21:49:27
其实很多人活不过70岁

其实很多人活不过70岁

A活着
2026-09-27 09:05:25
预计19.98万起!比亚迪新车官宣11月24日上市 纯电850km+9分钟闪充

预计19.98万起!比亚迪新车官宣11月24日上市 纯电850km+9分钟闪充

阿芒娱乐说
2026-11-22 01:12:44
网易号平台每日辟谣公告(十一月二十一日)

网易号平台每日辟谣公告(十一月二十一日)

网易号官方平台
2026-11-21 18:21:29
支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

支持率仅剩4.3%!自知提前出局后,郑丽文拟为两岸关系上一道锁

青春染指红颜梦
2026-09-02 17:50:13
A股:大家要做好心理准备,周一和周二,股市或将迎来大级别的变化?

A股:大家要做好心理准备,周一和周二,股市或将迎来大级别的变化?

财经大拿
2026-11-22 07:00:21
一位博主,因拒不删稿被活活打死

一位博主,因拒不删稿被活活打死

家传编辑部
2026-10-27 14:08:29
大闹技术台!韩德君为何和技术代表争吵?辽篮又被坑,裁判不该犯错

大闹技术台!韩德君为何和技术代表争吵?辽篮又被坑,裁判不该犯错

喜欢体育的猫
2026-11-22 11:02:15
谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

谁逼着红军走上两万五千里长征的?别全赖蒋介石。真正布下绝杀局、差点把红军逼上绝路的,是个连枪都没怎么摸过的一介书生

扶苏聊历史
2026-11-19 14:16:52
国家动真格了!2027年底前,全国每套房都要迎来“一户一码”

国家动真格了!2027年底前,全国每套房都要迎来“一户一码”

巢客HOME
2026-11-17 05:40:04
案例:河北女子确诊癌症,无意看见垃圾桶内纸团,将女儿7刀捅杀

案例:河北女子确诊癌症,无意看见垃圾桶内纸团,将女儿7刀捅杀

兰姐说故事
2025-01-08 05:05:02
于金永新合同被网传,泰山大概率难留!鲁媒:续约操作,真看不懂

于金永新合同被网传,泰山大概率难留!鲁媒:续约操作,真看不懂

建哥说体育
2026-11-22 10:43:19
《GTA 6》主角能全裸吗?IGN实测给出答案

《GTA 6》主角能全裸吗?IGN实测给出答案

游民星空
2026-11-21 08:29:25
36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

36岁奥斯卡影后当众掀衣秀假体:我是完整C杯

时光慢旅人
2026-11-20 11:03:53
实在太疼了!3天亏掉30多万,大家要引以为戒

实在太疼了!3天亏掉30多万,大家要引以为戒

星图金融研究院
2026-11-21 00:27:03
为啥现行语文教材中几乎不选纳兰容若的词?网友剖析一针见血!精辟

为啥现行语文教材中几乎不选纳兰容若的词?网友剖析一针见血!精辟

夜深爱杂谈
2026-11-21 22:15:11
2026-11-22 15:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142763关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
教育
家居
健康
军事航空

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

家居要闻

2026建博会(广州) 公装联探展交流活动

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版