网易首页 > 网易号 > 正文 申请入驻

OpenAI也有24MB的模型了!人人都用的起CLIP模型,iPhone上也能运行

0
分享至

新智元报道

来源:reddit

编辑:LRS

【新智元导读】24MB的CLIP模型香不香?不要显卡,不要大内存,一台手机iPhone就能用!研究人员还顺带解决了CLIP过度关注文本的问题,快来看看怎么做的。

Transformer的模型动辄以GB论大小,参数量也不断突破亿、十亿,这种大模型想要应用在移动端或者给没有高端显卡「平民」玩家使用,也是十分困难。

CLIP 是openAI 在今年年初发布的一个多模态模型,能够从自然语言标注数据中学到有价值的视觉概念,并且和GPT-2/3一样拥有zero-shot的能力。

CLIP的训练数据包括超过4亿个图像文本对,使用256个GPU训练了2周。虽然这是把屠龙刀,但对执剑人有着超高要求,所以有研究人员就在考虑如何缩减模型的规模,把它能用在更多的地方。

这项研究工作在Reddit分享后,直取200赞,声称可以在iPhone中使用。

CLIP模型根据输入的文本,召回相关的图片,但它存在一个问题是过度注重图片中的文本而非语义,例如当输入为cat(猫)时,把图片中包含cat相似文本的图片排序更高。

下面这个有小猫的图片反而获得更低的排序。

可以看出搜索词和图像之间的相似性包括两方面:

1、图像包含与搜索词相似的文本: 我们称之为文本相似性(textual similarity)

2、图像和搜索词的语义含义相似: 我们称之为语义相似性(semantic similarity)

在构建搜索功能时,人们更倾向于选择语义相似性而不是文本相似性,但 CLIP 倾向于给文本相似的图片更高的分数。

输入蜘蛛侠Spider-Man,模型会返回一张蜘蛛Spider的图片,或者是有Spider文本的图片。

给「苹果」贴上一个「iPod」标签,他就真成了一个「iPod」,并且模型认为正确率超过99.7%。

针对这个问题,有人提出了解决方法,就是增加第三个标签「an apple with a label saying iPod」,这样就可以让模型预测正确。

有网友表示,这个idea可以让你博士毕业了!

但研究人员还有其他更深层次探索的解决方案,假设在共享向量空间中存在一个方向,其中图像的「文本性(textness)」特性变化很大,而「语义」特性保持不变,那么可以根据找到的这个方向,使用一个向量指向这个方向,并将其添加到所有的图像向量(或文本向量) ,然后对它们进行标准化并计算余弦相似性,这个向量称之为textness_bias向量。

在进行下一步操作前,消除文本偏差向量的影响。

并且创建一个新的caption数据集,去除所有纯文本的图片,然后使用模型的权重找出textness bias向量。

实验结果表明,向文本向量添加bias比向图像向量添加bias更有效,并且scale值越大,CLIP 越强调文本的相似性。

借助CLIP的强大功能,可以使用知识蒸馏的方法减小模型的尺寸,CLIP 模型实际上是两个具有不相交参数集的模型: ViT (将图像转换为向量)和 Transformer (将文本转换为向量)模型。

研究人员决定对 ViT 模型(精度为 FP32的350MB)进行模型精馏,学生 ViT 模型的大小初步决定小于50MB。

创建的学生模型将宽度和层数减少了两倍,由于不确定header的数量,所以定义了两个版本,一个与teacher模型中的头的数量相同,另一个头的数量是模型的两倍,这个实验可以看到增加头的数量将如何影响模型的性能。

训练数据来自不同来源的大约20万张图片。大约10个epoch之后,一旦看到一些可信的实验结果,输入图片的大小就增加到了80万以上。

损失函数使用 KLD + L1损失之和对模型进行训练,在前10个epoch,temperature被设定为4,然后减少到2。

最初的 CLIP 是用4亿张图片训练的。虽然收集如此大规模的图像是不切实际的,但研究人员主要关注标准开源数据集中的图像。为了避免对大量图像的需求,也尝试过使用 Zero Shot 蒸馏,但是没有成功。

使用 COCO 测试数据集,通过查看每个搜索词的前20个结果来查看蒸馏后 CLIP 模型的性能。还评估了平均精度(MAP)的基础上top N 的结果,对于每个搜索词,原始的CLIP 和蒸馏后的CLIP的 N的 范围从10到20。

对于 每个N,可以发现 MAP 大约为0.012。如此低的精度表明从原始和蒸馏 CLIP 得到的结果不会有很多共同的结果。

虽然这听起来令人沮丧,但是从蒸馏后的 CLIP 模型得到的结果看起来蒸馏效果确实还是可以的。

它们都给出了语义上有意义的结果只是方面不同,快速浏览这两个模型的前20个结果解释了低 MAP的原因。

根据bird搜索词,teacher和student模型的召回结果如下所示。虽然召回不同,但都是正确的。这两个结果都是有意义的,尽管几乎没有任何共同的结果。

虽然蒸馏后的 ViT CLIP模型显示了良好的结果,但是有一些情况下,它的性能比原来的模型有所下降。

1、对于未包含在训练数据集中的情况,它的性能很差: 但这是基于一些观察的假设,还没有进行测试来验证它。例如,对于像 flag 这样的搜索词,它的召回结果不尽如人意。另一个有趣的例子是搜索词 flock。这个蒸馏后的模型学会了将数量的概念和 flock 联系起来,但是方式错了。student模型显示的是大群的动物而不是鸟

2、颜色搜索的准确率下降,而且也不能做 OCR: 还应该注意到,在进行颜色搜索时,提取的模型不能执行概念的合成。例如,当搜索白猫时,提取的模型会返回图像中某处有白色颜色的猫的图像,而不是白猫的图像。最初的模型似乎很好地组合了这些概念。另一个发现是模型无法从图像中读取文本,这是原始CLIP模型擅长的。研究人员认为这也是由于训练数据集不包含很多带有文本的图像导致的。

3、它似乎失去了多模态的特性: 搜索圣诞节或学校这样的词,原始CLIP模型返回多模态的结果,如圣诞树,圣诞帽和圣诞蛋糕和书籍,学校标志和学校校车。但在蒸馏模型的结果中没有看到这个属性。

最后得到的学生模型大小为48MB。经过几个星期的单 P100 GPU 的训练,模型效果已经可以应用了。随后作者将模型转换成 CoreML 格式,将精度降低到 FP16(大小变为只有24 MB) ,发现其性能与 FP32模型相比变化不大。

除此之外,在进行图像检索时,仍然使用 CLIP 中的原始语言模型。

蒸馏后的CLIP模型可以在iPhone上运行。

但目前代码仍未公开,作者表示未来将在GitHub上开源代码。

参考资料:

https://www.reddit.com/r/MachineLearning/comments/p1o2bd/research_we_distilled_clip_model_vit_only_from/?utm_source=amp&utm_medium=&utm_content=post_body

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
18岁男孩高考后去上海跑外卖,干了一个月跑了338单,一算工资倒欠站点114元

18岁男孩高考后去上海跑外卖,干了一个月跑了338单,一算工资倒欠站点114元

一丝不苟的法律人
2026-11-22 13:20:47
9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

风过乡
2026-11-22 08:12:54
拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

拟注入“利润奶牛”但连吃两个跌停,中国稀土吞下中稀凉山,同业竞争承诺延期

华夏时报
2026-11-21 19:35:10
高市制造了“舷梯门”

高市制造了“舷梯门”

天真无牙
2026-11-21 14:52:51
每天吃一个苹果错了?研究发现:上了年纪,苹果应该这样吃

每天吃一个苹果错了?研究发现:上了年纪,苹果应该这样吃

医学科普汇
2026-11-22 08:30:33
46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

46岁方力申官宣二胎得子凑好字,妻子一年抱俩引争议,过往太戳人

洲洲影视娱评
2026-11-22 10:20:20
大幂幂不是白叫的

大幂幂不是白叫的

草莓解说体育
2026-10-24 07:40:22
“爸爸我爱你”为什么也会敏感违规?

“爸爸我爱你”为什么也会敏感违规?

历史总在押韵
2026-11-20 18:32:28
太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

火山詩话
2026-11-22 05:03:22
50分空砍!恩不出界,太离谱了!

50分空砍!恩不出界,太离谱了!

篮球实录
2026-11-22 16:20:56
“寒门出贵子越来越难了”!中国政法、上海交大等高校不向研究生提供住宿,租房压力引发热议

“寒门出贵子越来越难了”!中国政法、上海交大等高校不向研究生提供住宿,租房压力引发热议

火山詩话
2026-11-21 20:49:37
她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

她是最干净女演员,被军官苦追5年才嫁,如今和女儿被宠如宝

娱深有瓜
2026-11-22 14:05:10
最新!全军采购资格暂停名单:八马茶业、紫光软件、中国交通建设集团、三亚凤凰国际机场

最新!全军采购资格暂停名单:八马茶业、紫光软件、中国交通建设集团、三亚凤凰国际机场

财通社
2026-11-22 16:41:17
突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

突发!黄仁勋离开英伟达后,台积电“操作”惊呆所有人

大厂财经社
2026-11-22 11:23:39
出大事了!澳洲银行,突然大量关停中国人账户!

出大事了!澳洲银行,突然大量关停中国人账户!

澳洲财经见闻
2026-11-21 15:10:02
伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

伺候宋美龄大半辈子的老佣人,临死之际才肯吐露:她能活到106岁,凭借的哪里是那些补品,真正见效莫过于这件事!

扶苏聊历史
2026-11-21 17:42:04
大瓜!币圈人士徐可指控孙宇晨“恐艾”,和感染HIV女网红有关,孙宇晨回应,有网友提醒景甜

大瓜!币圈人士徐可指控孙宇晨“恐艾”,和感染HIV女网红有关,孙宇晨回应,有网友提醒景甜

火山詩话
2026-11-22 09:07:07
年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

可读
2026-11-21 00:13:14
“北长城”颜妮低调完婚,沈阳副市长道贺,郎平送视频祝福

“北长城”颜妮低调完婚,沈阳副市长道贺,郎平送视频祝福

排球大视界
2026-11-22 13:47:44
云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

云彩太阳都一模一样!特斯拉FSD V15实景视图刷屏 车主集体喊疯狂

快科技
2026-11-22 10:00:08
2026-11-22 17:00:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16742文章数 67254关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
教育
数码
亲子
公开课

艺术要闻

世界十大著名宫殿盘点:中国独占两席

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版