网易首页 > 网易号 > 正文 申请入驻

苹果联合打造RubiCap框架:让AI描述图像每个细节

0
分享至

IT之家 3 月 26 日消息,科技媒体 9to5Mac 昨日(3 月 25 日)发布博文,报道称苹果公司携手威斯康星大学麦迪逊分校,联合发布名为 RubiCap 的全新 AI 训练框架,主要用于优化“密集图像描述”模型的训练流程。

IT之家注:密集图像描述(Dense Image Captioning)是一种先进的计算机视觉技术。与只给出一句整体描述不同,该技术能识别图片中的各个局部区域(如“桌子上的红苹果”、“远处的行人”),并为每个细节生成精准的文字说明。

这项技术在训练视觉语言模型、文本生成图像以及改善无障碍工具等领域具有核心价值。研究人员指出,传统的训练方法面临着人工标注成本过高的问题;而利用现有大模型生成合成数据的替代方案,则容易导致模型输出缺乏多样性且泛化能力较弱。

苹果研究团队为了攻克上述难题,创新设计全新强化学习机制。系统首先从数据集中抽取 5 万张图像,并调用 GPT-5、Gemini 2.5 Pro 等前沿大模型生成候选描述。

随后,系统利用 Gemini 2.5 Pro 分析候选内容,提炼共识与遗漏点,进而将其转化为清晰的评分标准。最后,由 Qwen2.5 模型担任“裁判”,根据这些标准对描述进行打分。这种机制为模型提供了结构化的精准反馈,让其明确知道该如何修正错误。

苹果基于这一框架,最终训练出了参数量分别为 20 亿、30 亿和 70 亿的三个 RubiCap 模型。测试数据显示,这些紧凑型模型展现出了惊人的效率,其中 70 亿参数模型在盲测中获得了最高的排名,并实现了最低的“幻觉”错误率,全面超越了参数量高达 720 亿的前沿大模型。

更值得一提的是,30 亿参数的微型模型在部分测试中甚至反超了 70 亿参数版本,进而充分证明,高质量的图像描述模型可以摆脱对庞大参数量的绝对依赖。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
多支强队分出高下,上海零封山东,女排超级联赛积分榜更新

多支强队分出高下,上海零封山东,女排超级联赛积分榜更新

生活新鲜市
2026-11-16 01:35:55
拉夫罗夫:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

拉夫罗夫:莫斯科将把所有历史上的俄罗斯土地归还其合法家园

旧窗老街
2026-02-23 01:50:19
吃他汀的朋友自查:没出现这3种情况,说明恢复得不错

吃他汀的朋友自查:没出现这3种情况,说明恢复得不错

药师方健
2026-11-15 23:13:33
丈夫给我做饭,我将饭菜送给丈夫女秘书,当夜晚宴女秘书当场尖叫

丈夫给我做饭,我将饭菜送给丈夫女秘书,当夜晚宴女秘书当场尖叫

麦子情感故事
2026-10-29 16:53:17
伊朗称美以袭击严重破坏环境

伊朗称美以袭击严重破坏环境

参考消息
2026-11-14 09:42:37
深夜火情告急!上海四一一医院这群人挺身而出

深夜火情告急!上海四一一医院这群人挺身而出

看看新闻Knews
2026-11-14 13:17:06
社保开始大数据倒查!违规挂靠、补缴等旧账终身追溯!

社保开始大数据倒查!违规挂靠、补缴等旧账终身追溯!

职场资深秘书
2026-11-15 11:31:33
一个不明物体正加速向地球冲来,科学家:恐非自然现象

一个不明物体正加速向地球冲来,科学家:恐非自然现象

星空天文
2026-11-14 17:49:57
媒体报道全球市场即将进入原油过剩价格大幅下跌的新周期,网友问:为什么我们这边的油价一直居高不下?

媒体报道全球市场即将进入原油过剩价格大幅下跌的新周期,网友问:为什么我们这边的油价一直居高不下?

黯泉
2026-11-15 20:24:45
6-4!斯诺克冠中冠:囧哥破百终结,15连胜连进3站决赛,PK韦克林争冠!

6-4!斯诺克冠中冠:囧哥破百终结,15连胜连进3站决赛,PK韦克林争冠!

刘姚尧的文字城堡
2026-11-15 06:34:29
太突然!宁波又一知名餐厅关门了!网友:上周才去吃过,我都没有反应过来

太突然!宁波又一知名餐厅关门了!网友:上周才去吃过,我都没有反应过来

阿天爱旅行
2026-11-15 16:53:23
樊振东带队横扫夺8连胜!场边观战被逗乐,赛后被拎手致敬,氛围极佳

樊振东带队横扫夺8连胜!场边观战被逗乐,赛后被拎手致敬,氛围极佳

篮球资讯达人
2026-11-15 23:33:57
聚会上妻子任由初恋搂抱,还劝我别太贪心,我冷笑着当众递上一份解约书,她看清上面的字,脸唰地全白了

聚会上妻子任由初恋搂抱,还劝我别太贪心,我冷笑着当众递上一份解约书,她看清上面的字,脸唰地全白了

晓艾故事汇
2026-10-06 15:20:00
国足VS巴林,开球时间敲定,邵佳一缺少后腰球星,徐彬表现引争议

国足VS巴林,开球时间敲定,邵佳一缺少后腰球星,徐彬表现引争议

体育大学僧
2026-11-15 10:14:58
“婚宴上学习的儿子”被群嘲,家长以为是学霸料子,网友:这叫不合时宜

“婚宴上学习的儿子”被群嘲,家长以为是学霸料子,网友:这叫不合时宜

蝴蝶花雨话教育
2026-10-18 00:05:21
给脸不要脸!三次警告全当耳旁风,中国直接清空展馆霸气走人

给脸不要脸!三次警告全当耳旁风,中国直接清空展馆霸气走人

小莜读史
2026-09-05 18:55:01
港星骆应钧结婚30年无子女,拒认书香世家,坦言当年令父亲十分失望

港星骆应钧结婚30年无子女,拒认书香世家,坦言当年令父亲十分失望

奇怪的鲨鱼们
2026-11-15 15:26:45
感谢特朗普,在他的“帮助”下,一大批中国科学家决定回国

感谢特朗普,在他的“帮助”下,一大批中国科学家决定回国

姿势分子knowledge
2026-11-13 12:35:10
现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

现代韦小宝?贵州男子4女伴4娃,正妻是商K公主,正脸、家境曝光

谢鵑解说
2026-10-14 11:39:22
这个90后,短短一年内撸遍800家网贷,把下款当工资领,结局如何呢

这个90后,短短一年内撸遍800家网贷,把下款当工资领,结局如何呢

民生故事会
2026-10-30 22:27:53
2026-11-16 03:24:49
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
379418文章数 607728关注度
往期回顾 全部

科技要闻

历史头一回!马斯克用"筷子"夹住太空飞船

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

头条要闻

上任2个月尤尼斯在街头遭暗杀身亡 知情人:被以"斩首"

体育要闻

NBA开赛最大惊喜,是他们?

娱乐要闻

陈思诚也救不了,2026年贺岁档第一惨案

财经要闻

英伟达、字节、谷歌,涌入"救命"的生意

汽车要闻

吉利星越L PLUS预售价15.77万起 燃油车也能如此智能

态度原创

健康
教育
数码
本地
军事航空

情绪真能让健康人"伤心至死"?

教育要闻

天才孩子,最怕“普通”父母

数码要闻

RGBX四基色,TCL华星展出三款全球首款10.95英寸OLED平板屏幕

本地新闻

乌兰察布:以前种土豆,现在种Token

军事要闻

哈马斯拉法旅指挥官死于以军空袭

无障碍浏览 进入关怀版