网易首页 > 网易号 > 正文 申请入驻

苹果联合打造RubiCap框架:让AI描述图像每个细节

0
分享至

IT之家 3 月 26 日消息,科技媒体 9to5Mac 昨日(3 月 25 日)发布博文,报道称苹果公司携手威斯康星大学麦迪逊分校,联合发布名为 RubiCap 的全新 AI 训练框架,主要用于优化“密集图像描述”模型的训练流程。

IT之家注:密集图像描述(Dense Image Captioning)是一种先进的计算机视觉技术。与只给出一句整体描述不同,该技术能识别图片中的各个局部区域(如“桌子上的红苹果”、“远处的行人”),并为每个细节生成精准的文字说明。


这项技术在训练视觉语言模型、文本生成图像以及改善无障碍工具等领域具有核心价值。研究人员指出,传统的训练方法面临着人工标注成本过高的问题;而利用现有大模型生成合成数据的替代方案,则容易导致模型输出缺乏多样性且泛化能力较弱。

苹果研究团队为了攻克上述难题,创新设计全新强化学习机制。系统首先从数据集中抽取 5 万张图像,并调用 GPT-5、Gemini 2.5 Pro 等前沿大模型生成候选描述。


随后,系统利用 Gemini 2.5 Pro 分析候选内容,提炼共识与遗漏点,进而将其转化为清晰的评分标准。最后,由 Qwen2.5 模型担任“裁判”,根据这些标准对描述进行打分。这种机制为模型提供了结构化的精准反馈,让其明确知道该如何修正错误。

苹果基于这一框架,最终训练出了参数量分别为 20 亿、30 亿和 70 亿的三个 RubiCap 模型。测试数据显示,这些紧凑型模型展现出了惊人的效率,其中 70 亿参数模型在盲测中获得了最高的排名,并实现了最低的“幻觉”错误率,全面超越了参数量高达 720 亿的前沿大模型。



更值得一提的是,30 亿参数的微型模型在部分测试中甚至反超了 70 亿参数版本,进而充分证明,高质量的图像描述模型可以摆脱对庞大参数量的绝对依赖。

IT之家附上参考地址

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
Lady Gaga当妈妈了,与未婚夫迎来两人首个孩子;一家三口首次被拍到同框,孩子姓名、性别及出生日期暂未公布

Lady Gaga当妈妈了,与未婚夫迎来两人首个孩子;一家三口首次被拍到同框,孩子姓名、性别及出生日期暂未公布

大风新闻
2026-09-12 16:03:05
三镇遭绝平保级形势更严峻,李昂社媒:别放弃,我们还有机会

三镇遭绝平保级形势更严峻,李昂社媒:别放弃,我们还有机会

懂球帝
2026-09-13 01:49:15
红军会师后,中央一度倾向彭老总任总指挥,贺龙一句话让周恩来放下心来

红军会师后,中央一度倾向彭老总任总指挥,贺龙一句话让周恩来放下心来

翠羽
2026-09-12 15:10:12
定了!天津这里终于开始拆迁了

定了!天津这里终于开始拆迁了

天津人
2026-09-12 19:10:41
伊拉克调查袭击沙特事件并解职相关指挥官

伊拉克调查袭击沙特事件并解职相关指挥官

环球网资讯
2026-09-12 17:09:50
“高市应援团”集体反水,当初多支持日本首相,今天就有多反对

“高市应援团”集体反水,当初多支持日本首相,今天就有多反对

介知
2026-09-13 00:04:35
2026教育大地震:这4个信号,正在重新定义“好学生”

2026教育大地震:这4个信号,正在重新定义“好学生”

侃故事的阿庆
2026-09-12 09:05:45
每体:亚马尔与女友接回了2只金毛寻回犬幼崽

每体:亚马尔与女友接回了2只金毛寻回犬幼崽

懂球帝
2026-09-12 19:58:53
原来他俩是两口子,青梅竹马又都是金牌得主,今身家上亿儿女双全

原来他俩是两口子,青梅竹马又都是金牌得主,今身家上亿儿女双全

铁锤妹妹是只猫
2026-09-11 02:29:13
何超琼说这句话,是在打脸章泽天吗?

何超琼说这句话,是在打脸章泽天吗?

皮蛋儿电影
2026-09-07 20:07:56
刚刚,陶哲轩、邓煜等菲奖得主联合声明:AI公司正毁掉整个数学圈!

刚刚,陶哲轩、邓煜等菲奖得主联合声明:AI公司正毁掉整个数学圈!

新智元
2026-09-12 07:33:37
两性关系:55-75岁这20年,惜命最好的方式,不是锻炼,而是这4点

两性关系:55-75岁这20年,惜命最好的方式,不是锻炼,而是这4点

三农老历
2026-08-22 09:29:49
冷空气将抵江苏!气温先升后降,昼夜温差扩大!

冷空气将抵江苏!气温先升后降,昼夜温差扩大!

江南晚报
2026-09-13 05:05:04
继房子、茅台之后,中产的第三个“信仰神话”也破灭了

继房子、茅台之后,中产的第三个“信仰神话”也破灭了

快刀财经
2026-09-12 00:07:34
尼泊尔21岁工人失联10多天后突然回村:洪水灌进隧道,靠抓钢筋在泥浆中爬行自救

尼泊尔21岁工人失联10多天后突然回村:洪水灌进隧道,靠抓钢筋在泥浆中爬行自救

红星新闻
2026-09-12 12:20:24
53岁张惠妹破200斤,满身横肉、臀大腰圆,意外撞身“石矶娘娘”

53岁张惠妹破200斤,满身横肉、臀大腰圆,意外撞身“石矶娘娘”

文刀贰
2026-08-19 15:41:46
300亿被冻结!曾经吊打沃尔沃的国产神车,彻底宣告落幕!

300亿被冻结!曾经吊打沃尔沃的国产神车,彻底宣告落幕!

青眼财经
2026-08-05 23:51:12
局势突变!议案全票通过,贸易违规可刑事追责,中国出口面临新挑战

局势突变!议案全票通过,贸易违规可刑事追责,中国出口面临新挑战

冰语历史
2026-09-10 19:31:59
高志凯:美国AI泡沫10个月必破,无一国幸免,中国会第1个爬起来

高志凯:美国AI泡沫10个月必破,无一国幸免,中国会第1个爬起来

飘逸语人
2026-09-12 01:27:04
AI将摧毁民主,统治者将转向控制、镇压而非分享权力

AI将摧毁民主,统治者将转向控制、镇压而非分享权力

修明札记
2026-09-09 13:46:04
2026-09-13 06:36:50
IT之家
IT之家
爱科技,爱这里 - 前沿科技人气平台
366619文章数 607524关注度
往期回顾 全部

科技要闻

苹果折叠屏比小米华为贵5000元,该怎么选

头条要闻

男生去年693分考上北大后放弃 今年又拼了一次考714分

头条要闻

男生去年693分考上北大后放弃 今年又拼了一次考714分

体育要闻

乔丹的得分统治力:如何违背篮球规律?

娱乐要闻

钟丽淇疑入ICU?聚会合照早露端倪

财经要闻

继房子茅台后 中产的第3个"神话"破灭了

汽车要闻

全新配色和新样式轮毂 乐道L80星光设计套装限时惊喜价10080元

态度原创

数码
游戏
亲子
艺术
军事航空

数码要闻

惠普星Desk Mini迷你主机上架:Ultra 5 325/7 356H,9599元起

《漫威金刚狼》遭批"宝宝游戏" 过度引导 QTE没意义

亲子要闻

快乐萌娃搞笑日常,太逗了

艺术要闻

大唐名媛的游园图鉴:簪花、薄纱、遛鹤逗犬

军事要闻

胡塞武装:9天攻占5400平方公里

无障碍浏览 进入关怀版