网易首页 > 网易号 > 正文 申请入驻

多模态大模型输给三岁宝宝?新评测集BabyVision发布

0
分享至

凤凰网科技讯 1月12日,近日,红杉中国旗下评测体系xbench与UniPat AI团队联合发布全新多模态理解评测集BabyVision,旨在系统评估大模型在不依赖语言提示下的纯视觉基础能力。评测结果显示,当前主流多模态大模型在该测试中整体表现落后于3岁幼儿水平。

该评测集将视觉能力划分为精细辨别、视觉追踪、空间感知、视觉模式识别四大类别,共涵盖22项子任务、388道题目。测试严格控制语言依赖,确保题目信息无法被完整“文本化”,从而考察模型真正的视觉理解能力。

最终评测结果显示,在BabyVisionFull上,研究团队引入了人类基线,16位至少本科背景的测试者完成全量388题,人类准确率达94.1%

再看模型,表现最佳的闭源模型Gemini3-Pro-Preview准确率为49.7%,GPT-5.2为34.8%,国内模型Doubao-1.8为30.2%,开源模型Qwen3VL-235B-Thinking为22.2%。多数模型得分明显低于3岁儿童平均水平。


研究团队指出,许多视觉信息本质上是“不可言说”的,一旦被压缩为语言描述就会丢失关键细节,导致模型在需要连续追踪、空间想象、几何归纳等任务中表现显著落后。为此,团队同时推出生成式评测版本BabyVision-Gen,要求模型以画图、标注等视觉方式作答,现阶段得到的结论为:

生成式推理在视觉追踪、精细辨别等VLM易翻车任务上出现“更像人类”的行为(会真的去画轨迹、做标注),但整体仍然缺乏稳定到达完全正确解的能力。

BabyVision的发布为多模态大模型与具身智能的发展提供了可量化、可诊断的评估工具,显示出当前视觉基础能力仍是AI迈向通用智能的关键短板。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
中央把话说透了:真正的公务员,是这8类人,很多人搞错了

中央把话说透了:真正的公务员,是这8类人,很多人搞错了

搬砖营Z
2026-01-12 21:10:19
网友不建议大家去健身房的原因:健身房真的很脏!

网友不建议大家去健身房的原因:健身房真的很脏!

夜深爱杂谈
2026-01-18 19:43:51
大连天气:最冷不过如此 明日取暖全靠抖!

大连天气:最冷不过如此 明日取暖全靠抖!

大连e族
2026-01-18 17:32:16
“鬼城”又添一座!房价2万暴跌到4千,住户:晚上开灯才可怕!

“鬼城”又添一座!房价2万暴跌到4千,住户:晚上开灯才可怕!

猫叔东山再起
2026-01-16 11:00:08
1.01元/公里,48小时黄了:司机连夜鼓掌,平台连夜认怂

1.01元/公里,48小时黄了:司机连夜鼓掌,平台连夜认怂

刘哥谈体育
2026-01-18 12:24:35
美国人意识到:贸易战之后,不会再有中国外的大规模工业化国家了

美国人意识到:贸易战之后,不会再有中国外的大规模工业化国家了

史智文道
2026-01-18 19:14:51
只剩5年?诺奖得主Hassabis放出AGI时间表:还差一两个技术突破

只剩5年?诺奖得主Hassabis放出AGI时间表:还差一两个技术突破

新智元
2026-01-18 17:13:42
410次开房记录流出:央企“女老虎”陶荔芳,背后还有多少同伙

410次开房记录流出:央企“女老虎”陶荔芳,背后还有多少同伙

深度报
2025-12-14 22:36:54
委内瑞拉“内鬼”找到了,是马杜罗亲密“发小”!他被曝为美国5000万美元悬赏出卖马杜罗,事后美方却没给钱!委代总统会见CIA局长

委内瑞拉“内鬼”找到了,是马杜罗亲密“发小”!他被曝为美国5000万美元悬赏出卖马杜罗,事后美方却没给钱!委代总统会见CIA局长

每日经济新闻
2026-01-17 00:00:08
香港最伟大的Ⅲ级片,因票房惨败被埋没,33年后终于高清修复

香港最伟大的Ⅲ级片,因票房惨败被埋没,33年后终于高清修复

迷影映画
2025-11-21 12:53:01
与罕见病赛跑,舞蹈老师从确诊到离世仅俩月,丈夫卖房卖车救治

与罕见病赛跑,舞蹈老师从确诊到离世仅俩月,丈夫卖房卖车救治

半岛晨报
2026-01-17 20:05:40
688005,被证监会立案调查!此前公告签下1200亿元大单,公司最新回应:是估算得出的

688005,被证监会立案调查!此前公告签下1200亿元大单,公司最新回应:是估算得出的

每日经济新闻
2026-01-18 18:50:04
摊牌了!43岁贾玲退出春晚、解散公司,彻底撕碎内娱“体面”

摊牌了!43岁贾玲退出春晚、解散公司,彻底撕碎内娱“体面”

月光作笺a
2026-01-18 04:21:00
越查越有,释永信落网全家老底被扒,原来他才只是冰山一角!

越查越有,释永信落网全家老底被扒,原来他才只是冰山一角!

阿纂看事
2025-08-08 18:10:48
半导体材料,重大突破!碳化硅龙头,已抢先发力

半导体材料,重大突破!碳化硅龙头,已抢先发力

数据宝
2026-01-17 17:50:23
这款健身服太好看了!穿上瞬间提升气质!

这款健身服太好看了!穿上瞬间提升气质!

独角showing
2026-01-18 19:12:52
勇士官方赛前一分钟撤下巴特勒,更衣室沉默如谜

勇士官方赛前一分钟撤下巴特勒,更衣室沉默如谜

时事佳人
2026-01-18 17:57:39
原来王菲没撒谎!公开求助、哽咽落泪的李亚鹏,证实了她当年评价

原来王菲没撒谎!公开求助、哽咽落泪的李亚鹏,证实了她当年评价

冷紫葉
2026-01-15 19:08:26
印度尴尬了!继众多羽毛球名将弃赛后,国乒携男单前20也集体退了

印度尴尬了!继众多羽毛球名将弃赛后,国乒携男单前20也集体退了

十点街球体育
2026-01-18 00:00:03
如果联合国解散了,一大批有寄生属性的国家将失去稳定的经济来源

如果联合国解散了,一大批有寄生属性的国家将失去稳定的经济来源

扶苏聊历史
2026-01-17 14:04:07
2026-01-18 20:35:00
凤凰网科技
凤凰网科技
直击真相的媒体!
1012文章数 23关注度
往期回顾 全部

科技要闻

AI大事!马斯克:索赔9300亿元

头条要闻

梁小龙去世 其个人社交媒体10小时前发文"此事古难全"

头条要闻

梁小龙去世 其个人社交媒体10小时前发文"此事古难全"

体育要闻

21年后,中国男足重返亚洲四强

娱乐要闻

香港武打演员梁小龙去世:享年77

财经要闻

BBA,势败如山倒

汽车要闻

林肯贾鸣镝:稳中求进,将精细化运营进行到底

态度原创

教育
游戏
数码
亲子
公开课

教育要闻

南京2026年全市小学主科教师仅招聘2人

已有MOD作者出手将《Hytale》改造成《我的世界》

数码要闻

249元起的工业级风扇,有多强?

亲子要闻

揭开内心焦虑:全职妈妈是“蜕变”还是“固守”,只在自己一念间

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版