网易首页 > 网易号 > 正文 申请入驻

大模型在具身推理上「翻车」了?4496 道题全面揭示短板

0
分享至

祁煜,2023年本科毕业于北京大学信息科学技术学院。目前为美国Northeastern University在读博士生,研究方向为机器人与机器学习, 具身智能, 在 CVPR、ICML、CoRL 等顶级会议中发表过论文。

具身智能是近年来非常火概念。一个智能体(比如人)能够在环境中完成感知、理解与决策的闭环,并通过环境反馈不断进入新一轮循环,直至任务完成。这一过程往往依赖多种技能,涵盖了底层视觉对齐,空间感知,到上层决策的不同能力,这些能力便是广义上的具身智能。

已经有很多优秀的工作把多模态大语言模型(MLLMs)部署在具身智能的不同应用上。尽管已经有不少相关工作评估过他们具身智能的潜力,但主要集中在子领域上,比如给点(Pointing),空间推理(Spatial Reasoning)等等,也有一些工作在仿真里定义任务评估他们的性能,比如EmbodiedBench等,但是他们并没有把一个任务切分成一步步的原子技能,也就无法判断出到底是哪个细粒度的能力导致一个任务的失败。

BEAR基准

为了系统评估MLLM在具身智能的各个子能力,美国东北大学联合香港中文大学,哈佛大学,提出了BEAR基准,并且提供了详细的错因分析和算法提升。

  • Arxiv链接:
  • https://arxiv.org/abs/2510.08759
  • Huggingface链接:
  • https://huggingface.co/papers/2510.08759
  • 项目主页:
  • https://bear-official66.github.io/

BEAR涵盖了4,469个图片-视频-文字的VQA。BEAR涵盖6个大类,其中包括5个基础类别,包括给点(Pointing), 给检测框(Bounding Box), 空间推理(Spatial Reasoning),任务规划(Task Planning),并且在每个类别下面还有不同子技能,如给点分为普通物体给点,空间关系给点和局部给点,共分为14个技能,见下图。除此之外,我们引入第六个长程推理类别,首次将具身智能的任务切分为以14个不同技能划分的步骤,涵盖了智能体在完成一个任务中所需要具备的技能。

测评实验


实验部分,作者全面测量了20个不同的MLLM,并且测量了Direct和CoT不同的prompt, 而且将常见的test-time-scaling methods都进行了实验,得出以下有趣的结论:

  • 多模态大模型并不具备具身智能,目前在BEAR基准上表现最好的模型,GPT-5,也仅仅有52%的成功率。
  • 通常情况,闭源模型比开源模型表现好。但是部分开源模型拥有很强的潜力,如InternVL系列模型,在BEAR基准上超过了GPT-4o, Claude等模型。

  • Chain-of-thought在很多子能力在闭源模型上起到一致的负面作用,比如给点和空间推理能力。作者分析给点是一个直接的表达方法,模型只需要输出一个正则之后的x和y,过度的推理给模型引入不必要的干扰。同时,人们在进行空间推理的时候常常使用“直觉”,引入推理链有时会使模型引入一些错误的空间表达和位置关系,在推理最终答案的时候起到了负面作用。


细粒度错因统计


更进一步地,作者对GPT-4o的每一个子能力都进行了错因统计,分析显示了如下几个有趣的发现:

  • 模型视觉全能能力不足是多个类别的主要瓶颈。具体表现为模型无法细致进行language grounding, 无法判断轨迹走向,无法理解图片中发生的动作。
  • 模型3D能力不足主要体现在无法判断第一人称下的方向(左右关系),并且常常搞混相机在连续帧之间的移动走向。
  • 对于长程推理,与高层规划(planning)相比,底层感知和空间推理仍然是主要瓶颈,错误占比高达88%。

BEAR智能体设计全面提升大模型的具身能力


基于上面的发现,作者团队意识到,增强模型的视觉能力,可以全面提高模型的具身推理能力。在多模态领域,已经有一些工作通过画辅助线和教会模型使用工具用来求解数学问题。受这样工作的启发,作者开发了BEAR-Agent,这是一个可对话的多模态智能体,主要通过提供工具和做辅助线的方式增强模型的视觉推理能力,进而提升模型的具身推理能力。作者选取了表现最好的开源模型和闭源模型,InternVL3-14B和GPT-5,BEAR-Agent可以显著提高他们在BEAR上的performance。

仿真测试


进一步地,作者基于Maniskill用Franka-panda搭建了桌面的操作环境,并且测试了3类任务,共12个语言指令。我们的实验结果表明,BEAR-Agent提升了20.17% MOKA在桌面操作环境上的表现,这表示着BEAR-Agent对Embodied Agent的潜力。

本篇文章重点对多模态大模型在具身推理的多个任务上进行评测和对失败进行归因分析,并且提供了详细的失败测评,并且设计Agent算法进行改进。作者希望分析结果有利于多模态大模型和具身智能在未来的迭代。非常欢迎感兴趣的老师同学们联系作者团队进行进一步交流!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

63位“最懂长寿”的专家一致选出:决定长寿的3件关键事,居然这么简单

环球网资讯
2026-11-14 07:45:05
泽连斯基:美国曾询问乌克兰是否愿意以顿巴斯地区换取加入北约的资格;乌克兰不愿从自己的领土上撤退,需要安全保障、强大军队和重建资金

泽连斯基:美国曾询问乌克兰是否愿意以顿巴斯地区换取加入北约的资格;乌克兰不愿从自己的领土上撤退,需要安全保障、强大军队和重建资金

极目新闻
2026-11-15 10:18:43
月薪五万是什么体验?

月薪五万是什么体验?

康富贵碎碎念
2026-11-16 13:15:52
张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

张怡宁参加婚礼哭了,64岁丈夫一直咳嗽,看着很老,还是袁立前任

一娱三分地
2025-06-11 20:53:37
泽连斯基:普京生活在另一个现实里!我不认为特朗普是“克拉斯诺夫”

泽连斯基:普京生活在另一个现实里!我不认为特朗普是“克拉斯诺夫”

鹰眼Defence
2026-11-15 17:13:26
河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

河北滦南通报“800多万元建的污水处理厂4年未启用”:成立市县联合调查组

界面新闻
2026-11-16 13:37:26
宏远速递!陈老板最新决定,又一强援将加盟,徐杰深夜发声!

宏远速递!陈老板最新决定,又一强援将加盟,徐杰深夜发声!

体坛卡卡说
2026-11-16 15:24:45
11月16日人民币对美元中间价调升11个基点

11月16日人民币对美元中间价调升11个基点

证券时报
2026-11-16 09:36:04
前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

前国脚曝蓉城丢冠内幕:高层代替主帅定首发!3人被废,蒿俊闵上看台

念洲
2026-11-16 09:38:40
太罕见了!日媒曝出2004年黄乐生活旧照,彼时二十多岁素颜随性,网友:典型的湖南乡下妹子

太罕见了!日媒曝出2004年黄乐生活旧照,彼时二十多岁素颜随性,网友:典型的湖南乡下妹子

火山詩话
2026-11-13 15:21:47
MVP概率已断崖第一!东契奇一战又造9纪录 8连胜场均41+9强到发紫

MVP概率已断崖第一!东契奇一战又造9纪录 8连胜场均41+9强到发紫

颜小白的篮球梦
2026-11-16 10:08:32
突发异动!000533,直线涨停!

突发异动!000533,直线涨停!

证券时报
2026-11-16 11:54:26
杨瀚森取消开拓者认证!离队或进入倒计时,这八天到底发生了什么

杨瀚森取消开拓者认证!离队或进入倒计时,这八天到底发生了什么

大鱼简科
2026-11-16 14:21:58
穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!

穆帅的眼光太准!皇马球迷正在认知到穆帅早已知道的一点:库库雷利亚名气不耀眼,防守很硬核,能给皇马左路带来底气!

福酱的小时光
2026-11-16 07:46:41
一场2-3,让世界第1轰然倒下:43场不败纪录终结,凯恩点射破门

一场2-3,让世界第1轰然倒下:43场不败纪录终结,凯恩点射破门

足球狗说
2026-11-16 05:58:08
“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

“家长没钱,孩子才会沉迷手机”,一段高尔夫视频让人沉默了,中产晒孩子打高尔夫暗讽“沉迷手机是因为穷”

蝴蝶花雨话教育
2026-11-14 00:05:16
陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

陈百祥回应谭咏麟蟹宴没请他:我吃蟹的时候也没叫他

情感大头说说
2026-11-16 02:53:25
69岁赵本山进录音棚,把AI替他唱的歌亲自唱了一遍!3小时点赞破百万,网友:这一嗓子仿佛又回到小时候

69岁赵本山进录音棚,把AI替他唱的歌亲自唱了一遍!3小时点赞破百万,网友:这一嗓子仿佛又回到小时候

都市快报橙柿互动
2026-11-15 21:11:29
热4连胜:因为维金斯替补了?

热4连胜:因为维金斯替补了?

张佳玮写字的地方
2026-11-15 17:36:21
中纪委打“虎”,王忠林被查!上周三“虎”被公诉

中纪委打“虎”,王忠林被查!上周三“虎”被公诉

上观新闻
2026-11-16 13:16:44
2026-11-16 16:31:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14486文章数 142758关注度
往期回顾 全部

科技要闻

硅谷大佬组局,帮黄仁勋杀回来!

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

头条要闻

中俄美三国元首历史上将首次面对面会晤 外交部回应

体育要闻

热火4连胜:就因为维金斯替补了?

娱乐要闻

43岁佟丽娅官宣新身份担任职务不一般

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

日产终于开窍了!全新NV200 PHEV才是露营党的梦中情车?

态度原创

时尚
教育
游戏
家居
房产

秋天找到一些固定的穿衣公式,用针织衫搭配牛仔裤,减龄舒适

教育要闻

日常英语:公交车上问路

《GTA 6》登Fami通封面!32页特集+R星历史专题

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

6.6亿!海口卖地!

无障碍浏览 进入关怀版