网易首页 > 网易号 > 正文 申请入驻

PhysToolBench提出了衡量多模态大模型对物理工具理解的基准

0
分享至

人类之所以能与复杂的物理世界高效互动,很大程度上源于对「工具」的使用、理解与创造能力。对任何通用型智能体而言,这同样是不可或缺的基本技能,对物理工具的使用会大大影响任务的成功率与效率。

尽管当下的多模态大模型在具身智能的高层任务规划以及低层动作执行方面都展现出很大的潜力,但它们是否真正「懂」物理工具、理解其运作原理,仍缺乏统一的量化评估。

为此,来自香港科技大学(广州)、香港科技大学等研究机构的团队提出了PhysToolBench,一个衡量多模态大模型对物理工具的理解的基准。PhysToolBench 把对物理工具的理解分为了三个等级,分别为「认识」工具、「理解」工具、「创造」工具。

  • GitHub 链接:
  • https://github.com/EnVision-Research/PhysToolBench
  • 论文链接:
  • https://arxiv.org/abs/2510.09507
  • Hugging Face 数据集链接:
  • https://huggingface.co/datasets/zhangzixin02/PhysToolBench

PhysToolBench 系统性地测试了 32 个最新的多模态大模型,包含闭源商用模型、开源模型、具身智能专用模型以及 VLA 模型的 VLM 主干四大类,测试出了他们对于物理工具的理解的不足。

PhysToolBench 介绍

机器人执行任务的一般逻辑是,机器人会收到任务指令,并进行环境观察,随后再做出任务规划或者一级动作执行。因此,PhysToolBench 以视觉问答 (VQA) 的形式,设计了包含1000+图文配对的数据集,其中文字部分是任务描述,图片是一个包含了各种工具的图片,代表了机器人观察到的环境,模型被要求观察图片,回答应该使用的工具 (当判断没有工具可用时可以回答 None)。

三层能力评估:

  • Easy-工具识别 (Tool Recognition):判断模型是否认识工具以及知道它的主要功能;给定一个任务,图片中会包含一个最常用的能完成这个任务的工具。例如任务是切菜,图片中会包含一把菜刀。

  • Medium-工具理解 (Tool Understanding):判断模型是否理解工具运作的基本原理;为了更细致地考验多模态大模型的真实理解,这一难度又分为了三个子类别:

  • M1-工具属性理解:不仅仅需要知道物理工具的用途,还得知道它的物理、化学等属性,从而选择合适的工具。例如任务是高温煎牛排,图片中包含不粘锅和铁锅,模型需要选择铁锅因为其高温耐受性。
  • M2-组合工具理解:需要组合多种工具实现目标,以此来判断模型是否明白组合不同工具解锁新的 affordance。例如,需要组合遥控器和电池才能完成开电视机的任务。
  • M3-工具可用性理解:给出的工具有损坏,模型需要识别出它不可用,以此来判断模型是否真正理解物理工具「为什么可用」。例如,有一把没有刀片的美工刀,模型需要理解它没法完成切割的任务。

  • Hard-工具创造 (Tool Creation):判断模型是否能根据任务需求反推所需要的工具的能力。给定一个任务,图片中将不包含常规工具,模型需要利用环境物体「造工具」来完成任务。例如,当没有螺丝刀可用时,可以用一元硬币来拧一字螺丝。

评测范围:覆盖32个最新的多模态大模型 (专有、开源、具身智能专用与 VLA 主干)。

实验结果:

大模型在 PhysToolBench 上的答卷

各个多模态大模型在PhysToolBench上的总准确率(%)

顶级大模型表现仍然不理想

整体来看,闭源商用模型领跑,开源模型紧随其后。且模型越「大」,模型越「强」。然而,即使是当前的顶级的大模型,在 PhysToolBench 上表现欠佳,总得分最高的模型为闭源商用模型 GPT-5,得分为 62.15%,在 M3 难度和 Hard 难度下,得分普遍低于 50%,和人类表现相去甚远。

专用于 Embodied 场景的 MLLM 表现如何?

Robobrain2、Embodied-R1 等模型以 MLLM 为基模,并在 Embodied 相关数据集上进行了 finetune。然而,对比 Robobrain2、Embodied-R1 以及他们的基模 Qwen-2.5-VL,在同等参数量的情况下他们并没有展现出领先优势,说明当今的 Embodied Reasoning 的数据集中关于工具使用的内容仍然比较欠缺。

被用在 VLA 当中的 backbone 模型是否具备了足够的物理工具理解能力?

研究团队还测试了几个用在 Vision-Language-Action (VLA) 模型中的 VLM backbone,结果显示,他们的表现比较糟糕,总得分普遍低于 20%。这说明它们尽管具备了一定的知识,但要完成更高阶更复杂的任务或许还不够。

深入分析

对工具的识别与理解存在长尾效应。即使是顶级的模型,在对一些工具的识别和理解上仍然存在长尾效应。例如,模型对一些电子设备的识别与理解欠佳。

模型对工具「是否可用」理解很差。在 M3 难度,PhysToolBench 特意设置了「陷阱」,但绝大多数模型都没有识别出这个陷阱,仍然选择了损坏的工具。在 M3 难度的总得分甚至比 Hard 难度还低,说明大模型对工具的理解较为肤浅,仅仅是浅层的死记硬背工具与其功能的对应关系,而并没有对其为什么可用的深刻理解。这不仅仅会导致任务失败,还会带来一些安全隐患。

推理能力非常重要,但还远远不够。研究团队对比了一些模型在使用/不使用思维链下的性能,发现使用思维链会带来性能的提升,但对于一些难度较大的 case,例如 M3 难度和 Hard 难度,纯文本层面的推理仍然会有瓶颈,模型无法抓取到存在于视觉模态当中的关键信息,导致推理仍然带来不了正确的结果。研究团队认为,以视觉为中心的推理 (Vision Centric Reasoning) 对于正确使用物理工具非常关键,并提出了一个初步的以视觉为中心的推理的 Agent 框架,鼓励推理过程中利用目标识别等工具放大观察一些关键的工具,并进行额外推理。在 M3 难度上的实验表明,这种推理方式能显著提升模型的准确率,但仍然达不到令人满意的水平。

不同模型使用不同推理方式的表现

对比:(a)文本层面推理 与 (b)视觉为中心的推理

总结

论文提出了测试多模态大模型对物理工具的理解的基准 PhysToolBench。通过系统性地设置不同层级以及广泛的测试,PhysToolBench 揭示了当今多模态大模型对物理工具的理解的短板,也为未来的发展指明了方向:理解、运用和创造复杂的物理工具的能力,是迈向通用智能体不可或缺的一步,也是下一代多模态大模型需要提升的一步。

相关论文、代码、数据集等均已公开公布。 感兴趣的小伙伴可以进一步体验和探索。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

下一个萌神?库里8岁儿子卡农小学比赛表现:5中5砍下10分

罗说NBA
2026-11-18 07:39:17
彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

彝海结盟之后,小叶丹赠刘伯承两名彝族女子,刘伯承的处置办法,既顾全兄弟情又守住红军铁纪,尽显过人智慧

磊子讲史
2026-11-18 14:51:40
发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

发现一个奇怪的现象:电车没有干掉油车,却干掉了汽车修理厂!

補懂事的孩紙
2026-11-17 01:00:42
12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

12岁的乔治王子现身帅到认不出!身高1米75快要超过妈妈凯特王妃

温读史
2025-11-09 09:25:54
太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

太硬核了!实拍武汉一小学告示:作业、衣物、乐器等忘带不用送,引导孩子承担相应后果

火山詩话
2026-11-18 12:29:50
多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

多名院士呼吁停止食用:高胆固醇“加速器”,上了年纪尽早戒掉

健康科普365
2026-11-08 18:30:10
告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

醉卧浮生
2026-11-18 13:49:24
普京在深圳北理莫斯科大学演讲 下台前挥手示意

普京在深圳北理莫斯科大学演讲 下台前挥手示意

看看新闻Knews
2026-11-18 19:19:47
亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

亚洲二流全赢不了!邵佳一,别盯着你那破嫡系了,这水平真配穿国家队球衣?

中场阴谋家
2026-11-18 21:49:52
ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

ESPN NBA专家揭露安东尼·戴维斯,6000万美元交易难题

好火子
2026-11-18 23:29:25
中方敦促以色列:尽快撤出!

中方敦促以色列:尽快撤出!

极目新闻
2026-11-17 16:39:40
内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

内蒙主持人孟静茹去世!年仅42岁,身材高挑且漂亮,老公走后半年确诊抑郁症

裕丰娱间说
2026-11-18 11:39:59
陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

陆毅18岁女儿贝儿官宣签约百沐娱乐,正式以歌手出道!一波星二代扎堆涌来

露珠聊影视
2026-11-18 14:36:57
一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

一场2-2!揪出国足4大“水货” 表现拉胯 恐被邵佳一弃用 球迷:卧底

球场新视角1号
2026-11-18 07:14:28
蒙古国总统辞职,暂不离岗

蒙古国总统辞职,暂不离岗

新民周刊
2026-11-18 09:04:53
社媒:穆里尼奥对居莱尔续约极为兴奋

社媒:穆里尼奥对居莱尔续约极为兴奋

懂球帝
2026-11-18 21:19:15
CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

CBA杯-天津胜NBL上海玄鸟拒爆冷 尼克斯34+7+7+5+9失误

醉卧浮生
2026-11-18 17:55:57
瑞士网红坐火车掏出奶酪炉,现场开吃!铁路公司惊了:你闻闻这味

瑞士网红坐火车掏出奶酪炉,现场开吃!铁路公司惊了:你闻闻这味

新欧洲
2026-11-17 21:13:13
一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

一文读懂美俄元首访华差距:专机是面子,运输机搞后勤才是里子

装甲铲史官
2026-11-17 10:24:38
12万亿美元:兰德公司给国内地方债做了一次诊断

12万亿美元:兰德公司给国内地方债做了一次诊断

罗sir财话
2026-11-18 19:38:54
2026-11-18 23:51:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

本地
手机
健康
时尚
艺术

本地新闻

乌兰察布:以前种土豆,现在种Token

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

医生眼里"很伤腰"的椅子,很多人天天坐

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

无障碍浏览 进入关怀版