网易首页 > 网易号 > 正文 申请入驻

密室逃脱成AI新考场,通关率不足50%,暴露空间推理短板

0
分享至

清华大学团队 投稿
量子位 | 公众号 QbitAI

近年来,多模态大模型(MLLMs)发展迅猛,从看图说话到视频理解,似乎无所不能。

但你是否想过:它们真的“看懂”并“想通”了吗?

模型在面对复杂的、多步骤的视觉推理任务时,能否像人类一样推理和决策?

为评估多模态大模型在视觉环境中,完成复杂任务推理的能力。清华大学团队受密室逃脱游戏启发,提出EscapeCraft:一个3D密室逃脱环境,让大模型在3D密室中通过自由探索寻找道具,解锁出口。

该论文目前已入选ICCV 2025。

EscapeCraft 环境

沉浸式互动环境,灵感源自密室逃脱

研究团队打造了可自动生成、灵活配置的 3D 场景 EscapeCraft,模型在里面自由行动:找钥匙、开箱子、解密码、逃出房间……其中每一步都需整合视觉、空间、逻辑等多模态信息。

任务可扩展,应用无限可能

EscapeCraft以逃出房间为最终目的,重点评测逃脱过程中的探索和决策行为、推理路径等。支持不同房间风格、道具链长度与难度组合,还可扩展到问答、逻辑推理、叙述重建等任务。它是一个高度灵活、可持续迭代的通用评测平台,也可以为未来的智能体、多模态推理、强化学习等方向研究提供基础环境、数据和奖励设置方面的支持。

EscapeCraft支持自由定制和扩展想要的难度等级。不同难度等级下所需的逃脱步骤有所不同。

为了提高任务的难度,我们将线索放置在了墙上而不是箱子中,考验模型对于环境信息的接收和处理能力,除此之外线索在房间的摆放位置也可自由选择。

在第一个场景中,线索位于靠近出口的墙上,此时GPT-4o的表现更加出色,可以对线索进行正确利用。

不过,当我们把线索移动到距离出口较远的墙上,GPT-4o开始不断重复历史路径,无法对正确理解和利用线索,导致逃脱失败。

模型推理和过程评测

Gemini-1.5-Pro 密室逃脱第一视角

这张图展示了 Gemini-1.5-pro 模型成功逃脱一个房间的全过程。

开始的0到4步,模型原地不动,通过旋转视角来观察房间的环境。

它先从右侧开始旋转,一步步查看房间的不同区域,试图找到可交互的物体或线索,比如电视、桌子和椅子。

到了第五步,模型将视角对准电视方向,继续寻找可操作的元素,这时我们可以看到桌上有一把钥匙。

第六步时,模型前进并拾取了这把钥匙。拿到钥匙后,模型表示自己准备转身面对门,尝试使用钥匙。

接下来的步骤中,模型开始朝门的方向移动,意图解锁房门。在移动过程中,他多次调整视角,尤其是向上看,试图确认门的位置。

由于视角偏低,模型一开始没能看到门,于是不断微调视角方向来定位门的位置。

从“答对”到“会想”

与传统只看最终任务结果的评测不同,EscapeCraft 关注整个任务完成过程:模型是否自主探索?有没有重复犯错?道具用得对不对?从而真正测试模型的“类人推理过程”。

论文重点弥补以结果为导向的评估缺陷,强调中间推理过程。为此设计了多个衡量视觉感知、多模态推理、环境探索和工具获取和利用的过程的创新指标:

Intent-Outcome Consistency(意图与结果一致性):衡量模型与环境的交互结果是否和的模型的交互意图一致,即模型是否“在正确的位置做正确的事”。

Prop Gain / Grab Ratio / GSR:刻画模型在探索和推理过程中的行为模式,反映模型的交互质量、推理效率、和智能程度。

评测结果显示:GPT-4o 在 Difficulty-3 中仅有 26.5% 的子目标达成是“真正理解后完成的”,其余大多为偶然成功(比如想拿电视却误抓到关键道具)。

研究还发现大量有趣失败案例。例如:

模型面对不可交互的沙发,仍试图抓取,并在“理由”中解释“沙发下可能藏着钥匙”;

模型原本已经看见了关键道具,却在移动过程中将其“逐步移出视野”,随后继续提及该道具却操作失败……

团队据此将错误拆分为两类:

视觉感知错误:误判目标是否可交互,视角控制失败;

推理逻辑错误:目标设定错误,或动作与意图不符。

其中 Claude 3.5 的错误中,61.1% 属于推理问题,38.9% 属于视觉问题。这说明即便模型“看到了”,不代表它“想清楚了”。

谁能逃离“密室”?模型表现结果对比

单房间逃脱结果统计,包括3个不同难度级别(数值越大越难)。

研究评测了包括 GPT-4o、Gemini-1.5 Pro、Claude 3.5、LLaMA-3.2、Qwen、Phi-3 等热门模型,发现:

在任务评价指标方面:

GPT-4o 逃脱成功率(ER)最佳,但在任务复杂度提升后仍频频出错;

国产大模型Doubao 1.5 Pro在最简单的关卡中,逃脱成功率超越Gemini 1.5 Pro和Claude 3.5 Sonnet;并且其交互成功率(Grab SR)超越GPT-4o和Claude 3.5 Sonnet;

即使模型逃脱成功率相同,EscapeCraft依然能利用道具获取率(Prop)、使用步数(Step),交互成功率(Grab SR)和交互率(Grab Ratio)对模型进行比较。

比如,在“Difficult-2”中,Gemini 1.5 Pro和Claude 3.5 Sonnet有相同的逃脱成功率和道具获取率,但是Gemini 1.5 Pro凭借较高的交互率,即使它的交互成功率较低,也能通过相对较少的步数成功逃脱;而Claude 3.5 Sonnet虽然交互率低,但每一步交互的成功率较高,体现出该模型完成任务时的“深思熟虑”。

在推理和探索行为方面:

Gemini 和 Claude 常在房间角落“卡住”,空间方向等判断失误,空转失败;

多数模型容易“反复抓错”或“认错道具”,他们的失败方式也各有特色:有的不会动、有的乱动、有的只移动不采取交互行动、有的动作对了但“目的不清”……;

子目标达成率虽高,但意图-结果一致性普遍低下,即“想要和沙发交互,但是意外地拿到钥匙”;

在多房间设定下,模型能从第一个房间学习到的逃脱经验有限,仅在两个房间关卡设定相似的条件下有辅助作用。

项目主页:
https://thunlp-mt.github.io/EscapeCraft

GitHub 地址:
https://github.com/THUNLP-MT/EscapeCraft

论文原文:
https://arxiv.org/abs/2503.10042v4

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
他接受纪律审查和监察调查

他接受纪律审查和监察调查

锡望
2026-11-22 20:42:15
56国收到邀请,唯独排除中国?美国本以为阴谋得逞,哪料中方反超

56国收到邀请,唯独排除中国?美国本以为阴谋得逞,哪料中方反超

关权教授聊经济
2026-11-14 22:16:53
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
6-5!英锦赛一夜3场绝杀:中国军团5胜2负,丁俊晖首场对手2选1

6-5!英锦赛一夜3场绝杀:中国军团5胜2负,丁俊晖首场对手2选1

球场没跑道
2026-11-22 09:03:41
500元以下羽绒服不建议买?记者实测20款短款女士羽绒服,九成充绒量150克封顶

500元以下羽绒服不建议买?记者实测20款短款女士羽绒服,九成充绒量150克封顶

红星新闻
2026-11-21 19:04:16
出口暴涨,利润几乎清零!欧洲智库:中国内卷“卖”到我们家了?

出口暴涨,利润几乎清零!欧洲智库:中国内卷“卖”到我们家了?

历史点行
2026-09-27 16:08:05
一对35岁湖南兄弟裸辞合伙开餐饮店,光门面装修就花了十几万,最后亏掉上百万,打工积蓄全没,还背上巨额贷款

一对35岁湖南兄弟裸辞合伙开餐饮店,光门面装修就花了十几万,最后亏掉上百万,打工积蓄全没,还背上巨额贷款

捣蛋窝
2026-11-22 18:52:39
离开曼城不到一年,瓜迪奥拉传出新身份,原来他早给自己留好退路

离开曼城不到一年,瓜迪奥拉传出新身份,原来他早给自己留好退路

你好崽崽l
2026-11-22 11:37:21
高市早苗的表现,让日本国内很失望和担忧,中日能沟通就满足了?

高市早苗的表现,让日本国内很失望和担忧,中日能沟通就满足了?

麓谷隐士
2026-11-23 00:05:15
杨瀚森又被DNP!一场97-96绝杀,验出开拓者头号庸才:8中1得3分

杨瀚森又被DNP!一场97-96绝杀,验出开拓者头号庸才:8中1得3分

球场没跑道
2026-11-22 11:38:22
局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

局势彻底反转了!美国对中国芯片下狠手,不到24小时,中方接连回应,美媒坐立难安,引发舆论热议!

林杰论事
2026-11-21 18:05:57
云南一男子出国担心妻子家里装了6个摄像头,结果却令他感到惊讶

云南一男子出国担心妻子家里装了6个摄像头,结果却令他感到惊讶

牛魔王与芭蕉扇
2025-01-09 15:59:08
网传电诈园区的办公室标语是:不忘初心砥砺前行感恩奋进,真荒诞啊!

网传电诈园区的办公室标语是:不忘初心砥砺前行感恩奋进,真荒诞啊!

黯泉
2026-11-21 17:27:58
郭威肠子悔青,没钱还房贷工作也丢,田静给许妈示好:我们是直系

郭威肠子悔青,没钱还房贷工作也丢,田静给许妈示好:我们是直系

子芫伴你成长
2025-03-25 23:13:48
越来越多人不要主卧卫生间,而是这样做!看完想说:真是太妙了

越来越多人不要主卧卫生间,而是这样做!看完想说:真是太妙了

甜茶极简记
2026-11-20 18:30:03
阿媒:博卡夺第23座国际赛事冠军,世界俱乐部排名第三

阿媒:博卡夺第23座国际赛事冠军,世界俱乐部排名第三

懂球帝
2026-11-22 11:44:16
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距远不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距远不止看脸蛋

笑谈文史
2026-11-22 21:01:11
民进党,大概率在下届台湾地区选举后,会变成长期一党独大的政党

民进党,大概率在下届台湾地区选举后,会变成长期一党独大的政党

史行途
2026-10-08 06:27:59
奥沙利文:任何伟大运动员都应该干脆利落,我不喜欢穆里尼奥和纳达尔

奥沙利文:任何伟大运动员都应该干脆利落,我不喜欢穆里尼奥和纳达尔

杨华评论
2026-11-19 20:20:21
民意转向?最新民调:近半数德国民众支持默茨尽快会晤普京

民意转向?最新民调:近半数德国民众支持默茨尽快会晤普京

南风不及你温柔
2026-11-22 12:57:41
2026-11-23 02:35:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176603关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

头条要闻

女子花2万存脐带血如今公司注销"断联":我的血还在吗

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

手机
教育
家居
艺术
公开课

手机要闻

星芒OSTA O1 Pro新机确认支持华为自研Wi-Fi 7+芯片级协同技术

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

世界十大著名宫殿盘点:中国独占两席

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版