网易首页 > 网易号 > 正文 申请入驻

18款顶级大模型集体考砸,最强成功率仅41分

0
分享至

黄昏,森林,一只蜘蛛正朝你爬来。这是《我的世界》最经典的开局。按下暂停,把截图发给任何一个顶级多模态大模型,它们都能答得漂亮:黄昏、有怪物、面临威胁。

但如果把模型直接丢进这个实时运行的世界里,让它自己活下去呢?美团LongCat团队构建的MineExplorer给出了一个不太好看的答案:18款顶级模型里,表现最好的Claude-Opus-4.6,整体任务成功率只有41分。


这不是看图问答,是3分钟连续生存

MineExplorer不是让模型看一张截图做选择题。每个任务实例会运行1800个环境步,每步执行0.1秒,对应一段3分钟的连续交互视频。在这3分钟里,环境一直在变:模型每做一个动作,世界状态就更新一次,它必须根据最新画面不断调整策略。

更关键的是任务结构。MineExplorer把任务按「跳数」分级,代表完成最终目标需要经过多少隐藏前置步骤。简单任务是目标明确的单跳任务;困难任务由2到4跳组成,最终目标虽然给出,但要完成它,必须先推理并完成若干没有在指令里说明的前置子任务。

每个复合任务被定义为一个四元组,包含自然语言指令、初始状态、任务依赖图和规则化里程碑检查器。指令本身不会枚举依赖图里的所有节点,智能体必须自己从环境里推断出隐藏的前置任务。任务越难,意味着需要越多样的能力、越多隐藏前置、越深的依赖链。

还有一个容易被忽略的设计:知识解耦。团队对每个原子任务用LLM裁判判断,它主要依赖通用世界常识还是Minecraft专有机制,并过滤掉后者。测的不是「AI会不会玩Minecraft」,而是「AI能不能在一个动态物理世界里自主探索」。

每加一层隐藏依赖,就掉一个台阶

排行榜上的数字很直白。最强模型Claude-Opus-4.6的表现,从1跳任务的77分,一路下滑到4跳任务的12分。每增加一层隐藏的前置依赖,模型就掉一个台阶。

第二个规律出现在几乎所有被测模型上:感知分数高于行动分数,行动分数高于推理分数。以Claude-Opus-4.6为例,整体感知分61.91,推理分54.71。瓶颈不在于看不见,而在于看懂了却无法串联成有效策略。

团队对Claude-Opus-4.6的失败案例做了归因分析,导航失败是最大的错误来源,占比近60%。也就是说,近六成的失败,模型连目标都没走到。

那给它更多资源行不行?消融实验给出了否定答案。步数上,能解的任务模型在早期就解出来了,解不了的给到1800步上限照样解不了。记忆上,增加历史画面帧数到一定程度后,性能反而下降,因为过期的观察会干扰对当前局面的判断。

核心结论是:瓶颈不在资源,而在模型没法把已有的信息和当前世界状态对齐。

813个任务是怎么造出来的

构建高质量的长程任务基准本身就是难题。MineExplorer的解法是让一组各有分工的AI协作造题:五个专业Agent在一个群聊里协作,由一个orchestrator控制发言顺序,流程分初始化和辩论两个阶段,先生成初稿,再由专家和验证器找出问题并修订。

人工评估结果显示,多智能体流程把有效率拉高了约30个百分点,质量分提升约0.5分,在最难的4-hop任务上优势尤其明显。最终保留了813个通过人工验证的高质量复合任务实例,覆盖1-hop到4-hop。

能力维度上,MineExplorer借鉴ReAct范式,把开放世界探索拆解成三大维度共14项细粒度能力:

  • 感知:空间、时序、实体、状态、资源
  • 推理:常识、因果、关系
  • 行动:移动、跳跃、采集、放置、合成、攻击

其中空间感知、移动、采集等基础能力出现频率最高,常识推理、因果推理也占了相当比例。

看得见,不等于能探索

MineExplorer揭示的是一个被乐观情绪掩盖的能力断层:当前的多模态大模型已经具备不错的感知力,但严重缺乏在动态世界中持续行动的探索力。

对正在升温的具身智能赛道,这有几个直接启示。感知层基本就绪,规划层才是瓶颈——模型能看懂环境,但把感知转化成长程、含隐藏前置的行动计划,才是从能看到能做之间真正的鸿沟。行业也需要更接近真实复杂度的评测标准,在受控场景里跑通一个单步指令,不足以宣布AI能行动了。

MineExplorer交付的不只是一套静态题库。它带着一整套自动合成长程任务的流程,和一个能直接拿来训练的Minecraft环境。评测、造题、训练,用的是同一套基础设施,目前已全面开源。

把瓶颈定位清楚,比盲目乐观更有价值。在一个会变化的世界里持续推理、持续行动,这才是AI走向真实世界必须先跨过的那道门槛。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
见过贾国龙几次后,我敢说:西贝真正的病根,压根不是预制菜

见过贾国龙几次后,我敢说:西贝真正的病根,压根不是预制菜

放开他让wo来
2026-09-23 16:37:59
余承东公开透露,是赛力斯先提出的!以后精力放在四界!网友:最好的华为在奕境,余总背后有没有凉意?

余承东公开透露,是赛力斯先提出的!以后精力放在四界!网友:最好的华为在奕境,余总背后有没有凉意?

大白聊IT
2026-09-25 01:45:27
“爷爷黄毛,奶奶满背!”一家五口火了,网友:孩子小学毕业就算高学历!

“爷爷黄毛,奶奶满背!”一家五口火了,网友:孩子小学毕业就算高学历!

林林先生
2026-09-12 12:25:03
难怪电诈灭不完!要不是高官透内幕,咱还被蒙鼓里,最后还得吃亏

难怪电诈灭不完!要不是高官透内幕,咱还被蒙鼓里,最后还得吃亏

白米饭怎么吃
2026-08-07 21:41:18
特朗普迎来大契机

特朗普迎来大契机

虚声
2026-09-24 22:49:22
王楚钦回应“决赛田忌赛马”

王楚钦回应“决赛田忌赛马”

上观新闻
2026-09-24 20:22:30
美元大涨,人民币或将开启贬值周期,对市场冲击进一步显现

美元大涨,人民币或将开启贬值周期,对市场冲击进一步显现

三农老历
2026-09-25 05:37:49
回国才敢说句心里话,在俄罗斯,对方知道你是中国人,态度全变了

回国才敢说句心里话,在俄罗斯,对方知道你是中国人,态度全变了

潘軮旅行浪子
2026-09-21 17:07:42
邓亚萍谈国乒男团不敌日本:整体打得还是很不错的,王楚钦在0:2的情况下连追三局很不容易,第四场确实是张本智和打得更好,研究比较充分

邓亚萍谈国乒男团不敌日本:整体打得还是很不错的,王楚钦在0:2的情况下连追三局很不容易,第四场确实是张本智和打得更好,研究比较充分

扬子晚报
2026-09-24 22:42:24
全天跳水!三大因素,曝光!

全天跳水!三大因素,曝光!

中国基金报
2026-09-24 15:40:54
回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

回老家一趟我彻底破防:村里47个五十岁上下的壮年人,全不种地不打工,天天打牌晒太阳,一问存款还没我多

犀利辣椒
2026-09-25 06:21:06
撕破脸!张家齐妈妈摊牌曝逃离原因:宁两败俱伤,也不让她独赢!

撕破脸!张家齐妈妈摊牌曝逃离原因:宁两败俱伤,也不让她独赢!

历史点行
2026-09-24 21:48:09
张一鸣:遍地都是赚到百万的项目,但是99%的人选择埋头打工

张一鸣:遍地都是赚到百万的项目,但是99%的人选择埋头打工

一些小事
2026-09-22 06:17:58
张本美和飘了,赛后阴阳怪气,她说,不知道为什么和我打比赛的对手,总是莫名其妙的叫医疗暂停,我都习惯了!

张本美和飘了,赛后阴阳怪气,她说,不知道为什么和我打比赛的对手,总是莫名其妙的叫医疗暂停,我都习惯了!

乒乓乐园
2026-08-10 00:04:07
CBA三大资讯,大魔王回归广东,宏远夺冠率前三甲,辽宁未进前五

CBA三大资讯,大魔王回归广东,宏远夺冠率前三甲,辽宁未进前五

体坛小快灵
2026-09-25 09:28:56
朱可夫晚年吐露:1951年苏联援华军火数量大得惊人,多年后他才说出那批物资背后不为人知的内情?

朱可夫晚年吐露:1951年苏联援华军火数量大得惊人,多年后他才说出那批物资背后不为人知的内情?

扶苏聊历史
2026-09-24 13:42:14
痛心!一个错误的决定导致国乒输日本耻辱性丢冠,谁来承担责任?

痛心!一个错误的决定导致国乒输日本耻辱性丢冠,谁来承担责任?

体坛小二哥
2026-09-25 11:08:48
贵州茅台医院一女护士倒在工作岗位,查出脑出血去世留下8岁儿子;人社局:抢救10天不予认定工伤

贵州茅台医院一女护士倒在工作岗位,查出脑出血去世留下8岁儿子;人社局:抢救10天不予认定工伤

大风新闻
2026-09-24 19:00:05
不演了,复合传闻澄清后,张柏芝高调官宣好消息,谢霆锋发文晒照

不演了,复合传闻澄清后,张柏芝高调官宣好消息,谢霆锋发文晒照

错过美好
2026-09-25 10:26:24
给力!肺癌控制率达100%,70%明显缩小或消失,还可治疗多种肿瘤

给力!肺癌控制率达100%,70%明显缩小或消失,还可治疗多种肿瘤

医学科普汇
2026-09-24 18:30:09
2026-09-25 13:27:00
码上闲叙
码上闲叙
有态度网友ytd
262文章数 95关注度
往期回顾 全部

游戏要闻

AnyPS5可转换PS5程序 游戏目前仅能初步启动

头条要闻

市民全款买经适房未入住 6年后查房懵了:他人已住4年

头条要闻

市民全款买经适房未入住 6年后查房懵了:他人已住4年

体育要闻

这场青春风暴,中国足球等了太久

娱乐要闻

肖战因拍《十日终焉》连续做半个月梦

财经要闻

月饼卖不动了...

科技要闻

华为赛力斯,一次声势浩大的权、利再分配

汽车要闻

全新第四代博越L 上市限时价9.29万元起

态度原创

健康
游戏
房产
艺术
旅游

鼻子三角区的痘,千万别乱挤!

曝Xbox版GTA6预购远不如PS5!Xbox回应:很满意

房产要闻

全年霸榜TOP1!南海・叁號院周年官宣:新作即将登场

艺术要闻

差一个月竣工!让·努维尔设计的山地豪宅,被大火几乎焚毁!

旅游要闻

“寻味泰州”水城蟹乡美食旅游季在上海启幕

无障碍浏览 进入关怀版