网易首页 > 网易号 > 正文 申请入驻

MCU:全球首个生成式开放世界基准,革新通用AI评测范式

0
分享至


该工作由通用人工智能研究院 × 北京大学联手打造。第一作者郑欣悦为通用人工智能研究院研究员,共同一作为北京大学人工智能研究院博士生林昊苇,通讯作者为北京大学助理教授梁一韬和通用人工智能研究院研究员郑子隆。

开发能在开放世界中完成多样任务的通用智能体,是AI领域的核心挑战。开放世界强调环境的动态性及任务的非预设性,智能体必须具备真正的泛化能力才能稳健应对。然而,现有评测体系多受限于任务多样化不足、任务数量有限以及环境单一等因素,难以准确衡量智能体是否真正「理解」任务,或仅是「记住」了特定解法。

为此,我们构建了Minecraft Universe(MCU)——一个面向通用智能体评测的生成式开放世界平台。MCU 支持自动生成无限多样的任务配置,覆盖丰富生态系统、复杂任务目标、天气变化等多种环境变量,旨在全面评估智能体的真实能力与泛化水平。该平台基于高效且功能全面的开发工具MineStudio构建,支持灵活定制环境设定,大规模数据集处理,并内置 VPTs、STEVE-1 等主流 Minecraft 智能体模型,显著简化评测流程,助力智能体的快速迭代与发展。

  • 论文地址:https://arxiv.org/pdf/2310.08367
  • 代码开源:https://github.com/CraftJarvis/MCU
  • 项目主页:https://craftjarvis.github.io/MCU
  • MineStudio:https://github.com/CraftJarvis/MineStudio

开放世界AI,亟需理想的评测基准!

传统测试基准包含有标准答案的任务(如代码、推理、问答),但开放世界任务 Minecraft 有着完全不同的挑战:

  • 目标开放多样:任务没有唯一解,策略可以千变万化;
  • 环境状态庞杂:状态空间近乎无限,还原真实世界复杂度;
  • 长周期任务挑战:关键任务持续数小时,智能体需长期规划。

在这样的环境中,我们需要的不只是一个评分系统,而是一个维度丰富、结构多元的综合评测框架。

MCU:为开放世界 AI 打造的「全方位试炼场」

当前已有不少 Minecraft 的测试基准,但它们普遍面临「三大瓶颈」:

  • 任务单一:局限于如挖钻石、制造材料等少数几个场景的循环往复。
  • 脱离现实:部分建模任务甚至超出了普通人类玩家的能力范畴。
  • 依赖人工评测:效率低下,导致评测难以规模化推广。

与之前 minecraft 测试基准对比示意图。

针对以上痛点,MCU 实现了以下三大核心突破:

一:3,452 个原子任务 × 无限组合生成,构筑海量任务空间

MCU 构建了一个覆盖真实玩家行为的超大任务库:

  • 11 大类 × 41 子类任务类型:如挖矿、合成、战斗、建造等;
  • 每个任务都是「原子级粒度」:可独立测试控制、规划、推理、创造等能力;
  • 支持 LLM 动态扩展任务,比如:用钻石剑击败僵尸、雨天徒手采集木材、

在沙漠中建一座水上屋。

任意组合这些原子任务,即可生成无限的新任务,每一个都对 AI 是全新挑战!

模拟多样化真实世界挑战。

二. 任务全自动生成 × 多模态智能评测,革新评估效率

GPT-4o 赋能,一句话生成复杂世界:

  • 自动生成完整的任务场景(包括天气、生物群系、初始道具等)。
  • 智能验证任务配置的可行性,有效避免如「用木镐挖掘钻石」这类逻辑错误型任务。

VLM(视觉语言模型)驱动,彻底改变了传统人工打分的低效模式:

  • 基于 VLM 实现对任务进度、控制策略、材料利用率、执行效率、错误检测及创造性六大维度的智能评分。
  • 模型自动生成详尽的评估文本,评分准确率高达91.5%
  • 评测效率相较人工提升8.1 倍,成本仅为人工评估的1/5!

任务生成 x 多模态评测流程图。

三:高难度 × 高自由度的「试金石」任务设计,深度检验泛化能力

MCU 支持每个任务的多种难度版本,如:

  • 「白天在草原击杀羊」VS「夜晚在雨林躲避怪物并击杀羊」;
  • 「森林里造瀑布」VS「熔岩坑边缘建造瀑布」。

这不仅考验 AI 是否能完成任务,更深度检验其在复杂多变环境下的泛化与适应能力。

打破「模型表现良好」的幻象:现有 SOTA 模型能否驾驭 MCU ?

我们将当前领域顶尖的 Minecraft 智能体引入 MCU 进行实战检验:GROOT:视频模仿学习代表;STEVE-I:指令执行型控制器;VPT(BC/RL):基于 YouTube 行为克隆训练而成的先驱。结果发现,这些智能体在简单任务上表现尚可,但在面对组合任务和陌生配置场景时,完成率急剧下降,且错误识别与创新尝试是其短板。

SOTA 模型在 MCU 上的测试结果。

研究团队引入了更细粒度的任务进度评分指标(Task Progress),区别于传统 0/1 式的「任务完成率」,它能动态刻画智能体在执行过程中的阶段性表现,哪怕任务失败,也能反映其是否在朝正确方向推进。

实验发现,当前主流模型如 GROOT、STEVE-I、VPT-RL,在原子任务中尚有可圈可点的表现,但一旦面对更具组合性和变化性的任务,其成功率便会骤降。甚至对环境的微小改动也会导致决策混乱。比如「在房间内睡觉」这个看似简单的任务,仅仅是将床从草地搬到屋内,就让 GROOT 频繁误把箱子当床点击,甚至转身离开现场——这揭示了现有模型在空间理解与泛化上的明显短板。

更令人警醒的是,智能体在建造、战斗类任务中的「创造性得分」与「错误识别能力」几乎全面落后。这说明它们尚未真正具备人类那种「发现问题、调整策略」的自主意识,而这正是通用智能迈向下一个阶段的关键。

MCU 的评测结果首次系统性地揭示了当前开放世界智能体在「泛化、适应与创造」这三大核心能力上存在的鸿沟,同时也为未来的研究指明了方向:如何让 AI 不仅能高效完成任务,更能深刻理解任务的本质,并创造性地解决复杂问题。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

福建省代省长郭宁宁主持召开全省食品安全暨“校园餐”整治专题会议:要保持高压严打态势,坚持执法必严、违法必究,重拳惩治违法违规行为

新京报政事儿
2026-11-18 10:12:02
肃反运动中,被张国焘杀害的6位红军名将

肃反运动中,被张国焘杀害的6位红军名将

祁州校尉
2026-11-18 09:00:39
山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

山东男篮逆转广东,陈林坚冷血三分制胜,替补席涌现小奇兵

臻体育
2026-11-18 22:04:57
王兴兴穿旧白鞋参加APEC,网友;这鞋没换过,还好没穿牛仔裤!

王兴兴穿旧白鞋参加APEC,网友;这鞋没换过,还好没穿牛仔裤!

玖宇维
2026-11-18 20:38:19
高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

高三男孩喀纳斯湖失踪,母亲守岸7天后直言放弃,意外竟在此时发生

古怪奇谈录
2025-10-16 10:53:42
资本市场辟谣平台:国常会“不再频繁救市”表态系谣言

资本市场辟谣平台:国常会“不再频繁救市”表态系谣言

界面新闻
2026-11-18 13:44:43
干得漂亮!央视切断开拓者比赛信号,开拓者外网官推被冲,球迷要求解雇诺里,杨瀚森有人为你出头了

干得漂亮!央视切断开拓者比赛信号,开拓者外网官推被冲,球迷要求解雇诺里,杨瀚森有人为你出头了

詹妹侃体育
2026-11-18 17:40:55
普京飞往深圳前,俄战机“闯入”日本领空,一路南下飞到台湾东侧

普京飞往深圳前,俄战机“闯入”日本领空,一路南下飞到台湾东侧

国际法大视野
2026-11-17 21:22:05
极限大逆转!CBA杯赛山东69-65广东,11冠王换帅还是输

极限大逆转!CBA杯赛山东69-65广东,11冠王换帅还是输

极度说球
2026-11-18 22:25:29
减仓幅度已创下二十年来最大

减仓幅度已创下二十年来最大

边际财经实验室
2026-11-18 19:56:02
当年为什么查办褚时健?

当年为什么查办褚时健?

百晓生谈历史
2025-08-20 21:55:53
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
中国政法大学教授刘纪鹏:A股36年涨3600点,问题出在哪?

中国政法大学教授刘纪鹏:A股36年涨3600点,问题出在哪?

江启
2026-11-18 12:45:18
大瓜,黄仁勋黄乐最新视频流出

大瓜,黄仁勋黄乐最新视频流出

小鱼爱鱼乐
2026-11-18 20:27:43
女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

女子梦到和男同事发生关系,醒来腰酸背痛,报警称被侵犯,查无实据后男同事反诉,法院判她道歉赔500

一丝不苟的法律人
2026-11-16 11:01:14
高市,如愿以偿?

高市,如愿以偿?

戎评
2026-11-18 13:57:26
33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

33岁男子有15年烟龄,下决心戒烟,每天把30元烟钱贴墙上,戒烟215天存下6000多元后给妻子买了10999元的手机

蓬勃新闻
2026-11-18 06:43:27
祝贺!中国成功连任

祝贺!中国成功连任

政知新媒体
2026-11-17 07:11:29
两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

两位妈妈打扮精致去开家长会,被发到网上,网友吵翻:这是选美,还是开会?

蝴蝶花雨话教育
2026-10-29 00:05:14
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
2026-11-18 22:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
房产
家居
亲子
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

房产要闻

6.6亿!海口卖地!

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

宝宝气人但是聪明的4个行为

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版