网易首页 > 网易号 > 正文 申请入驻

火了!高中生用Minecraft做AI基准,用户看图投票决定大模型排名

0
分享至

机器之心报道

编辑:蛋酱

偶然发现了一个很有趣的 AI 基准测试,点开链接,竟然是一个 MineCraft 作品投票页面?

如图所示,这些作品都是 AI 完成的,灰色框中的文字对应的是提示词。黑框是可点击的选项 ——A、B 或者持平。

网站地址:https://mcbench.ai/

来都来了,先投个票吧。投票之前,作品都是「匿名」的。只有在投票后,我们才能看到每个 Minecraft 作品是由哪个模型完成的。

在这个基准里,主要看三个维度:指令遵循、代码完成度和创造力。

AI 技术飞速演进的时代,传统的人工智能基准测试显然不够用了。总有人能想出一些新颖的测试方法,比如的沙盒建造游戏 Minecraft。

这就是我们刚刚看到的 Minecraft Benchmark(MC-Bench)。作为用户,我们能够参与的部分就是:投票。累计票数中的 ELO 分数决定了每个模型的排名。

有趣的是,无论采用哪种指标,排行榜的收敛程度都很高:Claude 3.7 & 3.5 和 GPT-4.5 都是断层领先。

从技术上讲,MC-Bench 是一个编程基准,因为模型需要编写代码来创建所提示的构建,如「冰霜雪人」(Frosty the Snowman)或「原始沙滩上迷人的热带海滨小屋」(a charming tropical beach hut on a pristine sandy shore)。

Prompt:"build a detailed steampunk-style airship flying among the clouds"(一艘在云层中飞行的详细蒸汽朋克风格飞艇)

创办 MC-Bench 的 Adi Singh 是个高中生,在他看来,用 Minecraft 做测试基准的价值并不在于游戏本身,而在于「人们对它的熟悉程度」,毕竟它是有史以来最畅销的视频游戏。

对于大多数 MC-Bench 用户来说,评价雪人是否更好看要比研究代码更容易,这使得该项目具有更广泛的吸引力,从而有可能收集更多数据,以了解哪些模型的得分始终更高。

退一万步说,即使是没有玩过这款游戏的人,也可以评估出哪个菠萝的块状表现形式更好,请参考下面这个例子:

「目前,我们只是在进行简单的构建,以思考我们自 GPT-3 时代以来已经走了多远,但(我们)可以看到自己正在扩展到这些较长形式的计划和目标导向型任务。游戏可能只是一种测试智能体推理的媒介,它比现实生活中更安全,测试目的也更可控,因此在我看来更理想。」

研究人员经常在标准化评估中对人工智能模型进行测试,其中很多测试都会给人工智能带来主场优势。由于人工智能模型的训练方式,它们天生就擅长解决某些具体的问题,尤其是需要死记硬背或基础推理的问题。

简单地说,OpenAI 的 GPT-4 可以在 LSAT 考试中取得第 88 百分位数的成绩,但却无法辨别「Strawberry」一词中有多少个 「R」。Anthropic 的 Claude 3.7 Sonnet 在一项标准化软件工程基准测试中取得了 62.3% 的准确率,但在玩《口袋妖怪》时却比大多数的五岁孩子还差。

所以一些开放式的游戏反而能「另辟蹊径」,提供检验 AI 性能的新颖视角。在此之前,已经有很多知名游戏被加入 AI 基准测试的名单,比如《口袋妖怪》(Pokémon Red)、《街头霸王》(Street Fighter)和《猜字游戏》(Pictionary)。

《先别骂队友,上交如何让 DeepSeek R1 在分手厨房再也不糊锅?》

《Claude 玩宝可梦,卡关就「装死」重启,大模型:逃避可耻但有用》

MC-Bench 的作者表示,他其实希望能够让用户自由提示、自由投票,但这个玩法「又慢又贵」,目前阶段还不现实。

社区给 MC-Bench 的评价还是很高的,特别指出了它在「3D 空间理解和创造力」评估层面的价值。

MC-Bench 的网站目前列出了八位「特别鸣谢」的贡献者:Anthropic、谷歌、OpenAI 和阿里为该项目使用其产品运行基准提示提供了补贴,但这些公司在其他方面并无关联。

MC-Bench 团队还表示,面向研究人员,他们愿意开放后端查看权限,最终他们还将完全开放数据以供下载。

https://techcrunch.com/2025/03/20/a-high-schooler-built-a-website-that-lets-you-challenge-ai-models-to-a-minecraft-build-off/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

7亿!加索尔正式联手科比遗孀!瓦妮莎想开了,官宣决定

喜欢体育的猫
2026-11-21 10:36:48
局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

局势失控!英伟达内部对立加剧,10名董事+60名高管收到同一封“逼宫信”:看不到黄仁勋回归,便选择离场

秋风妃
2026-11-21 14:13:31
CBA杯-广东爆冷惨负香港金牛出局 徐杰21+8+6全队仅1人上双

CBA杯-广东爆冷惨负香港金牛出局 徐杰21+8+6全队仅1人上双

醉卧浮生
2026-11-21 22:00:16
港姐季军吴文忻去世,终年 51 岁,生前已办追思会,被骗走毕生积蓄

港姐季军吴文忻去世,终年 51 岁,生前已办追思会,被骗走毕生积蓄

不写散文诗
2026-11-21 22:40:06
顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

顺丰速运被暂停参加全军采购活动,网友:这波直接踩线了

东方豪侠
2026-11-21 13:27:30
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
不匹配的高度,配得上谁?

不匹配的高度,配得上谁?

薇微笑语
2026-11-20 16:13:00
确诊不到一年,患全球罕见变异白血病小伙去世 生前最大愿望是活着陪妈妈回四川老家

确诊不到一年,患全球罕见变异白血病小伙去世 生前最大愿望是活着陪妈妈回四川老家

红星新闻
2026-11-21 15:12:39
普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

普通人挪用三千块要吃官司,湘雅二院医生拿着千万级科研经费,用虾滑冒充肿瘤,处理结果仅仅降级留任!

聊斋新志
2026-11-18 16:53:43
冲上热搜!全军暂停采购八马茶业

冲上热搜!全军暂停采购八马茶业

深蓝财经
2026-11-21 16:09:33
突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

突发讣告!张劲松因病医治无效于2026年11月18日逝世,享年61岁

往史过眼云烟
2026-11-21 11:39:08
降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

降薪220万欧回国!33岁中超MVP官宣离队 4年2次来华+助两队夺首冠

我爱英超
2026-11-21 19:47:23
阿奇莉莉贝特乡村校园再起风波,家长集体吵翻,状况频出

阿奇莉莉贝特乡村校园再起风波,家长集体吵翻,状况频出

朗威谈星座
2026-11-21 04:47:41
恭喜!香港女星晒二胎孕照,年初才办婚礼,曾与TVB男星拍拖五年

恭喜!香港女星晒二胎孕照,年初才办婚礼,曾与TVB男星拍拖五年

圆梦的小老头
2026-11-21 22:42:14
北大医学博士薄世宁,在ICU工作25年,劝告你:在健康时一定要找个能托付的人!人老了,比生病更可怕的,是身边没有一个“自己人”

北大医学博士薄世宁,在ICU工作25年,劝告你:在健康时一定要找个能托付的人!人老了,比生病更可怕的,是身边没有一个“自己人”

背包旅行
2026-11-21 17:31:24
“产品难道要卖给空气”,299台注塑机仅8名工人,引全网热议!网友:机器人必须交税,把税发给失业的人

“产品难道要卖给空气”,299台注塑机仅8名工人,引全网热议!网友:机器人必须交税,把税发给失业的人

火山詩话
2026-11-21 07:08:37
菲总统小马科斯夸赞中方迎宾曲安排:温暖贴心!

菲总统小马科斯夸赞中方迎宾曲安排:温暖贴心!

看看新闻Knews
2026-11-21 17:50:41
泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

泽连斯基质疑美国对乌方区别对待:能帮以色列,那也可以支持乌克兰

澎湃新闻
2026-11-21 17:40:05
段永平再谈字节跳动6000亿美元估值:最近好几个私下找 想把股份卖我

段永平再谈字节跳动6000亿美元估值:最近好几个私下找 想把股份卖我

快科技
2026-11-21 18:44:08
2026-11-22 00:36:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

艺术
游戏
教育
亲子
数码

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

PC Gamer试玩GTA6百小时:双主角出色但任务重复

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

亲子要闻

宝宝必看的5个启蒙动画,豆瓣评分都是在9.0以上

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

无障碍浏览 进入关怀版