网易首页 > 网易号 > 正文 申请入驻

一名高中生创建AI测试网站,能和模型在《我的世界》进行建造比赛

0
分享至

随着传统的 AI 基准测试被证明存在不足之处,AI 开发者们正在转向更具创意的方法来评估生成式 AI 模型的能力。对于 12 年级的阿迪·辛格(Adi Singh)来说,这个方法是《我的世界》(Minecraft),一款微软旗下的沙盒建造游戏。

Minecraft Benchmark(下称“MC-Bench”)网站是辛格和他人合作开发的,目的是让 AI 模型在挑战中相互竞争,应对提示的方式则是直接用《我的世界》完成创作。用户可以投票选出哪个模型做得更好,只有在投票后才能看到每个《我的世界》作品都是由哪个 AI 完成的。

《我的世界》的价值并不在于游戏本身,而在于人们对它的熟悉程度。毕竟,它是有史以来最畅销的电子游戏之一。

辛格表示,《我的世界》让人们能更轻松地看到 AI 发展的进展。人们熟悉《我的世界》,也习惯了它的画面风格和整体氛围。

MC-Bench 网站上目前列出了几位贡献者。根据 MC-Bench 网站的信息,Anthropic、谷歌、OpenAI 和阿里巴巴已资助该项目使用它们的产品来运行基准测试提示,但这些公司并未以其他方式参与该项目。

辛格表示,目前他只是在进行一些简单的构建,以反思 AI 领域从 GPT-3 时代以来所取得的进步,但他未来可能会考虑扩展到更长期的项目,以及其他以目标为导向的任务。其表示,游戏可能只是一种测试代理推理的媒介,它比现实生活更安全,也更容易控制以用于测试目的。

其他游戏比如《精灵宝可梦红》《街头霸王》和《你画我猜》也被用作 AI 的实验基准,这在一定程度上是因为对 AI 进行基准测试这门“艺术”向来极为棘手。

研究人员经常在标准化评估中对 AI 模型进行测试,但许多此类测试会让 AI 具有天然优势。由于训练方式的原因,这些模型天生擅长解决某些特定领域的难题,尤其是那些需要死记硬背或简单推理的问题。

简而言之,我们看到 OpenAI 的 GPT-4 可以在法学院入学考试中取得 88% 的成绩,但却无法准确说出“strawberry”这个词中有多少个“r”。Anthropic 的 Claude 3.7 Sonnet 在标准化软件工程基准测试中的分数为 62.3%,但它在玩《宝可梦》游戏时的表现却比大多数五岁儿童还要差。

从技术上讲,MC-Bench 是一个编程基准测试,因为模型被要求编写代码(完成构建)来回应提示,例如创造“雪人 Frosty”或“原始沙滩上迷人的热带海滩小屋”。

但对于大多数 MC-Bench 评判者来说,评估一个雪人看起来是否更好,比深入研究代码要容易得多,这使得该项目具有更广泛的吸引力,并因此有可能获得更多关于哪些模型持续得分更高的数据。

当然,这些分数是否对 AI 的实用性有重大影响还有待商榷。不过,辛格坚信这是一个强烈的信号。

其告诉媒体,目前 MC-Bench 的测试结果排行榜非常接近于他自己使用这些模型的经验,这与许多纯文本基准测试是不同的,因此也许 MC Bench 对于相关公司是有用的,可以帮助这些公司了解自己是否正在朝着正确的方向前进。

参考资料:

https://mcbench.ai/

https://x.com/_mcbench

https://github.com/mc-bench

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

忧郁天空
2026-11-18 18:32:55
闻泰科技89.48亿投资损失已确认,收购的安世半导体供应链伤多重

闻泰科技89.48亿投资损失已确认,收购的安世半导体供应链伤多重

说故事的阿袭
2026-11-20 08:11:25
普京:克里米亚大桥遭袭后 俄方不会再讨论海上停火

普京:克里米亚大桥遭袭后 俄方不会再讨论海上停火

财联社
2026-11-20 07:10:05
只有中国能办到!特朗普欣赏深圳夜景,普京同日抵达,两人将私聊

只有中国能办到!特朗普欣赏深圳夜景,普京同日抵达,两人将私聊

国际法大视野
2026-11-19 13:54:06
晚上9点!CCTV5直播“全新”男篮首秀,核心后卫场均19.9分,郭士强拒绝“爆冷”

晚上9点!CCTV5直播“全新”男篮首秀,核心后卫场均19.9分,郭士强拒绝“爆冷”

篮球圈里的那些事
2026-11-19 21:16:25
诺里肯定杨瀚森表现,但明确前提:罗威克林根无法上场才能进轮换

诺里肯定杨瀚森表现,但明确前提:罗威克林根无法上场才能进轮换

篮球资讯达人
2026-11-20 13:05:34
年底最后一波好运:11月底起贵人扎堆、财运翻身的3生肖

年底最后一波好运:11月底起贵人扎堆、财运翻身的3生肖

星缘生肖
2026-11-19 11:47:47
左宗棠收复新疆代价有多大?阵亡6位一级将领,数据名单触目惊心

左宗棠收复新疆代价有多大?阵亡6位一级将领,数据名单触目惊心

文史达观
2025-07-06 06:45:03
工商银行发布贵金属市场波动风险提示

工商银行发布贵金属市场波动风险提示

界面新闻
2026-11-20 14:23:25
俄政府敲定克里米亚大桥修复方案

俄政府敲定克里米亚大桥修复方案

参考消息
2026-11-20 14:27:04
《GTA6》性爱系统详解:教你怎么做爱做的事情!

《GTA6》性爱系统详解:教你怎么做爱做的事情!

游民星空
2026-11-20 10:05:15
太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

太可怕了!网传评论“凭什么给没有血缘关系的男人生孩子”收获9141个赞同,引发大量网友留言

火山詩话
2026-11-18 11:00:42
抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

抵达深圳后,中国台北代表施振荣喊话大陆,赖清德交代他3项任务

不似少年游
2026-11-19 07:21:22
崔永熙等多位队友祝福贺希宁:一切都会回来的,别问我为什么知道

崔永熙等多位队友祝福贺希宁:一切都会回来的,别问我为什么知道

懂球帝
2026-11-20 10:54:08
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

经纬戎韬
2026-11-20 00:09:28
直线拉升!600360,2分钟涨停,封单超106万手

直线拉升!600360,2分钟涨停,封单超106万手

证券时报
2026-11-20 10:28:05
马龙的头号迷妹石川佳纯,现被日媒曝:与前日乒一哥“共度良宵”

马龙的头号迷妹石川佳纯,现被日媒曝:与前日乒一哥“共度良宵”

秋姐居
2026-11-20 11:47:44
AZEC峰会落幕,高市发出特别邀约,请11国把自家石油放进日本罐里

AZEC峰会落幕,高市发出特别邀约,请11国把自家石油放进日本罐里

影孖看世界
2026-11-19 23:26:23
GTA6成人相关搜索暴涨5000%!玩家狂搜色图和嫖娼

GTA6成人相关搜索暴涨5000%!玩家狂搜色图和嫖娼

游民星空
2026-11-20 10:05:16
一路走好!不到48小时,已有2位名人被曝去世,个个让人惋惜

一路走好!不到48小时,已有2位名人被曝去世,个个让人惋惜

观察鉴娱
2026-11-20 10:42:01
2026-11-20 14:59:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17507文章数 515383关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

头条要闻

特朗普返美途中发文:这是一次伟大且意义深远的访问

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

袁茵却用事实证明 活得并不差!

财经要闻

Anthropic敲钟 美股跳水:AI狂欢结束?

汽车要闻

方程豹钛9实测 堪称比亚迪最强混动的DMS到底怎么样?

态度原创

家居
房产
健康
教育
亲子

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

收益率30%!海南杀出国内最赚钱的“接盘侠”!

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

你认识boat,但未必认识“划船”的boat

亲子要闻

二宝出生后,大宝突然要抱要喂,怎么引导?

无障碍浏览 进入关怀版