网易首页 > 网易号 > 正文 申请入驻

刚刚,大模型棋王诞生!40轮血战,OpenAI o3豪夺第一,人类大师地位不保?

0
分享至

新智元报道

编辑:KingHZ

【新智元导读】继Kaggle Game Arena的淘汰赛后,国际象棋积分赛成果出炉!OpenAI o3以人类等效Elo 1685分傲视群雄,而Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。

别再拿淘汰赛说事了!

这次是真刀真枪的「积分赛」,Elo榜单才是硬实力。

40轮血战,国际象棋AI仅文本输入结果出炉了。

仅使用文本输入、无工具、无验证器,各大AI模型进行对决。

每组配对进行超过40场比赛,构建了类似围棋等运动项目的Elo排名。

OpenAI o3独占鳌头,Grok、Gemini位列榜眼。

第一名:o3 ,估计人类Elo为1685分,而人类大师水平为2200分!

第二名:Grok 4,估计人类Elo为1395分,表现不错。

第三名: Gemini 2.5 Pro,估计人类Elo为1343分,稍逊一筹。

另外,值得一提的是DeepSeek-R1-0528和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。

Game Arena首次积分赛排行榜

之前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的表现。

这些模型进步明显,大家从中获得了不少乐趣,比如发现大语言模型特别喜欢西西里防御开局。

但四局三胜的淘汰赛偶然性太大,并不能严格衡量模型的真实水平。

因此,今天谷歌旗下的Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。

排行榜链接:https://www.kaggle.com/benchmarks/kaggle/chess-text/leaderboard

国际象棋文本排行榜是一个严格的AI基准测试平台。前沿大语言模型在此竞技,全面考验它们的战略推理、规划、适应和协作能力。

平台通过透明的测试设计、丰富的游戏数据和不断更新的多游戏排行榜,为评估 AI 的真实认知能力提供了动态且可复现的标准。

国际象棋文本排行榜

该排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,总共40场比赛。

这次还扩大了参赛模型范围,不仅包括上周表演赛的8个模型,还增加了更多模型,以提供更全面、更可靠的评估结果。

Game Arena的Elo分数采用标准的Bradley-Terry算法,基于模型之间的对战结果计算。

为了估算这些模型的人类等效Elo评分,它们与L0到L3不同等级的国际象棋Stockfish引擎对弈。

通过线性插值法,根据Stockfish各等级对应的人类Elo评分,计算出大模型的人类等效Elo分。具体来说:L0对应1320分,L1对应1468分,L2对应1608分,L3对应1742分。

需要注意的是,这些模型距离顶级人类棋手仍有较大差距:

人类「大师」级棋手的评分为2200或更高,

「特级大师」为2500或更高,

而最强版本的Stockfish引擎估计的人类Elo评分高达3644。

Stockfish是一款免费且开源的国际象棋引擎。

自2020年以来,Stockfish赢得了顶级国际象棋引擎锦标赛(TCEC)和Chess.com计算机国际象棋锦标赛(CCC)的所有主要赛事,并且截至2025年8月,它是世界上最强的CPU国际象棋引擎,估计的Elo等级为3644,

置信区间则通过500次重采样比赛结果,并分别计算Game Arena Elo和人类Elo分得出。

除了Elo分数,这次还增加了「平均每回合Token数」和「平均每回合成本」等指标,以反映模型在性能和效率之间的权衡。

自然,这个排行榜也有一些限制和缺陷:

(1)仅限于国际象棋:没有任何单一游戏可以捕捉智能的全部范围。Kaggle将努力通过随着时间的推移引入更多游戏来缓解这一问题。

(2)超时限制:施加严格的每步棋时间限制可能会惩罚那些需要更长时间才能得出结论、进行更深入思考的模型,从而偏向于那些速度更快但可能更肤浅的策略。

(3)抽样随机性:使用了模型提供商设置的默认抽样参数。这些参数可能具有非确定性。

全新测试基准

还能查看游戏回放

你可以在Kaggle的YouTube 播放列表中观看带解说的表演赛,但排行榜上提供了更多的对局回放。只需点击模型旁边的回放图标,选择想要观看的对局即可。

此外,这次还发布了一个包含可移植棋谱(PGN)和模型公开推理过程的数据集:国际象棋文本输入基准测试「Chess Text Gameplay」。

数据集链接:https://www.kaggle.com/datasets/kaggle/chess-text-gameplay

国际象棋文本输入基准测试旨在评估和比较当今通用语言模型的战略推理能力。

这是Kaggle公开基准测试平台Game Arena的首个项目,该平台让AI模型在复杂的战略游戏中竞技,将严谨的科学方法与观赏性的竞赛体验相结合。

为什么这很重要?Kaggle介绍了三大理由:

  1. 超越数据污染问题: 静态测试无法区分模型的真实推理能力和记忆答案的能力。而在国际象棋文本输入测试中,每一步决策都源自模型的内部逻辑,确保评估的是真实的思考过程。

  2. 高压环境下的表现: 模型必须随机应变、从错误中恢复,并抓住不断变化的机会,如同人类国际象棋大师一样应对复杂局面。

  3. 通用人工智能(AGI)的洞察: 在此领域取得成功,意味着模型在多步骤战略问题解决方面达到了重要的里程碑,为通用人工智能的发展提供了有价值的参考。

超越数据污染,这才是AI的「高考」!

每一步棋,都考验着大模型真·战略推理、规划和应变能力。

他们也指出了该数据集的一些局限性,包括:

  • 推理:推理输出是模型思考过程的生成性摘要。它不是内部计算的字面追踪,因为模型通常会隐藏其内部思考过程。

  • 测试框架:模型的性能与用于此基准测试的特定测试框架(更多细节)内在相关。

  • 时间快照:该数据集代表了这些特定模型版本在收集时点的性能。

数据结构「PGNs_with_reasoning」(包含推理的PGN)数据集包含表示大型语言模型所下国际象棋游戏的便携式游戏记谱法(PGN)文件。每个PGN文件由国际象棋记谱和大型语言模型在每一

Kaggle计划定期将新模型加入国际象棋文本排行榜及其他Game Arena排行榜,以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。

未来,Game Arena将推出更多游戏的排行榜,为AI模型的能力评估提供更全面的基准。

今天的国际象棋文本排行榜只是第一步。

参考资料:

https://x.com/kaggle/status/1958546786081030206

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
普京特朗普同日抵深,历史性时刻引关注

普京特朗普同日抵深,历史性时刻引关注

语妍视频剪辑
2026-11-18 22:52:29
到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

到了高中,你会发现:考700分需要顶级天赋,考600分需要一般天赋,考550分不需要天赋

好爸育儿
2026-11-13 08:33:19
《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

《多喜一家人》央视开播!看完4集,我敢说:与《伟大的长征》相比,观众会断崖式下跌!

Haha闲聊
2026-11-17 12:37:53
一个人总对你说这3句话,看似关心,其实恶意很深,别傻傻听不懂

一个人总对你说这3句话,看似关心,其实恶意很深,别傻傻听不懂

知和大叔
2026-11-18 23:36:19
英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

懂球帝
2026-11-18 20:36:46
“怎么忍心让闺女拍这种视频”,母女俩玩梗一日为师,难登大雅之堂

“怎么忍心让闺女拍这种视频”,母女俩玩梗一日为师,难登大雅之堂

熙熙说教
2026-11-14 16:01:22
说到底,身材才是最好的奢侈品

说到底,身材才是最好的奢侈品

疾跑的小蜗牛
2026-11-14 20:23:26
拒逆转!多森姆30+5+4,利拉德25+5+3,火箭很无奈,西部第三易主

拒逆转!多森姆30+5+4,利拉德25+5+3,火箭很无奈,西部第三易主

篮球大视野
2026-11-18 12:16:34
美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

美国批评乌克兰袭击俄罗斯大桥事件,德国防长尖锐反驳:美国是“相当愚蠢”!

忧郁天空
2026-11-18 18:32:55
真爱!曼联0-3不敌伯恩茅斯之后 波切蒂诺立马告知有解约条款

真爱!曼联0-3不敌伯恩茅斯之后 波切蒂诺立马告知有解约条款

雪狼侃体育
2026-11-18 21:16:54
又一癌症疫苗迎来重大突破,股价暴涨

又一癌症疫苗迎来重大突破,股价暴涨

东方豪侠
2026-11-18 08:50:06
马斯克爆料:黄仁勋再不回来,英伟达就完了!他是美国AI的最重要一环

马斯克爆料:黄仁勋再不回来,英伟达就完了!他是美国AI的最重要一环

留学生日报
2026-11-17 21:09:04
“被遗忘”的豪华SUV!从30.58万降到23.99万,却无人识货

“被遗忘”的豪华SUV!从30.58万降到23.99万,却无人识货

隔壁说车老王
2026-11-16 05:42:33
别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

别只盯着中俄美开会,APEC场外的车队,才是中国打出的一张“王炸”

听风看局
2026-11-17 17:09:05
全资控股仅两个多月!资生堂出售欧珀莱运营主体全部股权,孙俪、唐嫣曾代言

全资控股仅两个多月!资生堂出售欧珀莱运营主体全部股权,孙俪、唐嫣曾代言

红星资本局
2026-11-18 23:16:06
金价年内最大回撤超30%,建议国内现货黄金跌至800元后再买金饰

金价年内最大回撤超30%,建议国内现货黄金跌至800元后再买金饰

半岛官网
2026-11-18 09:41:35
深圳人距离上央视最近的一次:公园遛个弯就入镜了

深圳人距离上央视最近的一次:公园遛个弯就入镜了

深圳微时光
2026-11-18 20:08:18
赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

赛义德用杰佛逊《古兰经》宣誓遭打脸:那是打你海盗先祖用的

移光幻影
2026-11-18 11:47:34
比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

比关税更危险的事来了!犹太资本贝莱德集团,在中国的 "深度渗透"

疯狂的小历史
2026-11-18 11:13:34
俄乌大结局终于要来?最大罪人已浮现,不是美国

俄乌大结局终于要来?最大罪人已浮现,不是美国

古史青云啊
2026-08-25 09:34:41
2026-11-19 00:43:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16711文章数 67239关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

头条要闻

“感谢中方特殊安排” 特朗普又带着高规格代表团来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
家居
旅游
数码
亲子

教育要闻

禁毒模拟法庭丨以案释法筑防线,青春无毒护成长

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

大理秋冬出游狂欢!超多福利活动和精彩行程,尽在大理旅游便民卡~

数码要闻

铭凡5L台式机T5 Max-388上市:48GB + 1TB,到手价9699元

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

无障碍浏览 进入关怀版