网易首页 > 网易号 > 正文 申请入驻

刚刚,大模型棋王诞生!40轮血战,OpenAI o3豪夺第一,人类大师地位不保?

0
分享至

新智元报道

编辑:KingHZ

【新智元导读】继Kaggle Game Arena的淘汰赛后,国际象棋积分赛成果出炉!OpenAI o3以人类等效Elo 1685分傲视群雄,而Grok 4和Gemini 2.5 Pro紧随其后。DeepSeek R1和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。

别再拿淘汰赛说事了!

这次是真刀真枪的「积分赛」,Elo榜单才是硬实力。

40轮血战,国际象棋AI仅文本输入结果出炉了。

仅使用文本输入、无工具、无验证器,各大AI模型进行对决。

每组配对进行超过40场比赛,构建了类似围棋等运动项目的Elo排名。

OpenAI o3独占鳌头,Grok、Gemini位列榜眼。

第一名:o3 ,估计人类Elo为1685分,而人类大师水平为2200分!

第二名:Grok 4,估计人类Elo为1395分,表现不错。

第三名: Gemini 2.5 Pro,估计人类Elo为1343分,稍逊一筹。

另外,值得一提的是DeepSeek-R1-0528和GPT-4.1、Claude Sonnet-4、Claude Opus-4并列第五。

Game Arena首次积分赛排行榜

之前,Kaggle举办了首届AI国际象棋表演赛,展示了o3、Grok 4、Gemini 2.5、DeepSeek R1等通用模型在国际象棋方面的表现。

这些模型进步明显,大家从中获得了不少乐趣,比如发现大语言模型特别喜欢西西里防御开局。

但四局三胜的淘汰赛偶然性太大,并不能严格衡量模型的真实水平。

因此,今天谷歌旗下的Kaggle正式发布了Game Arena平台上的国际象棋文本排行榜。

排行榜链接:https://www.kaggle.com/benchmarks/kaggle/chess-text/leaderboard

国际象棋文本排行榜是一个严格的AI基准测试平台。前沿大语言模型在此竞技,全面考验它们的战略推理、规划、适应和协作能力。

平台通过透明的测试设计、丰富的游戏数据和不断更新的多游戏排行榜,为评估 AI 的真实认知能力提供了动态且可复现的标准。

国际象棋文本排行榜

该排行榜基于所有参赛模型之间的循环赛结果,每对模型进行20场白棋和20场黑棋的对决,总共40场比赛。

这次还扩大了参赛模型范围,不仅包括上周表演赛的8个模型,还增加了更多模型,以提供更全面、更可靠的评估结果。

Game Arena的Elo分数采用标准的Bradley-Terry算法,基于模型之间的对战结果计算。

为了估算这些模型的人类等效Elo评分,它们与L0到L3不同等级的国际象棋Stockfish引擎对弈。

通过线性插值法,根据Stockfish各等级对应的人类Elo评分,计算出大模型的人类等效Elo分。具体来说:L0对应1320分,L1对应1468分,L2对应1608分,L3对应1742分。

需要注意的是,这些模型距离顶级人类棋手仍有较大差距:

人类「大师」级棋手的评分为2200或更高,

「特级大师」为2500或更高,

而最强版本的Stockfish引擎估计的人类Elo评分高达3644。

Stockfish是一款免费且开源的国际象棋引擎。

自2020年以来,Stockfish赢得了顶级国际象棋引擎锦标赛(TCEC)和Chess.com计算机国际象棋锦标赛(CCC)的所有主要赛事,并且截至2025年8月,它是世界上最强的CPU国际象棋引擎,估计的Elo等级为3644,

置信区间则通过500次重采样比赛结果,并分别计算Game Arena Elo和人类Elo分得出。

除了Elo分数,这次还增加了「平均每回合Token数」和「平均每回合成本」等指标,以反映模型在性能和效率之间的权衡。

自然,这个排行榜也有一些限制和缺陷:

(1)仅限于国际象棋:没有任何单一游戏可以捕捉智能的全部范围。Kaggle将努力通过随着时间的推移引入更多游戏来缓解这一问题。

(2)超时限制:施加严格的每步棋时间限制可能会惩罚那些需要更长时间才能得出结论、进行更深入思考的模型,从而偏向于那些速度更快但可能更肤浅的策略。

(3)抽样随机性:使用了模型提供商设置的默认抽样参数。这些参数可能具有非确定性。

全新测试基准

还能查看游戏回放

你可以在Kaggle的YouTube 播放列表中观看带解说的表演赛,但排行榜上提供了更多的对局回放。只需点击模型旁边的回放图标,选择想要观看的对局即可。

此外,这次还发布了一个包含可移植棋谱(PGN)和模型公开推理过程的数据集:国际象棋文本输入基准测试「Chess Text Gameplay」。

数据集链接:https://www.kaggle.com/datasets/kaggle/chess-text-gameplay

国际象棋文本输入基准测试旨在评估和比较当今通用语言模型的战略推理能力。

这是Kaggle公开基准测试平台Game Arena的首个项目,该平台让AI模型在复杂的战略游戏中竞技,将严谨的科学方法与观赏性的竞赛体验相结合。

为什么这很重要?Kaggle介绍了三大理由:

  1. 超越数据污染问题: 静态测试无法区分模型的真实推理能力和记忆答案的能力。而在国际象棋文本输入测试中,每一步决策都源自模型的内部逻辑,确保评估的是真实的思考过程。

  2. 高压环境下的表现: 模型必须随机应变、从错误中恢复,并抓住不断变化的机会,如同人类国际象棋大师一样应对复杂局面。

  3. 通用人工智能(AGI)的洞察: 在此领域取得成功,意味着模型在多步骤战略问题解决方面达到了重要的里程碑,为通用人工智能的发展提供了有价值的参考。

超越数据污染,这才是AI的「高考」!

每一步棋,都考验着大模型真·战略推理、规划和应变能力。

他们也指出了该数据集的一些局限性,包括:

  • 推理:推理输出是模型思考过程的生成性摘要。它不是内部计算的字面追踪,因为模型通常会隐藏其内部思考过程。

  • 测试框架:模型的性能与用于此基准测试的特定测试框架(更多细节)内在相关。

  • 时间快照:该数据集代表了这些特定模型版本在收集时点的性能。

数据结构「PGNs_with_reasoning」(包含推理的PGN)数据集包含表示大型语言模型所下国际象棋游戏的便携式游戏记谱法(PGN)文件。每个PGN文件由国际象棋记谱和大型语言模型在每一

Kaggle计划定期将新模型加入国际象棋文本排行榜及其他Game Arena排行榜,以跟踪AI模型在战略规划、推理和其他认知能力方面的进步。

未来,Game Arena将推出更多游戏的排行榜,为AI模型的能力评估提供更全面的基准。

今天的国际象棋文本排行榜只是第一步。

参考资料:

https://x.com/kaggle/status/1958546786081030206

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
马斯克的星舰,正在亲手毁掉一个行业

马斯克的星舰,正在亲手毁掉一个行业

林子说事
2026-11-20 02:30:03
英伟达暴跌14% “AI交易”抛售加剧使得美股进入回调区间

英伟达暴跌14% “AI交易”抛售加剧使得美股进入回调区间

每日经济新闻
2026-11-21 06:11:04
中央政法委下死命令!严厉查处这些行为,一起都不放过!

中央政法委下死命令!严厉查处这些行为,一起都不放过!

职场资深秘书
2026-11-21 16:13:08
男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

男子破产12年送外卖养家,这天竟收1200万汇款,追到汇款方后却傻眼

温情邮局
2025-08-22 11:56:14
央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

央媒发文,官宣曹德旺新身份,移民美国转走资产跑路传闻早有真相

拾玖Talk
2026-11-19 19:11:01
没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

没想到,APEC峰会结束仅1天,中国竟因三个“特产”在全球火出圈

云上乌托邦
2026-11-21 00:20:04
终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

终于不准跌了?中央部委明确!明后两年,除了买房,你可能无选择

混沌录
2026-11-20 10:25:16
“80后”高校副校长,落马!

“80后”高校副校长,落马!

双一流高校
2026-11-21 01:41:21
每体:库巴西至今仍和姐姐住公寓,未急于购豪车

每体:库巴西至今仍和姐姐住公寓,未急于购豪车

懂球帝
2026-11-21 19:27:50
9个经济体的GDP不如深圳一个市?这届APEC,让全球重新认识了中国

9个经济体的GDP不如深圳一个市?这届APEC,让全球重新认识了中国

随遇而安之心
2026-11-21 19:31:03
不得了!日本做了一个极其恶劣的决定!

不得了!日本做了一个极其恶劣的决定!

故事终将光明磊落
2026-11-20 14:44:07
从全网泪目到全网群嘲,赵本山只用了三天

从全网泪目到全网群嘲,赵本山只用了三天

梳子姐
2026-11-19 12:05:24
GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

GTA6女主妈妈这么顶?玩家热议选女主她妈还是曼迪

游民星空
2026-11-20 18:43:22
突发!惨烈!美国,股灾了!

突发!惨烈!美国,股灾了!

财经要参
2026-11-21 15:52:09
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
叶万彬任武威市委书记

叶万彬任武威市委书记

界面新闻
2026-11-21 17:51:16
工商银行、建设银行等示警金市风险,网友:已经被套,30年后再看了

工商银行、建设银行等示警金市风险,网友:已经被套,30年后再看了

东方豪侠
2026-11-21 12:16:51
泰王室《甄嬛传》复更!贵妃诗妮娜带疑似亲生子出席公务,娃长相酷似泰王?!

泰王室《甄嬛传》复更!贵妃诗妮娜带疑似亲生子出席公务,娃长相酷似泰王?!

英国报姐
2026-11-21 21:10:11
段永平再谈字节跳动6000亿美元估值:最近好几个私下找 想把股份卖我

段永平再谈字节跳动6000亿美元估值:最近好几个私下找 想把股份卖我

快科技
2026-11-21 18:44:08
河南郑州一女子在胖东来买659元羽绒服,20天后到店复购发现降价130元,工作人员主动退差价,当事人:十分震惊,这就是偏爱胖东来的理由

河南郑州一女子在胖东来买659元羽绒服,20天后到店复购发现降价130元,工作人员主动退差价,当事人:十分震惊,这就是偏爱胖东来的理由

台州交通广播
2026-11-20 16:04:58
2026-11-22 04:16:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67242关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

游戏
时尚
本地
亲子
公开课

曝GTA6与大表哥2是同一宇宙!多处彩蛋佐证

提升冬日幸福感的8件小事,太治愈了

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

亲子要闻

果然祖坟冒青烟也有累的时候!网友:祖坟也得歇歇,不能一直冒烟

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版