网易首页 > 网易号 > 正文 申请入驻

AI版本宝可梦冲榜上全球前10%!一次性「吃掉」10年47.5万场人类对战数据

0
分享至

新智元报道

编辑:定慧

【新智元导读】还在用搜索和规则训练AI游戏?现在直接「看回放」学打宝可梦了!德州大学奥斯汀分校的研究团队用Transformer和离线强化学习打造出一个智能体,不靠规则、没用启发式算法,纯靠47.5万场人类对战回放训练出来,居然打上了Pokémon Showdown全球前10%!

AI 又有「新活」了!

德州大学奥斯汀分校的研究团队用Transformers和离线强化学习训练出了一个宝可梦对战AI智能体,不但打法像人,还能在全球排名中杀进前 10%。

论文地址:https://metamon.tech/

是的,你没看错,这不是那种靠搜索和规则的AI,而是靠人类历史对战数据「喂出来」的智能体,能自己学着打。

这个宝可梦游戏(全称Competitive Pokémon Singles)有多复杂呢?

在对战平台https://pokemonshowdown.com/上可以看到,即使不考虑策略,光是精灵、动作和物品的数量已经多到了非常夸张的程度(根本翻不完)。

这意味着,AI要在信息不完全、策略博弈的环境中,把每一步出招、每一次换人,都当成下围棋一样来算。

宝可梦对战融合了国际象棋般的长远策略规划、扑克牌那样充满未知信息和随机性,再加上足以填满一本百科全书的宝可梦、招式、特性和规则。玩家需要精心设计和操控自己的宝可梦队伍,击败对手的所有宝可梦才能获胜。这样一个充满不确定性、状态空间极其庞大的游戏,对AI来说是绝佳又极具挑战性的研究课题。

这种硬核程度,更像是宝可梦版的《星际争霸》。

把「回放」喂给 AI,教它打宝可梦

研究团队开发了一个名为Metamon的平台,它使用来自Pokémon Showdown(以下简称PS)的人类游戏数据集来启用离线RL工作流。

PS会创建一个日志(过程「回放」),记录每场战斗。

玩家保存日志以供日后研究、与朋友分享有趣的结果,或作为记录官方锦标赛结果的证明。

PS的回放数据已经超过十年——足够的时间积累数百万个重放,比如下面的是10年前2014年的战斗回放。

PS回放数据集是一个完全的、自然发生的人类数据集合,但这个数据集有个问题——这些数据是以第三方角度收集的,而不是第一人称,训练智能体需要用第一人称视角。

研究团队通过将观众视角分别转换为每个玩家的视角来解锁PS回放数据集。

最终,研究团队搞出一个47.5万局真实人类对战组成的离线强化学习数据集,而且每天还在持续增长中。

在序列数据上使用离线强化学习算法训练

宝可梦拥有一个非常复杂的状态空间,因此在使用离线强化学习(offline RL)进行训练时,策略模型可能需要具备较大的规模和复杂的结构。

为了使训练过程更加稳定,将这个问题转化为行为克隆(Behavior Cloning, BC)的角度来理解:预测一个人类玩家的动作,实际上是在尝试推理模仿的这个玩家的策略,以及他们对对手的理解。

为了实现准确的预测,模型往往需要较长的上下文输入。

强化学习(RL)在这种场景下的作用,是帮助我们从包含了不同水平玩家(包括竞技和休闲玩家)决策的大规模数据中,筛选出有效信息。

采用的解决方案是actor-critic架构,其中critic的训练方式是使用标准的一步时序差分(temporal difference, TD)更新来输出Q值。至于actor的损失函数,其一般形式如下:

接下来,需要为CPS(Competitive Pokémon Simulator)定义观测空间、动作空间和奖励函数。

智能体需要获取足够的信息,以便能够模拟人类玩家的决策,而PS网站的用户界面是一个显而易见的参考点。

不过,由于模型具备记忆能力,因此无需在每一个时间步都提供全部信息。

最终达成了一个折中方案:输入由87个文本词语和48个数值特征组成。

下图展示了数据集中一场回放中的示例。观测只包含对手当前上场的宝可梦。

仅仅依靠强化学习能打赢人类吗?

传统做法教AI玩游戏,通常会设计规则、模拟状态、设计算法。

但这篇论文反其道而行之:直接喂数据,让它「模仿」人类怎么打。

他们训练了多个大小不同的智能体,从1500万参数的小模型,到2亿参数的大模型。

其中有的通过模仿学习训练(IL),有的则用离线强化学习(RL)进一步优化,还有的则加上「自我对战」的数据做微调。

可以在Pokémon Showdown上观看各个模型的游戏重播。

最强AI打上全球天梯前 10%

说了这么多,这AI真的能打吗?

研究者将多个版本的模型送上Pokémon Showdown的天梯服务器——这是全世界宝可梦高玩集中的地方。

结果模型居然排进了全球活跃玩家的前10%,并成功登上了排行榜。

在图中展示了Glicko-1阶梯分数及其评分偏差。柱状图标签标注的是GXE(胜率期望)统计数据。

阶梯分位数(Ladder Percentiles),在 2025年2月至3月期间下载的回放数据中,共识别出14,022个在第1到第4世代活跃的用户名。

以第1世代(Gen1)为例,在这些用户名中,有5,095个参与了 Gen1OU(标准对战规则),其中有2,661个活跃度较高,达到了在最终结果统计时拥有有效 GXE(胜率期望)数据的标准。

这可能是你第一次听说有人用Transformer打宝可梦,还打赢了人类。

但从技术视角看,这背后是强化学习、模仿学习、大模型训练和数据重构的完整链路。

它不只是一个「有趣的实验」,更像是一次对数据驱动游戏 AI 的深度演练。

下一步,或许可以不是打游戏,而是让AI玩转更复杂的现实任务。

此外,不同的训练策略以及大规模自我对战(self-play)技术,或许能够让智能体带来超越人类表现的突破。

参考资料:

https://x.com/yukez/status/1909993963848622206

https://metamon.tech/

https://arxiv.org/abs/2504.04395

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
一场61-73完败!广东阵中最大水货藏不住了!或将遭到球队清洗

一场61-73完败!广东阵中最大水货藏不住了!或将遭到球队清洗

宝哥精彩赛事
2026-11-22 02:38:18
嘴唇是“心梗”的放大镜?医生:嘴唇若有这3个异常,及时就医

嘴唇是“心梗”的放大镜?医生:嘴唇若有这3个异常,及时就医

路医生健康科普
2026-11-21 17:40:03
F1拉斯维加斯站排位赛:维斯塔潘杆位,安东内利最快,法拉利双车止步Q2

F1拉斯维加斯站排位赛:维斯塔潘杆位,安东内利最快,法拉利双车止步Q2

懂球帝
2026-11-21 13:18:53
陈凯歌饭局上,一群年轻演员排着队弯腰敬酒,陈飞宇站旁边给倒酒

陈凯歌饭局上,一群年轻演员排着队弯腰敬酒,陈飞宇站旁边给倒酒

西楼知趣杂谈
2026-10-20 20:22:01
微信公告:有这类行为,禁言、封号!

微信公告:有这类行为,禁言、封号!

环球网资讯
2026-11-21 16:58:40
9部门联合发文!这五类废品身价或将上涨,家里有千万别随手扔掉

9部门联合发文!这五类废品身价或将上涨,家里有千万别随手扔掉

清衣渡a
2026-11-21 13:24:20
1979年那场仗到底谁在说谎?我方56万大军压境越方根本招架不住,却硬说自己赢了

1979年那场仗到底谁在说谎?我方56万大军压境越方根本招架不住,却硬说自己赢了

磊子讲史
2026-11-18 14:00:15
167年黎曼猜想终于官宣确认!陶哲轩的2050预测,只撑了35天

167年黎曼猜想终于官宣确认!陶哲轩的2050预测,只撑了35天

AI范儿
2026-11-22 02:35:46
刚炸俄大桥!泽连斯基收到通知,欧盟掺和进来,450亿巨款摆上台

刚炸俄大桥!泽连斯基收到通知,欧盟掺和进来,450亿巨款摆上台

健身狂人
2026-11-21 03:14:01
太震撼了!曾困扰中国北方上千年的难题,被一个工程彻底改写历史

太震撼了!曾困扰中国北方上千年的难题,被一个工程彻底改写历史

浮光惊掠影
2026-10-30 18:56:49
雷军也没想到,身家69亿的董明珠,会因150块被送上“风口浪尖”

雷军也没想到,身家69亿的董明珠,会因150块被送上“风口浪尖”

梦醉为红颜一笑
2026-11-21 17:58:53
Anthropic CEO:别学编程了!| 大学专业体系面临解体,年轻人的机会在这5%

Anthropic CEO:别学编程了!| 大学专业体系面临解体,年轻人的机会在这5%

一刻talks丨硬科技新商业
2026-11-04 22:28:52
零跑汽车回应“A10后备厢装几箱啤酒就被压露底”:系物品超过设计承重上限所致,已获得用户理解,后续将优化用车指引

零跑汽车回应“A10后备厢装几箱啤酒就被压露底”:系物品超过设计承重上限所致,已获得用户理解,后续将优化用车指引

台州交通广播
2026-11-21 01:43:49
钓鱼钩到一把“左轮喷子”,拿在手里绣得掉渣,重庆男子丢回水中!网友发问:为啥不报警?

钓鱼钩到一把“左轮喷子”,拿在手里绣得掉渣,重庆男子丢回水中!网友发问:为啥不报警?

鱼窝鱼窝
2026-11-20 18:50:04
特朗普、李在明、阿努廷、藤森庆子、辛鲍姆、黄循财等多位外国领导人,均公开重申“坚持一个中国原则”,这是人心所向、大势所趋!

特朗普、李在明、阿努廷、藤森庆子、辛鲍姆、黄循财等多位外国领导人,均公开重申“坚持一个中国原则”,这是人心所向、大势所趋!

新京报政事儿
2026-11-21 15:08:14
我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

白云故事
2025-05-27 08:05:08
相貌平平却挤走原配,未婚先孕嫁入亿万豪门,妹妹更是家喻户晓

相貌平平却挤走原配,未婚先孕嫁入亿万豪门,妹妹更是家喻户晓

猪小艳吖
2026-10-29 04:57:36
FILA开酒店了,住一晚要1300多元

FILA开酒店了,住一晚要1300多元

财天COVER
2026-11-21 10:31:01
闲鱼涉黄年龄最小的才14岁,真正让人痛心的是这四个字

闲鱼涉黄年龄最小的才14岁,真正让人痛心的是这四个字

江山挥笔
2026-09-22 18:07:19
北京49岁岳母自述:从前并不觉得世上有天生坏种,直到遇到了他

北京49岁岳母自述:从前并不觉得世上有天生坏种,直到遇到了他

温情邮局
2025-05-12 15:59:16
2026-11-22 03:59:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16735文章数 67242关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
家居
旅游
房产
军事航空

教育要闻

2026-2027年度“地球小博士”报名来了,小博士”11套真题免费下载

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

旅游淡季,喜洲的马车队在默契中略显萧瑟,幸好有旅游团的支撑

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版