谷歌、OpenAI等巨头用《精灵宝可梦》评估AI性能

IT之家 1 月 25 日消息，据科技媒体 Tom's Hardware 今天报道，当今时代我们有无数种跑分测试和评测方法来衡量 AI 的聪明程度与能力，但最近一种相对小众的测试方法也在 AI 圈内引发关注。

目前，谷歌、OpenAI 和 Anthropic 等 AI 巨头正在让自家模型游玩经典的《精灵宝可梦》系列游戏，以此来评估 AI 性能表现。

Anthropic 公司 AI 部门负责人 David Hershey 对此表示：“《精灵宝可梦》之所以能吸引机器学习社区关注，是因为它不像《Pong》等简单游戏那样受限。这种游戏对电脑程序来说非常具有挑战性”。

Hershey 从去年开始在 Twitch 平台进行直播，每天的日常就是用公司自产模型 Claude 玩《精灵宝可梦》。这名负责人平时的工作就是帮助客户部署 AI，因此他开直播本质上也是在测试模型。

这名负责人给自家 AI 直播游戏的做法也启发了不少自由开发者，他们也陆续搞了“Gemini 玩《宝可梦》”“GPT 玩《宝可梦》”等类似的直播节目。

后来，这些直播甚至被谷歌和 OpenAI 注意到，开发团队有时还会客串直播间亲自调整模型参数，在官方力量注入下，Gemini 和 GPT 已经成功通关了 Gam Boy 时代的《宝可梦蓝》，目前已在挑战续作；而 Claude 至今还没打通任何一个版本。

至于为何要用《宝可梦》评估 AI 性能？Hershey 对此解释道：“因为它给我们提供了直观的方法观察模型表现，还能用量化指标评估性能”。

通常来讲，玩家在《宝可梦》系列游戏中需要升级、训练已有 / 刚抓的宝可梦，还要打败道馆馆主来捕捉新的宝可梦。这种游戏流程并非线性，而是充满着判断和取舍。

而且，玩家还要经常在游戏中做出选择：是先冒险挑战强大的训练家以获取珍稀宝可梦，还是稳扎稳打造出一支实力均衡的队伍。

显然，人类非常擅长做此类决策，这也是游戏的乐趣所在，但对于 AI 来说，这是一场关乎逻辑推理、风险评估以及长期规划能力的综合考验。

因此研究人员会深入剖析 AI 在游戏里的决策方式，深入理解模型的能力边界。

Hershey 还会将 AI 玩《宝可梦》的结果分享给客户以改进控制框架（IT之家注：harness），帮助他们提升算力使用效率，让模型更高效运转。