网易首页 > 网易号 > 正文 申请入驻

让AI打游戏,到底难在哪里

0
分享至


先问你一个问题。

如果你要教一个AI玩游戏,你会怎么教?大部分人的直觉是:找一堆人类玩游戏的录像,让AI看着学。这个思路对,但也不完全对。

腾讯和新加坡国立大学的一个研究团队发现了一个很现实的问题:人类玩游戏的录像再多,也覆盖不了游戏里所有可能出现的状态。你录一万小时《我的世界》视频,AI依然可能在第一万零一次遇到一个从没见过的地形组合时彻底懵掉。

这就是这篇论文的起点。他们管这个框架叫PLAYER-1,一个让AI通过"合成经验"学会打游戏的训练方法,而不是单纯靠看录像。

录像不够用,那缺的是什么

先说清楚现在的游戏AI是怎么训练的。

主流做法是收集大量游戏录像,记录玩家在什么画面下按了什么键,然后让模型学习这种画面到操作的映射关系。这套路子在计算机使用智能体领域已经验证过,

计算机使用智能体(CUA):能够像人一样看屏幕、用键盘鼠标操作电脑完成任务的AI系统。

但游戏和普通软件操作有本质区别。点个按钮、填个表单,画面相对静止,容错率高。游戏不一样,你在《艾尔登法环》里面对一个BOSS,画面每一帧都在剧烈变化,你的操作窗口可能只有零点几秒,错过了就是被秒杀。这种高强度的动态视觉反馈,恰恰是录像学习最薄弱的地方。

录像能教会AI"看到这个画面应该按W",但教不会AI"如果按了W之后情况和录像不一样怎么办"。这就好比你报了个驾校,教练把所有可能遇到的路况都录了像给你看,但你真正上路那天,前面突然窜出一只猫,录像里没这一段,你就只能凭感觉乱打方向盘了。

录像学习的天花板,本质上就是录像?covered的状态空间的天花板。你没见过的情况,AI也应付不来。

那怎么办?研究团队的答案是:既然真实游戏的状态空间太大,录不完,那就让AI自己在一个可控的环境里反复试错,用游戏本身给出的客观反馈(比如得分、是否完成任务)来告诉AI做得好不好。这种反馈叫做

可验证奖励(RLVR):指奖励信号可以通过程序化规则直接从游戏状态计算得出,不需要人工打分,也不需要训练一个额外的"评委模型"去猜测动作好坏。

这里有个关键的工程难题:你想让AI在真实商业游戏(比如《赛博朋克2077》)里反复试错,但这些游戏不是开源的,你没法在里面插入"奖励函数"去实时告诉AI分数变化。于是团队想了个办法:自己造环境。

扩展动作空间:教会AI"按住"和"组合键"

在讲造环境之前,有个更基础的问题得先解决:AI的"手"够不够灵活。

普通的计算机使用智能体,操作方式主要是点击屏幕上的某个坐标,或者输入文字。但游戏操控完全是另一套逻辑。你玩第一人称射击游戏,转动视角靠的是鼠标的相对位移,不是点击屏幕上某个绝对坐标;你想让角色持续奔跑,得一直按住W键,而不是点一下就完事;你想一边瞄准一边开枪,得同时控制鼠标移动和左键点击。

于是团队把动作空间扩展了三类。

第一类是相对指针运动,用归一化的位移量(Δx, Δy)来表示鼠标移动,而不是绝对坐标。这解决了游戏里"没有可见光标"时怎么转视角的问题。

第二类是持续输入,让按键和点击可以"保持住"一整个控制周期,而不是一次性的点按。

第三类是组合动作,允许一次控制步骤里同时执行多个按键和鼠标操作,比如按住W的同时按一下空格键完成跑跳。

这三类扩展听起来简单,但它解决的是一个很根本的矛盾:计算机使用场景的动作空间是为"点选"设计的,而游戏的动作空间是为"连续控制"设计的。

想象你本来只会用遥控器单点按键操作电视,现在突然要你去开一辆手动挡汽车。踩离合、挂挡、给油,这几个动作得同时协调完成,而不是一个接一个地点按。如果没有组合动作这个设计,AI就永远学不会"一边移动一边开枪"这种游戏里最基本的操作模式,它只能像机器人一样把动作拆成一串串孤立的单步指令,慢一拍,也笨一拍。

数据显示这个判断是对的。团队收集的6044条游戏录像里,经过标注后发现,38%是纯键盘操作,35.1%是键盘加鼠标的组合,而这些组合操作中,单步包含2个及以上输入的占到了63.4%。也就是说,真实玩家的操作里,组合动作才是常态,不是例外。

六千条录像:怎么把杂乱的操作数据变成AI能学的样子

光有动作空间定义还不够,得有示范数据让AI知道"什么时候该用什么动作"。

团队从公开数据集和自己录制的素材里,整理出6044条游戏轨迹,一共295097个交互回合,覆盖172款游戏,总时长约16.4小时。数据来源包括《我的世界》《GTA 5》《赛博朋克2077》这类3A大作,也有一些独立游戏。

这里有个很容易被忽略但实际很麻烦的问题:不同的数据来源,录制的时间粒度不一样,鼠标灵敏度的换算标准也不一样。有的数据集用的是每秒5帧的采样间隔,有的是每秒6.7帧;有的鼠标位移记录是相对坐标,有的是绝对坐标,而且不同游戏引擎对鼠标移动量的物理含义解读也不一样。

团队的解决办法是做了一套时间对齐和空间校准流程,把所有来源的数据统一映射到200毫秒一个控制步骤的标准网格上,并针对每个数据源单独计算鼠标位移的校准系数。

这就像你收集了全世界不同品牌温度计测出的体温数据,有的用华氏度,有的用摄氏度,还有的刻度本身就有系统误差。你没法直接把这些数字堆在一起训练模型,必须先一个个校准,换算成统一单位,才能让后续的学习过程有意义。如果跳过这一步直接拿原始数据喂给AI,那模型学到的鼠标操控幅度就是一团乱麻,在A游戏里学到的"转头45度"的操作,放到B游戏里可能变成转头180度,完全不可控。

标注完动作还不够,团队还用了一个视觉语言模型(Gemini 3.8 Flash)给每一帧画面配上任务目标和推理文字。比如在《艾尔登法环》对战赛丽娜双月骑士的那一帧,AI不仅要记住"按左键+按住W和Shift"这个动作,还要理解"她的挥砍正在划过玩家上方,此时冲上去重击能打中她的硬直空档"这样的战术逻辑。这一步让后续的监督微调不只是记忆动作,还在学习为什么要做这个动作。

十六个合成世界:为什么不直接在真实游戏里训练

解决了"AI会不会操作"的问题,接下来就是本文真正的核心创新:PLAYER-1-GYM。

这是团队自己搭建的十六个合成游戏环境,涵盖2D和3D,分成五大类:瞄准、战斗、驾驶、导航和界面交互。比如2D瞄准训练精准点击移动目标的能力,3D近战训练角色朝向、距离和移动的协调能力,2D界面制作训练在游戏菜单里查阅配方并合成装备的操作。

为什么不直接拿商业游戏来做强化学习?答案很直接:商业游戏是黑盒,你拿不到内部状态,没法实时验证AI的动作对不对,奖励信号就无从谈起。

但自己搭建的合成环境不一样,每一帧的游戏状态都是透明的,击杀数、收集的金币数、通过的检查点数,这些指标可以实时读取,直接转化成奖励信号。这就是为什么团队要专门造十六个环境,而不是直接把真实游戏接进来硬train。

这个思路有点像学开车前先去驾校练车场。真实马路太复杂,车祸的代价也太高,你没法让新手司机在真实马路上反复试错来学习怎么并线。但驾校练车场可以模拟各种路况,撞了锥桶没关系,可以重来,而且每一次操作的对错都有清晰标准。如果没有这个中间环节,直接让AI在真实商业游戏里瞎撞着学,一来没有程序化的奖励信号可用,二来试错成本(账号封禁、无法重置状态)会高到不可接受。

更巧妙的是,这十六个环境之间共享底层引擎和资产,这样做的好处是环境可以快速扩展,而且观察和动作的接口是统一的,AI学到的控制经验可以在环境之间迁移。

为了让AI学到的东西不只是"背答案",团队还给每个环境加了随机化,覆盖四个维度:外观(颜色、光照)、相机(视角、投影方式)、场景(布局、出生点)、控制(移动和转向的响应灵敏度)。同一个2D驾驶环境,可能这局是暖色调配色,下一局就变成冷色调;这局相机是正交视角,下一局可能换个缩放比例。

这种随机化训练出来的AI,面对一个全新的未见过的配色和视角组合时,不会因为"颜色不对"就直接宕机,因为它在训练阶段就已经适应了成百上千种颜色和视角的排列组合,学到的是控制逻辑本身,而不是某个特定画面的死记硬背。

多环境强化学习:怎么让一个AI同时在十六个世界里变强

有了环境,接下来是怎么训练。团队用的是

PPO(近端策略优化):一种主流的强化学习算法,核心思路是让策略每次更新的幅度不要太大,避免训练过程突然崩掉。

这里有个实际工程难题:十六个环境的奖励量级天差地别。打死一个敌人可能加10分,而完成一次赛车圈速检查点可能只加1分。如果直接把这些奖励混在一起训练,模型会不自觉地偏向那些"分数变化大"的环境,忽略分数变化小但同样重要的环境。

团队的解决办法是做环境内的优势值归一化,简单说就是把每个环境自己的奖励先标准化成均值为0、方差为1的分布,再拿去更新模型。这样不管某个环境原始分数是0到10还是0到1000,对模型更新的影响力度是一样的。

这就像一个班主任要同时给数学和语文打综合评价。数学考试满分150,语文满分100,你不能直接把两门课的原始分数加起来比大小,那样数学好的学生永远占便宜。正确做法是先把每门课的分数换算成年级排名百分位,再综合评价。如果没有这一步归一化,模型会把几乎所有的学习精力都投入到奖励数值大的那几个环境里,其他环境的训练信号会被完全淹没。

效果如何:数字说话

说了这么多设计思路,实际效果到底怎样?

团队训练了两个版本的模型,Player-1-9B和Player-1-35B-A3B,分别基于Qwen3.5的9B和35B-A3B骨干网络。训练流程是先做两轮监督微调,再跑200步的强化学习。

在MineDojo-300(300个《我的世界》任务)测试集上,Player-1-9B经过监督微调后成功率只有10.54%,而经过强化学习训练之后,直接跳到38.33%,提升了27.8个百分点。对比的外部最强基线GameWAM的成功率是12.63%,Player-1-9B的表现是它的三倍还多。

更值得关注的是任务覆盖率的变化。300个任务里,至少成功4次(满分8次试验)的任务数,从监督微调阶段的20个,涨到强化学习后的136个。这说明提升不只是个别任务碰运气做对了,而是整体稳定性的全面提高。

ViZDoom-10(十张经典Doom地图)和GameWorld(170个浏览器游戏任务,覆盖34款游戏)这两个测试集,训练过程中完全没有出现过,相当于拿去考AI没见过的题。Player-1-9B在ViZDoom上的得分从监督微调阶段的0.4361涨到0.6922,GameWorld的任务进度从31.43%涨到34.45%。

这个结果说明一件事:在合成环境里练出来的控制能力,是真的能迁移到完全陌生的游戏里去的,不是只会应付训练集里见过的套路。

团队还做了个更有意思的测试,把Player-1-9B接入一款两个模型都完全没训练过的商业游戏《看门狗2》,让它完成"步行寻找并进入一辆车,然后开车穿越城市"这样的连续任务。从结果截图看,AI能依次完成走向街道、接近白色轿车、按E键开门进车、驾车沿滨水大道前进这一整套流程,每一步都配有合理的推理文字。这种跨游戏的泛化能力,正是团队想证明的核心主张。

环境越多,泛化越强

团队还做了个消融实验,专门验证"合成环境数量"这个变量对最终效果的影响。

他们固定总训练预算为25600个episode,分别只用2个、4个、8个、16个环境来训练,起点都是同一个监督微调后的检查点。结果是,用2个环境训练后,Minecraft成功率从17.67%涨到39.33%;用16个环境训练,涨到了51.67%。

环境数量翻了8倍,成功率涨幅并不是线性叠加的,但确实是单调递增的,这说明环境多样性本身就是一种有效的训练信号来源,哪怕任务总预算不变。

这个发现有点反直觉。按常理想,固定总训练量不变,把预算摊薄到更多环境里,每个环境分到的训练次数就更少了,效果不应该更差吗?但实际情况恰恰相反,广度比单一环境里的深度更有价值。这就像学语言,你花100小时只学一种方言,口语可能很溜,但换个地方就听不懂了;你把同样100小时分散到十种方言里,每种学得都不算精,但你综合理解语言规律的能力反而更强,遇到第十一种方言时适应得更快。

组合动作在训练中悄悄变多了

最后一个很有意思的发现是关于动作组成的演变。

团队追踪了Player-1-9B在强化学习训练过程中,组合动作(同时执行两个以上输入)的使用比例。训练开始时是64.7%,训练到第50步涨到85.4%,到第100步涨到93.2%。

这个变化完全没有被显式奖励过,模型本身没有被告知"多用组合动作能得分",但强化学习的过程自发地让模型越来越倾向于使用组合动作。合理的解释是,游戏里很多任务本质上就需要同步控制,比如一边瞄准一边开火,一边移动一边转镜头。单独执行这些动作效率太低,模型在追求更高分数的过程中自然而然学会了"动作要打包执行"这件事。

这说明一个更深层的道理:有些能力不需要被直接教,只要给出正确的目标和反馈机制,AI会自己摸索出最优策略。这和人类学技能的过程其实挺像,没有教练会专门教你"打字时要同时用多个手指",你练着练着自己就学会了,因为单指打字实在太慢,被环境本身淘汰了。

Q&A

Q1:PLAYER-1是什么?

A:PLAYER-1是腾讯和新加坡国立大学团队提出的一个游戏AI训练框架,核心思路是在监督微调之后,让AI在16个自己搭建的合成游戏环境里通过强化学习继续练习,用程序化可验证的奖励信号提升游戏控制能力,而不是单纯依赖人类游戏录像学习。

Q2:PLAYER-1-GYM和真实游戏训练有什么区别?

A:PLAYER-1-GYM是团队自己搭建的16个2D和3D合成环境,每个环境的游戏状态都是透明可读的,可以实时计算击杀数、金币数等指标转化成奖励信号。真实商业游戏是黑盒,没法获取内部状态,所以没法直接做强化学习训练。

Q3:PLAYER-1训练出的模型效果怎么样?

A:Player-1-9B在MineDojo-300测试集上的成功率从监督微调后的10.54%提升到38.33%,超过最强外部基线GameWAM的12.63%。在从未训练过的ViZDoom和GameWorld测试集上也有明显提升,说明合成环境练出的控制能力能迁移到陌生游戏里。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
躺赚!3欧洲豪门相中前国安铁卫,如转会俱乐部可获一笔意外之财

躺赚!3欧洲豪门相中前国安铁卫,如转会俱乐部可获一笔意外之财

体坛鉴春秋
2026-11-17 17:49:10
你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

你抛美债,我抛中债!外资纷纷减持中国债,大量资金流向美国?

明天见灌装冰块
2026-11-17 09:33:32
红薯竟是脑梗杀手?紧急提醒:不想血管堵塞,这7样东西少吃

红薯竟是脑梗杀手?紧急提醒:不想血管堵塞,这7样东西少吃

垚垚分享健康
2026-11-17 21:30:05
苹果宣布全新免费功能即将推出,真的很实用!

苹果宣布全新免费功能即将推出,真的很实用!

XCiOS俱乐部
2026-11-16 20:24:50
美联储飞出一只“黑天鹅”!美股全线大跌,费城半导体指数重挫逾5%,恐慌指数飙升

美联储飞出一只“黑天鹅”!美股全线大跌,费城半导体指数重挫逾5%,恐慌指数飙升

金融界
2026-11-17 07:58:14
卫星实拍!克里米亚大桥受损情况堪忧,卫星图像显示桥面与桥拱出现明显损毁

卫星实拍!克里米亚大桥受损情况堪忧,卫星图像显示桥面与桥拱出现明显损毁

军迷战情室
2026-11-16 23:35:52
神助攻?卞相壹爆冷胜申真谞进三星杯决赛,从千夫所指到万众期待

神助攻?卞相壹爆冷胜申真谞进三星杯决赛,从千夫所指到万众期待

真理是我亲戚
2026-11-17 16:08:35
官宣!恭喜王俊杰啊!4年级打成球队老大

官宣!恭喜王俊杰啊!4年级打成球队老大

篮球实战宝典
2026-11-17 20:13:58
不舍!北京两家盒马奥莱即将闭店!

不舍!北京两家盒马奥莱即将闭店!

大北京早知道
2026-11-17 18:16:49
罗伯特·帕丁森出演007,为什么亨利·卡维尔首轮就被淘汰?

罗伯特·帕丁森出演007,为什么亨利·卡维尔首轮就被淘汰?

光影新天地
2026-11-17 15:55:41
霍启山是不会和娜然分开的,原因很简单,不是娜然名气多大,而是霍启山是真的对娜然生理性喜欢

霍启山是不会和娜然分开的,原因很简单,不是娜然名气多大,而是霍启山是真的对娜然生理性喜欢

一盅情怀
2026-11-17 12:18:20
高考700分没去清北,读了复旦医学院,如今还得靠爸妈养家:高分学医这笔账,到底亏在哪一步

高考700分没去清北,读了复旦医学院,如今还得靠爸妈养家:高分学医这笔账,到底亏在哪一步

狐狸先森讲升学规划
2026-11-17 10:50:31
2035年中国养老金现状预测:不是发不出,而是不够体面、靠财政?

2035年中国养老金现状预测:不是发不出,而是不够体面、靠财政?

福建睿平
2026-11-17 07:17:14
钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

钱越来越难挣!大数据预测,2027年或将迎来三降,要做好准备

麓谷隐士
2026-11-17 00:05:04
李耀茂,辞任佛山南海区人大常委会副主任

李耀茂,辞任佛山南海区人大常委会副主任

南方都市报
2026-11-17 18:28:23
多国领导人已陆续抵达广东

多国领导人已陆续抵达广东

广东发布
2026-11-17 19:23:35
国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

国足2比2战平巴林,邵佳一的水平明显比伊万低一个档次

李广专业体育评论
2026-11-17 22:03:44
美媒表示:美国B-21完成首次投弹测试,排名世界第一,中国轰20却迟迟不亮相,难道中国存在技术瓶颈?

美媒表示:美国B-21完成首次投弹测试,排名世界第一,中国轰20却迟迟不亮相,难道中国存在技术瓶颈?

绝对军评
2026-11-17 09:39:02
姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

舞指飞扬
2026-11-13 07:42:15
黄仁勋果然是给自己留了后手,给白人挖好坑了的。

黄仁勋果然是给自己留了后手,给白人挖好坑了的。

果妈聊娱乐
2026-11-17 07:33:26
2026-11-17 22:39:00
科技行者 incentive-icons
科技行者
科技正在如何变革商业世界
10593文章数 572关注度
往期回顾 全部

游戏要闻

侠盗猎码手!玩家称《GTA6》实体版兑换码被偷了

头条要闻

媒体:黄仁勋辞任CEO带来隐患 英伟达没有"二号人物"

头条要闻

媒体:黄仁勋辞任CEO带来隐患 英伟达没有"二号人物"

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

科技要闻

老黄想回来?英伟达董事会:没门

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

家居
艺术
教育
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

教育要闻

【预告】11月20日|第152场中小学课堂教学数字化评价与质量提升项目省级教研活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版