会玩3A大作还能跨游戏打工，字节这款AI花了1500万训练

“原神，启动！”这句玩家圈耳熟能详的梗，如今被一个AI给实现了，字节跳动Seed团队最近推出的Lumine智能体，还别说，我觉得真有点厉害。

它不光能在《原神》里自主完成长达五个小时的主线剧情，还会战斗、解谜、开宝箱、和NPC聊天，甚至能连续玩七个小时的《崩坏：星穹铁道》都不在话下。

更惊人的是，你不仅能清楚看到它的“思路”是如何推演的，还能直观的看见它对鼠标与键盘进行一系列抽象化、可解释的操作过程，完全模仿了人类玩家的行为。

这就让人有点好奇了：现在的AI已经发展到这个水平了？

▌游戏高手

作为一个AI，Lumine在《原神》里的表现确实可圈可点，它不仅能在蒙德地区完成了五小时的主线剧情，还能在完全没训练过的璃月区域自主探索，甚至成功抵达了璃月港并拜访深山中的仙人居所。

说实话，对于一个AI来说，能在这么复杂开放的世界里不迷路就已经很不容易了。

战斗方面，Lumine也展现出了超乎预期的能力，它能够动态的追踪敌人位置，用弓箭精准射击远处的目标，流畅切换角色进行连招攻击，甚至在战斗后，还能记得去寻找并开启宝箱。

面对BOSS战的时候，它也不只是无脑的输出，而是真的能理解并应对特定机制，比如躲避风魔龙的攻击、抓住时机，攻击弱点。

我印象最深的是，它处理游戏里那些令人头疼的解谜能力，比如演示中的它，能够沿着风场的方向收集风神瞳，切换角色为凯亚，不断释放E技能冻结水面来收集浮在水面上的风神瞳；

这种操作需要精确的空间感知和时机把握，感觉很多真人玩家都未必能一次就成功。

▌跨游戏打工

如果说Lumine只会在《原神》里折腾，那可能还只算是个“专才”。但它真正厉害的地方在于强大的跨游戏泛化能力——说白了，就是它还能用同一套大脑玩转多款不同的游戏。

在《崩坏：星穹铁道》里，Lumine通关了黑塔空间站第一章全部主线任务，大概花了7小时左右。

虽然比人类玩家的平均速度慢了2.3小时，但考虑到这也是它第一次玩，而且《崩铁》是和《原神》完全是不同类型的回合制游戏，这个表现已经的相当惊人了。

而在另一款开放世界游戏《鸣潮》中，Lumine完成了约100分钟的主线剧情，有趣的是，由于基础模型的知识库截止时间，早于《鸣潮》上线，它在推理的时候还会借用《原神》的术语来描述《鸣潮》的内容。

更让人意想不到的是，团队居然还对Lumine在《黑神话：悟空》里的表现进行了测试，尽管没有能够完成整个挑战，不过它在新手教程以及第一章的前半部分坚持了2.1小时，完成的比例达到了85.7%。

考虑到这款游戏的高难度和写实画风对AI视觉识别的干扰，能取得这个成绩也已经相当不容易了。

▌技术揭秘

那么，Lumine是怎么做到这些的呢？我认为关键可能在于它模仿了人类玩家的学习方式。

Lumine采用了三阶段训练的流程：首先用1731小时的人类游戏数据预训练，学会根据游戏的画面输出键鼠操作；然后用200个小时的指令跟随数据，将语言和操作对应；

最后再用15个小时的推理数据，让模型具备灵活思考的能力。

这种训练的方式实际上就跟我们人类学玩游戏差不多：先是把基本的操作给熟悉了，接着学会按照指示去完成任务，最后能够自己动脑子去解决那些复杂的问题。

值得一提的是，Lumine的效率也很高，它以5Hz的频率处理原始图像（也就是每秒处理5帧），同时还能以30Hz的频率生成精确的键盘鼠标操作。

关键就是，它不是始终处在“思考”这种状态里，而是只有在有需求的时候，才会去进行复杂的推理。这样的话，既可以节省计算所需要的资源，又能够保证行动的流畅性。

▌背后的代价

当然，培养这么一个AI游戏高手的代价也是相当高昂的，根据公开的资料，训练整个Agent模型需要64块H100显卡，成本至少1500万元。

要是再把AI领域那高昂的人力成本算进去，那么整个项目推进下来，最少也得耗费好几千万。

单单是用于推理的主机，就搭载了4块H20显卡，价格超过30万人民币，所以这些可不是普通玩家或者小团队就能负担得起的投入。

那么，花这么大代价搞一个会玩游戏的AI，字节游戏到底图什么呢？在我看来，游戏可能是训练通用AI的最佳试验场。

当一个智能体能够在《原神》这样的复杂世界中看屏幕、按键鼠完成数小时任务的时候，它本质上已经掌握了“屏幕智能”或者说“UI智能”的能力。

《原神》

而这种能力也完全可以迁移到其他的软件上——比如说网页浏览、办公软件操作、3D建模工具使用等等，想象一下，如果未来的AI能够像玩《原神》那样熟练地使用Photoshop、Excel或者编程的软件，那对我们的工作效率会是多大的提升。

再从更实际的角度来看，Lumine这类技术至少可以在两个领域立即发挥作用：自动化游戏测试和反推游戏的设计。

传统的游戏测试比较依赖人力，而AI可以24小时不间断的工作，模拟真实玩家的复杂操作，高效地发现极端情况下的BUG，同时，再通过分析AI玩游戏的数据，设计师也能更好地了解玩家的行为，优化游戏的体验。

*每天推送游戏资讯、新游推荐、游戏杂谈等，带你了解不一样的游戏世界。