米哈游旗下《崩坏》系列 AI 研发团队公布了一个叫 Gamer 的通用视觉语言动作基础模型。按研究论文和项目页面公开的信息,它能模拟真人的操作方式,自主游玩 3D 和 2D 游戏。
最值得看的是它的输入输出方式:不读取游戏内部数据,也不依赖游戏专用 API。模型以每秒 5 帧(5 Hz)的频率采集游戏画面作为输入,再生成相当于 30 Hz 的原生键盘按键状态及鼠标移动指令,模拟真人用键鼠操作游戏的过程。
换句话说,它是"看着屏幕打游戏",而不是从后台直接读答案。这条路线的难点也很直白——长时间执行任务时的内存限制和推理延迟。
研究团队给出的解法是:用超过 1 万小时的跨游戏键鼠操作轨迹做持续预训练,再结合稀疏思维指令微调和时序感知强化学习来优化模型。团队还专门开发了名为 Streaming-vLLM 的推理引擎,在 NVIDIA H200 硬件环境下,把端到端请求延迟从 1306 毫秒降到 65.12 毫秒。
实机演示选的是《崩坏:星穹铁道》,Gamer 在游戏里执行主线任务、探索场景、完成解谜挑战。测试数据方面,经过强化学习训练的 Gamer-RL 在 40 项此前未接触过的小游戏任务中,平均成功率达到 49.7%,表现优于未经微调的通用模型。
外界担心这类技术会被拿去做外挂和自动化脚本,研究团队对此有明确表态:Gamer 是一项旨在探索交互环境通用智能代理的学术研究项目,潜在应用方向包括游戏测试、无障碍辅助以及人机交互研究。团队明确表示,不支持将 Gamer 用于游戏作弊、未经授权访问、利用安全漏洞,以及任何损害用户利益或破坏游戏公平性的行为。
数据方面,出于安全考虑,米哈游研究团队目前只公开了项目早期基础预训练研究阶段使用的通用文件,没有公开任何《崩坏:星穹铁道》相关训练数据,也没有发布使用该游戏数据训练或微调后的模型权重。
40 项没见过的任务、49.7% 的成功率,这个数字放在"通用"两个字前面,说明它已经能上手,但离稳过还差得远。至少从公开信息看,团队把边界划在了学术研究和游戏测试这一侧。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.