大模型玩游戏，Deepseek-R1-0528 太强了

大家好，我是 Ai 学习的老章

看到一个很有意思的测试

让不同的大模型玩俄罗斯方块、推箱子、糖果粉碎传奇，对战结果有点出乎预料

Deepseek-R1-0528 在多个游戏中智胜 o4-mini 等强推理模型，在俄罗斯方块上几乎达到 SOTA 水平，与 o3 打得难分高下。 ✨

Deepseek-R1-0528 在非视觉类游戏中带来显著提升，包括推箱子和俄罗斯方块等长线游戏中的分数都翻倍了！

Qwen3-235B-A22B 作为极具竞争力的开源模型崭露头角，在《糖果粉碎传奇》等空间推理游戏中超越了 Gemini-2.5-flash-preview-0417

Deepseek-R1-0528 不仅在俄罗斯方块所向披靡，在需要强大空间推理能力的糖果粉碎传奇中也正逼近 SOTA 水平。

它以三轮平均 491.7 分的成绩（对比 o3 模型的 647.0 分），成为目前最接近顶级水平的开源竞争者。

Qwen3-235B-A22B 以稳健的 363.3 分紧随其后。

很好奇

这个测试是怎么实现的呢？

其实是基于这个项目：https://github.com/lmgame-org/GamingAgent

这是一个在标准化交互式游戏环境中启用和测试基于大型语言模型（LLM）和视觉语言模型（VLM）的智能体。

主要功能：

1. 模型评估（基础模式）：在一系列多样化的视频游戏中评估当前最先进的模型（LLM/VLM），这种评估在没有特定游戏控制框架（gaming harness）的“单一模型 VLM 设置”下进行。

2. 智能体部署与评估（定制化流程）：使用项目定制的 GamingAgent 工作流程（即游戏控制框架）来部署和评估模型，目的是提升模型在游戏中的表现。

3. PC 端游戏智能体：用于部署可以在个人电脑和笔记本上运行的计算机使用智能体（Computer-Use Agents, CUAs）。

项目还推出了 Lmgame Bench，这是一个用于游戏智能体的基准测试平台，可以查看各个模型在游戏任务上的表现。

该项目支持多种主流 AI 模型的 API，包括：

• OpenAI (gpt-4o, gpt-4o-mini 等)

• Anthropic (claude-3.5-sonnet, claude-4-opus 等)

• Gemini (gemini-2.5-pro, gemini-1.5-pro 等)

• xAI (grok-3-mini)

• Deepseek (reasoner R1, chat V3)

• Qwen (Qwen3)

安装方法：

git clone https://github.com/lmgame-org/GamingAgent.git cd GamingAgent conda create -n lmgame python==3.10 -y conda activate lmgame pip install -e .

在credentials.sh中设置 API keys:

export OPENAI_API_KEY={YOUR_OPENAI_API_KEY} export ANTHROPIC_API_KEY={YOUR_ANTHROPIC_API_KEY} export GEMINI_API_KEY={YOUR_GEMINI_API_KEY} export XAI_API_KEY={YOUR_XAI_API_KEY} export DEEPSEEK_API_KEY={YOUR_DEEPSEEK_API_KEY}

省事点可以在线体验（需要网络畅通）

在线体验：https://huggingface.co/spaces/lmgame/lmgame_bench

可以玩的游戏有推箱子、2048、俄罗斯方块、超级马里奥等

deepseek-r1 在糖果粉碎传奇上表现不错，在 2048 和 俄罗斯方块上表现中等，在推箱子和逆转裁判上表现较弱

总体看，最强的还是 o3/o4 mini、Gemini 2.5 Pro、Claude 3.7

更多细节，大家可以看下这篇论文：https://arxiv.org/pdf/2505.15146

这篇论文我大致看了一下，其中有一些提示词蛮有意思的

比如：如何用纯文字指导大模型玩游戏？

比如：推箱子

提示： 你正在解决推箱子谜题。你是玩家，需要将所有箱子推到目标位置。当你紧挨着箱子时，你可以通过向相同方向移动来推动它。你不能将箱子推过墙壁，也不能拉动箱子。答案应该是一个动作序列，例如 

 向右 || 向右 || 向上 answer>。 状态中每个符号的含义是： #: 墙壁，_: 空地，O: 目标，√: 箱子在目标上，X: 箱子，P: 玩家，S: 玩家在目标上 你的可用动作是： 上，下，左，右 你最多可以执行 10 个动作，动作之间用“ || ”分隔。 回合 1: 状态： ###### ###### #O#### #XP### #__### ###### 你还剩 10 次动作机会。始终输出： 

 [你的思考过程] div> 

  [你的答案]  answer>，不要带有多余的文本。严格遵守此格式。最大响应长度：100 词（标记）。 下一回合的提示： 奖励： -0.1 回合 2: 状态： {当前状态} 你还剩 9 次动作机会。始终输出： 

 [你的思考过程] div> 

  [你的答案]  answer>，不要带有多余的文本。严格遵守此格式。最大响应长度：100 词（标记）。