AI团队合作能力测试：让十个智能体一起打游戏，结果只有一半成功

想象一下这个场景：十个AI角色被丢进一个中世纪风格的游戏世界，任务是合力打造一根魔法法杖。有人负责挖矿，有人负责伐木，有人负责熔炼，有人负责最后的锻造。听起来是个挺简单的流水线，对吧？

但结果是，表现最好的AI模型也只有一半的任务能做成功。

这就是哥伦比亚大学、宾夕法尼亚大学等机构联合发布的AgentWorld基准测试想要揭示的问题。这篇论文做了一件此前少有人做的事，就是专门去测试多个AI智能体之间的协作能力，而不是每个智能体单独干活的能力。

这两者的差别，可能比你想象的要大。

**为什么现在的AI协作测试都不太靠谱**

你可能会觉得，现在AI这么厉害，几个AI一起干活应该不难吧？毕竟单个大语言模型已经能写代码、做数学题、通过各种专业考试了。

但研究团队发现，现有的多智能体测试普遍存在几个硬伤。

第一个问题是任务太短。大部分现有基准测试的交互轮次不超过20步，这就好比考验一个团队的协作能力，却只给他们五分钟时间做一件小事。真正的团队合作，往往体现在几十轮甚至上百轮的持续磨合里，短平快的任务根本测不出这种"长期作战"的能力。

第二个问题更隐蔽，很多测试把"精细操作"和"协作决策"混在一起。比如在《我的世界》这类环境里，AI智能体要花大量精力去处理三维空间的精确移动、方块摆放这些底层操作，真正花在"要不要和队友沟通"、"该不该调整计划"上的精力反而被挤压了。

*协作能力*：指多个具备不同角色和能力的智能体，在共享环境中通过沟通、规划、资源分配等方式，共同完成单个个体无法独立完成的任务的能力。

这就好比考核一个外科手术团队的配合默契度，却让主刀医生花大半时间去调整手术台的螺丝松紧。真正想考的是团队怎么传递手术刀、怎么在关键时刻互相提醒，结果被拧螺丝这件事分散了注意力。如果不解决这个问题，测试分数反映的其实是"谁手更稳"，而不是"谁更会配合"。

第三个问题是像Project Sid这样的大规模模拟项目，虽然能让上千个智能体自由互动，涌现出各种社会行为，但缺乏明确的任务目标和可量化的成功标准，没法拿来打分排名。

**一个既复杂又不添乱的游戏世界**

研究团队面对的其实是一道两难的选择题。

环境太复杂，像《我的世界》那样，智能体就要耗费大量精力在底层操作上；环境太简单，像狼人杀或者做菜游戏Overcooked那样，又撑不起足够丰富多样的长期协作任务。

他们的解法是找一个中间地带：搭建一个足够复杂、能支撑各种协作场景，但同时把底层操作全部封装掉的世界。

具体来说，团队基于一个开源的MMORPG（大型多人在线角色扮演游戏）引擎Kaetram搭建了整个沙盒。这个世界有1056乘768格的地图，9种不同的地貌，380多种物品，144种怪物，70多个NPC角色，还有1531个可采集的资源点，覆盖伐木、采矿、钓鱼、采集、制作、锻造、制箭、烹饪这8种技能体系。

*沙盒环境*：指为AI智能体提供的一个可以自由探索、交互、执行任务的虚拟世界，通常具备持久化的状态和丰富的规则系统。

光有这个丰富的世界还不够，关键的一步是团队在这个引擎上又包了一层抽象接口，一共提供了13个高级API工具，比如移动、攻击、采集、制作、转移物品、聊天等等。举个例子，攻击这个工具，背后其实包含了寻路到目标、发起攻击、完成战斗、捡取战利品这一整套流程，但AI智能体只需要调用一次函数就能完成。采集资源也是同理，自动完成导航、采集、收集结果这几步。

这个设计的用意很直接：让AI智能体把决策预算花在"做什么"和"和谁配合"上，而不是"怎么走过去""怎么按对按钮"这些细枝末节上。

如果不做这层封装会怎样？智能体很可能大部分时间都耗在了处理底层动作上，最后测试出来的分数,更多反映的是"谁的动作控制更精准"，而不是"谁更懂得团队配合"，这和研究团队最初想解决的问题正好背道而驰。

**黑箱设定：谁也看不见谁脑子里在想什么**

AgentWorld还有一个很重要的设计，叫做黑箱（blackbox）交互模式。

*黑箱设定*：指每个智能体只能获取自己周边的观测信息和公开的聊天消息，完全无法访问其他智能体的内部推理过程、计划或模型权重。

这一点其实特别贴近真实世界的团队协作场景。你在公司和同事合作，你能看到的是他发的邮件、说的话、做出的成果，你看不到他脑子里到底是怎么想的，更不可能直接读取他的思维过程。AI智能体之间的协作也被设计成这样：唯一的沟通渠道就是聊天消息。

这个设定听起来简单，但它逼着智能体必须学会一件事，那就是"把心里想的说出来"。如果一个智能体自己规划好了下一步要采集多少木头，却没有告诉队友，那队友根本无从知晓，只能靠猜测或者干等着。

论文中给出的一个具体案例很能说明问题。在一个由伐木工、木匠、法师三个角色组成的三人小队任务里，研究团队用一种叫做因果协作效能（后面会详细讲）的方法去追溯整个协作链条，结果发现27个总行动里，只有12个真正对完成任务有贡献，占比44.4%。剩下超过一半的行动，要么是重复劳动，要么就是原地打转。

**任务设计：没有一个人能单打独斗**

AgentWorld一共设计了100个人工标注的核心任务，外加100个用大模型生成的变体任务，覆盖战斗、制作、采集、交易、探索、生存、建造、协调这8大类别。

每个任务都有一套完整的配置：一个需要多方协作的主目标（比如"为法师打造一根魔法法杖"），每个智能体各自不同的角色、技能等级、出生地点和初始物品，一个限定交互轮数的预算（从25轮到55轮不等），每个智能体专属的任务背景文档（包含相关的制作配方、怪物属性、资源位置），以及一套用Python写的成功判定脚本，直接检查最终的游戏状态来判断任务是否完成。

任务的核心设计原则是，没有任何一个智能体能单枪匹马完成任务。比如68号任务"资源商队"，需要8个智能体横跨三个地貌区域协作：一个队长要协调森林里的两组伐木队、山区里的矿工，还有一个工匠需要接收两边送来的原材料来打造一把镐子。整个过程需要智能体们商量谁去采什么、跨区域通报资源数量、在约定的碰面点完成物资交接。

这就好比一场跨国供应链的协调，原材料在A国开采，加工在B国完成，最后组装在C国进行，任何一个环节掉链子，整条链路都会卡住。任务的复杂度不是随便加上去的，而是刻意设计成"逼着你必须依赖别人"。

五名人类标注员按照预设的类别分布来设计任务，每个任务都要经过两个AI模型的试运行验证，失败会被分类为系统错误、任务设计错误或智能体自身的错误，任务会反复修改直到只剩下智能体本身的失误为止。轮次预算也是根据试运行的结果来校准的，既要有挑战性，又要确保理论上可行。

**衡量协作质量的新尺子：因果协作效能**

这篇论文另一个值得单独拿出来说的贡献，是提出了一个新的评估指标，叫做因果协作效能（Causal Collaboration Effectiveness，简称CCE）。

为什么需要这样一个新指标？

传统上评判多智能体系统好不好，主要看任务成功率（SR），也就是这套团队到底有没有完成目标。但这里有个陷阱：一个任务可能表面上成功了，实际上却是某个智能体一个人扛下了所有活，其他人全程摸鱼打酱油。成功率这个指标完全看不出这种"划水式成功"。

也有研究尝试用大模型直接打分，让AI给协作质量打1到5分。但这种做法主观性太强，换一个打分模型，结果可能就完全不一样，很难复现。

*任务成功率（SR）*：由每个任务专属的Python脚本判定，检查游戏最终状态是否满足所有成功条件。

*部分成功率（PSR）*：一种更柔和的评分方式，统计任务中各个检查点（比如"原木数量3/5"）的达成比例，即便任务整体没有成功，也能看出完成了多少。

CCE的思路是构建一个因果行动图，通过倒推的方式追溯每一个行动是否真正为最终的成功做出了贡献。具体做法是先找出直接达成任务目标的那些"成功行动"，然后一轮一轮地往前倒推，每一轮都让大模型判断这一轮里的行动有没有为后面已经确认有贡献的行动提供了帮助。这样一层层往回滚雪球，最终得到一个"贡献行动集合"。

CCE的计算公式很直白，就是贡献行动数量除以总行动数量。如果任务失败了，CCE直接记为0。

这里有个关键的设计巧思：让大模型做的判断是相对客观的二元判断,比如"钓虾这个行为是否让后来转移虾这个行为得以发生",而不是让它去打一个主观的分数,比如"给协作质量打1到5分"。前者是"有没有"的问题,后者是"好不好"的问题,前者的判断稳定性明显更高。

研究团队专门验证过这一点。他们抽样了84个行动贡献度判断，让人类标注员独立打标签，结果和GPT-4.1判断器的一致率达到82%，对应的Cohen's kappa系数是0.64，属于"实质性一致"的水平。作为对照，换成Claude Sonnet 4作为判断器，两个不同判断器之间的一致率是84%，kappa是0.66。也就是说，人类和判断器之间的一致程度，几乎和两个不同的判断器互相之间的一致程度差不多，这说明这个二元判断本身是站得住脚的，不是某个特定模型的偏见产物。

**四个模型同台竞技，谁的表现最好**

研究团队测试了四个前沿模型：Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini，以及DeepSeek R1-70B。所有模型用的是完全相同的系统提示词、用户提示模板和工具定义，确保比的是协作推理能力，而不是提示词工程的水平。

结果如下表所示：

| 模型 | 成功率 | 部分成功率 | CCE |

| Gemini 3 Flash | **52.0%** | **71.5%** | **0.320** |

| Claude Haiku 4.5 | 45.0% | 62.7% | 0.294 |

| GPT-5 Mini | 36.0% | 62.6% | 0.206 |

| DeepSeek R1-70B | 20.0% | 43.5% | 0.125 |

表现最好的Gemini 3 Flash成功率也只有52%，意味着抛一枚硬币的概率都差不多。而它的CCE只有0.320，换句话说，即便是表现最好的模型，它所有智能体的行动加起来，也只有不到三分之一真正对任务成功起了作用。DeepSeek R1-70B更夸张，CCE只有0.125，接近九成的行动都是无效功。

这组数字揭示了一个挺让人意外的现象：智能体们看起来在"忙"，但大部分的忙都是瞎忙。

在增强测试集（也就是那100个用大模型生成的变体任务）上，所有模型的成功率都出现了明显下滑，DeepSeek更是直接跌到10%。这说明增强任务确实更难，不是随便改改数字凑数的。

**话说多了不一定好，说少了肯定不行**

论文里有个发现挺反直觉的：聊天消息数量和任务成功率并不成正比。

GPT-5 Mini平均每个任务要发送44.1条聊天消息，是四个模型里最多话的，但它的成功率只排第三，是36%。DeepSeek R1-70B发的消息最少，平均只有7.5条，成功率却是垫底的20%。反而是Gemini 3 Flash，聊天频率处于中等水平（平均11条），成功率却是最高的。

研究团队进一步分析发现，GPT-5 Mini在失败的任务里，有26%的行动都花在聊天上，这说明它有点"话痨"，光顾着沟通协调，反而挤占了真正干活的时间。而DeepSeek平均要到第5轮才第一次发消息，相比之下其他模型都是第1到2轮就开始沟通，这个滞后很可能让它错过了协调的黄金窗口期。

这有点像开会这件事。一场项目会议如果全程都在你一言我一语地讨论方案，会议结束时可能什么都没定下来，大家散会后各干各的；但如果压根不开会，各部门直接闷头干活，最后交上来的东西可能对不上茬，还得返工。真正高效的团队，是花刚好够用的时间对齐方向，然后把剩下的时间都用来推进实际工作。如果沟通量不受控制，无论是太多还是太少，都会拖累最终的产出效率。

**哪类任务最难，哪类最容易**

从任务类别上看，生存类任务（比如保证团队存活）是最容易的，成功率能达到67%到100%；而协调类任务和建造类任务是最难的，成功率分别只有12%和20%左右，交易类任务也不好过，成功率33%。

这个分布其实很合理。生存类任务往往对协作精度的要求没那么高，只要基本动作不出大错就行；而协调类任务需要多方在时间和空间上高度同步，任何一个环节没接上，整个链条就断了。

**做减法实验：拆掉每一块拼图看看会怎样**

为了搞清楚AgentWorld里到底哪些设计元素是真正有效的，研究团队专门做了一组消融实验（也就是把某个组件拿掉，看看结果会有什么变化）。

*消融实验*：一种常见的研究方法，通过依次移除系统中的某个组件，观察整体表现的变化，从而判断该组件对系统的实际贡献大小。

在一个35个任务的子集上，团队测试了移除非对称角色信息、把轮次预算从50轮压缩到10轮、随机化出生地点、以及不提供任务专属文档这四种情况。结果显示每一项拿掉都会造成性能下滑，最多能掉25个百分点。

其中影响最大的是移除任务文档（成功率从54.3%跌到29.4%）和压缩轮次预算（跌到37.1%），这说明智能体的瓶颈很大程度上是信息获取和时间压力，而不是协作本身出了问题。相比之下，随机化出生地点的影响最小，只跌了不到3个百分点，说明这个设计确实精准地把无关变量的干扰降到了最低，能更纯粹地反映协作能力。

团队还做了一系列基线对比：完全随机动作的成功率只有5.7%，单人扛下所有角色的成功率是28.6%，去掉沟通渠道的成功率是22.9%，有意思的是，加了一份人类事先写好的共享计划但不允许沟通的版本，成功率反而更低，只有17.6%。

这个结果乍看有点意外，为什么有计划反而更差？研究团队的解释是，没有沟通渠道时，智能体既没法验证队友进度，也没法在计划的前提假设被打破时及时修正，死守一份固定分工反而可能让自己卡在某个依赖别人的步骤上动弹不得。而完全不带计划的智能体，至少还能根据实际观察到的情况随机应变。

这就像开车去一个陌生地方，事先打印好一份详细的纸质路线图，结果路上突然封路了，你还捧着这张过时的地图死磕，反而不如打开实时导航，随时根据路况调整。计划的价值不在于计划本身多详细，而在于它能不能被及时修正。

作为对照，团队还测试了一个"上帝视角沟通"的版本，让一个智能体能看到所有人的消息，专门负责协调全队，这种设定下成功率提升到了60%，但即便如此，依然有40%的任务失败，说明这个基准测试的难度不完全来自信息不对称，长期规划和资源分配本身就够硬核。

**沟通里到底出了什么问题**

研究团队还专门对Gemini 3 Flash在100个任务里产生的聊天消息做了错误类型分析，归纳出六类典型失误。

占比最高的一类叫做"过时与冗余"，占37.7%，具体表现是反复提到已经完成的事情、重复已知信息、或者问一些其实已经有答案的问题。比如一个法师明明上一轮就已经把法杖做好了，却还在问"你现在有木棍了吗"，这种情况的根源很可能是智能体对其他成员状态的理解或预测出现了偏差。

紧接着是身份误判（16.4%），比如角色搞错自己该扮演的身份，或者向错误的对象索要资源。还有事实性错误（14.8%）,比如报告了错误的物品名称或坐标；过早宣布完成（11.5%），在关键步骤还没验证完就单方面宣称任务已经结束；无实质内容的输出（11.5%），礼貌但空洞的闲聊，没有提供任何坐标或物资信息；以及逻辑不一致（8.2%），执行明显无效的策略或者发出自相矛盾的指令。

这份清单看下来，会发现绝大部分失误的本质都是"信息没对齐"。智能体之间没有一个可靠的机制去确认对方到底知不知道自己的进度，就像一群人接力传话，前面的人已经改了口径，后面的人还在按老版本转达。

**跨判断模型的稳定性验证**

研究团队还测试了CCE这个指标是否会因为换了不同的判断模型而产生剧烈波动。他们用GPT-4.1、Claude Sonnet 4和Llama-4 Maverick三个不同家族的模型分别重新计算了一遍CCE，结果发现四个被测模型之间的排名顺序（Gemini大于Claude大于GPT-5大于DeepSeek）在三个判断器下完全保持一致，绝对数值波动最多不超过0.05个百分点。

这个稳定性验证挺重要的，它说明CCE这个指标不是"换个裁判就变天"的那种脆弱指标，把复杂的主观打分简化成简单的二元因果判断，确实换来了更好的可复现性。

写在后面

看完这篇论文，最触动我的其实不是那些冰冷的百分比，而是那个"话越多越糟糕"的发现。

我们平时讨论AI团队协作时，本能会觉得沟通越充分应该越好，多说话总比不说话强。但这个基准测试给出的数据打破了这个直觉：GPT-5 Mini发消息最多，成功率却排在中下游，甚至有26%的行动都花在了闲聊上。这让我想到很多现实中的团队协作场景，会开得越多不代表事情推进得越快，有时候反而是效率的敌人。AI智能体在这一点上，居然和人类团队犯了同样的毛病。

另一个让我觉得挺意外的细节是"有计划反而更差"这个实验结果。人类直觉上觉得，只要给团队一份清晰的分工方案，照着执行就行了，可现实是死板的计划在遇到变化时反而成了拖累。这可能提示我们，未来评估AI智能体的协作能力，不能只看它有没有制定计划的能力，更要看它能不能在计划被现实打破时及时调整。

CCE这个指标背后的设计哲学也挺值得琢磨。它没有去追求一个"完美准确"的协作质量分数，而是退而求其次，只要求大模型做简单的、可验证的因果判断题。这种"降低判断难度换取可复现性"的思路，或许在很多需要大模型当裁判的评测场景里都值得借鉴。

这篇论文还没解决的问题也很明显：即便有一个上帝视角的协调者，依然有40%的任务会失败。这说明多智能体协作的难点，可能远不止"信息传递"这一层，更深层的长期规划、资源博弈、角色分工本身，才是真正的硬骨头。这块骨头，恐怕还得留给后续的研究者继续啃。

Q&A

Q1：AgentWorld是什么？

A：AgentWorld是一个用来测试多个AI智能体长期协作能力的基准测试，基于一个MMORPG游戏世界搭建，包含100个人工标注任务和100个AI生成的变体任务，要求3到20个具备不同角色的智能体在25到55轮的交互中协作完成任务。

Q2：为什么表现最好的AI模型任务成功率也只有52%？

A：因为多智能体长期协作涉及沟通、规划和资源分配等多重难题，容易出现沟通不同步、角色混淆、计划无法持续维持等系统性失败，即便是Gemini 3 Flash这样表现最优的模型，也只有约三分之一的行动真正对任务成功有贡献。

Q3：因果协作效能CCE是怎么计算的？

A：CCE通过倒推的方式构建因果行动图，先找出直接达成任务目标的成功行动，再一轮轮向前追溯哪些行动为其提供了帮助，最终用贡献行动数量除以总行动数量得到结果，失败任务则直接记为0。