ICLR 2025 | 评估大模型智能体的复杂任务规划能力

规划（Planning）是大模型智能体的核心能力，广泛应用于大模型的多工具调用、具身智能场景中的复杂任务拆解和多机器人协同、复杂问题的求解、医学场景中的疑难杂症诊断分析，AI for Science中的实验方案设计等。相较于普通的推理能力，规划更加依赖于结构化思维建模（Structure Thinking），而非单一的线性思维过程。研究表明，目前的大模型在规划能力上仍有显著不足，尤其在处理图结构类型的工作流任务时表现薄弱。未来，提升大模型在复杂规划任务中的表现，特别是增强其对图结构任务的理解与规划能力，将是推动智能体广泛应用的关键之一。

论文题目： Benchmarking Agentic Workflow Generation 论文链接： https://arxiv.org/abs/2410.07869 代码链接： https://github.com/zjunlp/WorfBench

大模型智能体正在迅速发展，能力已不再局限于 API 调用。

诸如OpenAI的Operator和Anthropic的Computer Use等，能够像人类一样直接与界面交互，执行复杂操作。

在处理这类复杂任务的过程中，大模型智能体将问题分解为可执行的工作流（Workflow）是关键的一步。然而，这一核心能力目前缺乏完善的评测基准。

现有的数据集和评估框架存在明显局限性：要么仅关注规划任务的端到端性能，要么在场景覆盖范围、工作流结构的复杂性以及评估标准的全面性上存在不足。完善的工作流评测基准对于推动大模型智能体在真实场景中的应用和性能提升至关重要。

为解决上述问题，浙大通义联合发布WorfBench——一个涵盖多场景和复杂图结构工作流的统一基准，以及WorfEval——一套系统性评估协议，通过子序列和子图匹配算法精准量化大模型生成工作流的能力。这一研究不仅填补了现有评估体系的空白，还为未来大模型智能体在复杂任务中的应用提供了重要的参考。

一、WorfBench构建与评估

WorfBench利用GPT自动化构建多场景任务，包括problem solving、function calling、embodied planning和open-ended planning等，生成了包含18k训练样本、2146测试样本和723个OOD的评测数据集。作者将工作流建模为有向无环图（DAG），以更精确地表示现实世界中的复杂串行或并行智能体工作流。为了确保数据质量，作者引入了节点链作为中间结构，并采用拓扑排序（Topological Sorting）算法对图结构进行质量过滤，并在测试集上进行人工验证。

WorfEval则通过子序列和子图匹配算法，分别从链结构和图结构两个维度对大模型生成的工作流进行量化评估，从而精准衡量模型的线性规划和图规划能力。

二、基准评测结果

作者在WorfBench上对18种不同规模的主流大模型进行了全面评估，包括闭源模型（如O1、GPT-4、Claude-3.5）和开源模型（如Llama系列、Qwen系列等）。实验结果显示，与线性结构相比，模型在图结构工作流预测上的能力远未达到现实需求，即使是性能卓越的GPT-4，其图结构工作流的平均性能也仅为52.47%。

此外，作者还对两个开源模型进行了训练，并在OOD任务上评估其泛化能力。结果表明，尽管在训练集上表现出色，但在未见过的任务上，模型的泛化能力仍有待提高。这表明，仅通过数据拟合目前仍难以实现结构化工作流规划能力的有效学习。

三、工作流生成分析

通过对实验结果的深入分析，作者发现大模型在工作流生成中存在显著的线性规划与图规划能力差距，且图规划能力与模型规模并非完全正相关。例如，部分7B模型在某些任务上超越了13B模型，这可能与模型训练数据的规模和质量有关。

此外，作者还发现，即使提供标签节点链以简化图结构预测任务，模型的图规划性能仍不理想，这表明图规划的复杂性在于对任务依赖关系的理解。

进一步的错误分析显示，大模型在工作流生成中的典型错误主要集中在任务分解的粒度、任务描述的明确性、图结构的正确性以及输出格式的规范性四个方面。这些错误大多源于模型对环境知识的缺乏。

因此，未来的研究方向可能包括优化提示策略、采用多智能体架构，以及将世界知识或世界模型更深入地融入大模型中，以提升其对现实世界的理解能力。

四、工作流知识增强智能体

作者探讨了工作流在智能体规划中的重要作用。研究发现，工作流不仅可以作为一种流程先验知识直接指导智能体的规划过程，帮助其在复杂任务中更高效地执行，还可以作为链式思考（Chain-of-Thought, CoT）的增强手段，通过为智能体提供更相关的API选择，减轻其在多步任务中的负担。

此外，工作流的图结构特性能够实现并行任务执行，显著减少推理时间，同时减少智能体在规划过程中的步骤数，提升任务完成效率。这些结果表明，工作流不仅是连接任务与具体执行动作的桥梁，还能显著提升智能体在复杂任务中的表现和效率。

作者：乔硕斐 来源：公众号【ZJUKG】

llustration From IconScout By IconScout Store

-The End-

扫码观看！

本周上新！

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区（

www.techbeat.net

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章，并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励

投稿方式

发送邮件到

melodybai@thejiangmen.com

或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构，也是北京市标杆型孵化器。 公司致力于通过连接技术与商业，发掘和培育具有全球影响力的科技创新企业，推动企业创新发展与产业升级。

将门成立于2015年底，创始团队由微软创投在中国的创始团队原班人马构建而成，曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业，不仅想获得投资，还希望获得一系列持续性、有价值的投后服务，欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com

点击右上角，把文章分享到朋友圈