多步推理碾压GPT-4o，无需训练性能提升10%！斯坦福开源通用框架OctoTools

新智元报道

编辑：LRS

【新智元导读】OctoTools通过标准化工具卡和规划器，帮助LLMs高效完成复杂任务，无需额外训练。在16个任务中表现优异，比其他方法平均准确率高出9.3%，尤其在多步推理和工具使用方面优势明显。

大型语言模型（LLMs）目前仍然很难处理需要多步骤推理、特定领域知识或外部工具集成的复杂任务，有研究工作探索了使用预先构建的外部工具来增强LLMs处理复杂任务的能力，但这些方法需要对模型进行微调或额外训练以实现工具的集成，在不同任务之间难以灵活适应。

现有的方法要么依赖于静态的、预定义的工具集，要么缺乏高效的工具选择和规划机制，这种低效性会导致任务执行出错、计算成本增加，以及在应用于新领域时适应性受限。

传统增强LLMs的方法包括少量样本提示（few-shot prompting）、思维链（chain-of-thought reasoning）以及与外部工具接口的功能调用API；有的框架如LangChain和AutoGen允许LLMs够使用外部资源，但通常智能用于指定应用场景或需要大量的预配置，没有提供一种统一的多步骤规划和执行方法，因此在处理复杂推理问题时效果不佳。

此外，大多数现有方法缺乏对工具选择的结构化方法，导致执行效率低下。

最近，斯坦福大学推出一个无需训练、用户友好且易于扩展的开源智能体框架OctoTools框架，包含对工具选择的结构化方法，大幅提高执行效率的同时，还能够解决跨多个领域的复杂推理。

OctoTools引入了标准化的工具卡来封装工具功能，一个用于高级和低级规划的规划器（planner），以及一个执行工具使用的执行器（executor）。

论文链接：https://arxiv.org/pdf/2502.11271

代码链接：https://github.com/octotools/octotools

研究人员在16个不同的任务（包括MathVista、MMLU-Pro、MedQA和GAIA-Text）上验证了OctoTools的通用性，比GPT-4o的平均准确率提高了9.3%

此外，当提供相同的工具集时，OctoTools的性能全面优于AutoGen、GPT-Functions和LangChain，最多提高了10.6%的性能，在任务规划、有效工具使用和多步问题解决方面具有非常大的优势。

OctoTools框架

OctoTools框架的核心设计理念是让人工智能系统能够高效地使用外部工具，而无需额外的训练或框架调整。

主要包含工具卡片、规划器、执行器，还包含一个任务指定的工具集优化算法，能够学习为下游任务选择最有用的工具子集。

整个过程不断迭代，直到找到完整的解决方案。

工具卡片（Tool Cards）

工具卡片定义了工具使用的元数据，每个工具卡片的设计与框架是相对独立的，用户可以在不修改底层框架或智能体逻辑的情况下，轻松集成各种工具。

新的工具卡片可以无缝集成到框架中，而无需进行额外的训练或对框架进行调整，极大提高了工具的可扩展性和灵活性。

每个工具卡片代表一个工具及其必要的元数据，包括工具的名称、输入和输出类型，以及命令示例，为规划器和执行器提供了开发者的指导建议。

比如，图像描述工具（Image_Captioner_Tool）指出「在复杂场景中可能会出错」以及「可以考虑使用其他工具进行验证」；目标检测工具（Object_Detector_Tool）注明了其在检测对象方面的限制。

为了确保交互上的一致性，每个工具卡片都实现了两个标准功能：

execute()函数封装了工具的核心功能，例如生成代码片段或执行目标检测，执行结果以结构化格式存储，以支持不同的输出类型，例如生成的代码、检测到的目标或存储的文件；

get_metadata()函数允许规划器和执行器动态评估工具的能力，并理解其使用限制。

规划器（Planner）

规划器负责从宏观和微观两个层面进行规划，不仅关注整体目标，还会逐步细化每一步的动作，确保任务能够高效、精准地执行。

初始化

规划器首先会检查工具箱，加载所有工具卡片，每个工具都带有描述其输入输出模式和使用限制的元数据。

为了更高效地使用工具，规划器会根据专家建议或通过少量示例（few-shot）进行优化，选出工具子集。

查询分析与动作预测

当输入一个查询时，规划器会根据其初始化信息，为工具的使用制定一个初步的、宏观的计划：总结查询的目标，分析所需的技能，识别相关的工具，并特别指出需要验证的环节，确保每个后续的子目标都与原始查询保持一致。

随后，在每步内会提出一个行动（微观计划），实时细化并执行每个子目标，根据新信息或反馈进行调整。

上下文验证与解决方案总结

在每次执行命令后，上下文验证器会检查当前上下文是否已经解决了问题，是否所有子目标都已满足，并识别是否有模糊处理。

如果问题仍未解决，规划器会继续进入下一个循环，预测下一个动作。

整合答案时，会结合中间工具的输出，追溯推理步骤，并以简洁、用户友好的方式呈现最终解决方案。

执行器（Executor）

执行器负责生成可执行的命令，调用工具，并将结构化的结果保存在上下文中。

命令预测

当规划器预测出动作时，命令生成器（由语言模型驱动）会创建一个低层次的命令，形式为可执行的Python脚本，调用指定工具，并提供必要的输入，同时完成数据准备工作。

命令执行

命令执行器会在Python环境中运行生成的命令，并获取结果，包括工具的输出、日志或错误信息。轨迹保留了采取的动作、生成的代码以及获得的结果的清晰历史记录。

针对任务优化工具集

OctoTools工具箱包含多种工具，涵盖了不同的模态和技能，启用所有可用工具时具有很强的通用性，当为某个任务提供少量验证样本时，选出工具子集可以进一步提高效率和性能表现。

研究人员提出了一种自动化的算法为每个任务优化工具集配置，采用贪心搜索策略将计算复杂度降低到O(n)，与工具数量线性相关。

实验结果

主要结论

研究人员对比了工具集优化后的框架OctoTools与其他三种基线方法的性能，包括：

1. 零样本（zero-shot）：基础语言模型（gpt-4o-2024-08-06）直接回答问题，没有任何额外的提示；

2. 思维链（chain-of-thought，CoT）：基础语言模型被提示“逐步思考”，以生成逐步推理的过程；

3. OctoTools基础版（OctoTools-base）：仅使用基础工具，不进行任何外部集成。

在16个基准测试中，OctoTools在性能上取得了显著提升，比零样本和连贯推理基线分别高出9.3%和7.7%，比零样本（高出4.2%）和思维链（高出2.6%）的性能更强，表明该框架的逐步推理能力对性能的提升有显著贡献，即使不依赖外部工具集成也是如此。

其他智能体框架

研究人员还对比了三种常用的通用人工智能（GenAI）智能体框架：

1. GPT-Functions：使用GPT-4o通过函数调用用户指定的工具；

2. LangChain：提供多智能体协作、长期记忆和工具使用能力；

3. AutoGen：能够创建多个具有工具使用能力的自主智能体。

为了公平对比每个系统在多步骤中规划和使用工具的能力，研究人员将所有智能体框架（包括OctoTools）配置为使用相同的底层模型（GPT-4o）和超参数，使用相同的工具集，最大推理步数为10步，时间限制为300秒。

总体而言，OctoTools的表现优于其他智能体框架，平均准确率比AutoGen高出10.6%，比GPT-Functions高出7.5%，比LangChain高出7.3%

参考资料：

https://www.marktechpost.com/2025/02/22/stanford-researchers-introduce-octotools-a-training-free-open-source-agentic-ai-framework-designed-to-tackle-complex-reasoning-across-diverse-domains/