北京
很多开发者测试本地 AI 代理的方式很原始：敲几个问题，看看答案没毛病，就直接上线。这招平时没问题，但一旦改了提示词、换了模型，或者加了个工具，就可能悄悄出岔子，你直到出事才发现。
普通 Python 代码有单元测试兜底，AI 代理可没这个待遇。哪怕输入一模一样，代理的行为也可能每次不同，微小的改动就能引发难以察觉的退化。如果没有一套可重复的评估方法，我们基本上就是在瞎猜代理的表现。
一位开发者分享了一个轻量级解决方案：用 Python 写一个评估工具，包括脚本、一组测试用例、基于规则的检查，以及 LLM 裁判。这样，每次修改前都能先跑一遍测试，心里有底。
这套评估工具完全在本地运行，依赖 LangChain v1、Ollama、Qwen 模型和 Python，不需要任何 API 费用。即便内存较小的机器，也可以通过选择 Ollama 里的更小 Qwen 模型来跑通。
所谓代理评估，就是把你的代理放进一套固定的输入里，然后根据预期给输出打分，相当于 AI 领域的测试套件。目的不是证明代理完美无缺，而是在你改动任何东西时，能及时抓住退化。
一套实用的评估包含三部分：测试用例（带着预期行为的输入列表）、检查函数（针对每个输入给代理输出打分），以及一个通过/失败总结，让你一目了然。
给代理输出打分有两种实用方法。第一种是基于规则的检查，比如断言输出里是否包含“巴黎”这个词，或者代理是否调用了某个工具。这种检查便宜、快速且确定。
第二种就是 LLM 裁判。你让另一个 LLM 读一遍输入和代理的输出，再对照评分标准打分。标准可以很简单，只输出通过或失败。这对那些难以硬编码断言的模糊要求很有用，比如“回答是否真的解决了用户的问题”。代价是，裁判本身也可能会判断失误。
在这个教程里，评估工具将用同一个模型但不同的提示词来做裁判。评估一个代理，是搭建完代理之后的自然下一步。知道代理在不同输入下都能可靠工作，才能把它变成值得信任的工具。
这套评估方案瞄准的，是一个仅有两个工具的简单本地代理。虽然结构不复杂，但足以演示如何把代理评估整合进开发流程。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
