Agent 从「优等生」到「好员工」还差什么？

来源：市场资讯

2026 年以来，Agent 的行业讨论正在从跑分、demo 和工具调用能力转向企业部署。代码仓库、内部数据、客服和运维流程把 Agent 带进真实账号、工具权限和人工审查链路，标准任务完成率难以覆盖权限、链路、成本、审查和事故追责问题。近期围绕 eval、可观测性和工程组织指标的几份报告提出了相近问题，Agent 进入生产后，评估体系需要覆盖上线前、运行中和事故后。

目录

01. Agent benchmark 的定位在如何变化？

Agent benchmark 能证明什么，又漏掉了什么？...

02.高分 Agent 在工作时有哪些「坑」？

企业把部署 Agent 为什么要做上线前 eval？运行中的模型路由、工具调用和容量错误为什么必须被观测？AI 编程带来的审查、修复和工具切换成本为什么也要算进评估？...

03.Agent 生产评估如何贯穿上线前后？

企业如何把行为测试、链路观测、失败回放和组织指标接成一套生产评估体系？...

Agent benchmark 的定位在如何变化？

1、过去一年，Agent 在公开演示和 benchmark 中已经不再只是回答问题。网页浏览、代码修改和软件环境操作等连续任务，开始成为外界衡量 Agent 能力的主要方式，系统能否规划步骤、调用工具、维护状态并完成目标，也成了跑分之外更直观的能力证明。[1-1]

① 在此趋势下，业界看到的 Agent 能力指标正在从单次答案质量，扩展到任务完成率、工具调用、执行过程和状态维护等维度。

2、企业更容易把高分 Agent 与可部署生产力联系起来，但实际采用后的体验并不总是跟着跑分走。系统进入真实账号、内部数据、业务流程和人工审查链路后，仍可能出现错误、低效或难以追责的问题，AI 社区也开始重新讨论 Agent 可用性和 benchmark 的适用边界。[1-1] [1-2] [1-3]

① Galileo 和 Datadog 的报告都把问题指向生产环境中的 eval、可靠性和链路观测，说明企业采用 Agent 后遇到的困难并不只来自模型输出质量。

② 高分和可用之间出现落差，并不是要否定 benchmark，而是要求把 benchmark 放回能力筛选和横向比较的位置。

3、在 Agent 进入企业流程之前，benchmark 先承担能力筛选和横向比较功能。Agent benchmark 能帮助企业判断能力起点和横向差异，但仍发生在被设计好的任务和规则里，评价对象还不是完整生产流程。[1-1]

① Agent benchmark 把模型放进网页、软件、代码库或工具环境，观察系统能否在受控任务中规划步骤、调用工具、执行任务并维护状态。

4、能力入口之外，Agent benchmark 的筛选功能并不等同于生产验收功能，能力筛选与生产验收之间的缺口会在企业部署阶段进一步放大。评价对象从受控任务转向企业流程后，安全、成本、可维护性和工作流集成等维度都会进入评估范围，任务是否完成不再等同于执行过程安全、可控、可复现。[1-1]

① Springer 对 15 个主流 Agent benchmark 的综述显示，没有 benchmark 将安全性或安全防护纳入评分，也没有 benchmark 将成本效率纳入主要评估协议。

② 15 个 benchmark 中有 13 个主要依赖二元成功指标，能判断任务是否完成，但较少说明执行过程是否稳定、可控、可复现。

5、当 Agent 进入企业流程，受控测试未纳入评分的验收缺口会转化为更具体的运行风险。Agent 一旦接触账号权限、业务数据、内部工具和人工审查流程，风险不再只是任务未完成，也可能表现为数据误写、链路中断、合规缺口和人工验证成本上升。[1-1] [1-2] [1-3] [1-7]

① Galileo 调研 500 多名企业 AI 从业者，重点分析 AI 评估、AI 可靠性和企业团队的评估实践差异。

② Datadog 基于客户大模型调用遥测数据也显示，Agent 框架采用率从 2025 年初超过 9% 上升到 2026 年初接近 18%。

6、真实流程里的错误修复和责任追溯压力，会把一部分问题推向执行框架。Harness Engineering 关注运行环境、约束机制和纠错回路，目标是让系统更快暴露错误、定位错误并推动修正，但它解决的是 Agent 如何更稳定地运行，不等于完整的生产评估。[1-2] [1-3] [1-5] [1-9]

① Mitchell Hashimoto 将相关实践概括为 harness engineering，重点是让系统更快暴露错误、定位错误并推动修正。

② Datadog、Galileo 和 Harness.io 的报告分别指向链路观测、行为测试和组织指标，说明执行框架仍需生产评估体系配合。

7、即便执行框架能提升运行稳定性，企业还需要判断 Agent 行为是否被测试、执行链路是否被记录、验证成本是否被计入。生产评估需要补上三类信号，分别是上线前行为有没有被测试覆盖，运行中链路有没有被观测，AI 引入后的验证成本有没有被组织指标捕捉。[1-2] [1-3] [1-5]

① 行为测试对应评估覆盖率、测试规格和发布门禁。

② 链路观测对应运行轨迹、工具调用、模型路由、延迟、token 消耗、成本和服务容量；组织指标对应审查、修复、切换工具和开发者信任。

高分 Agent 在工作时有哪些「坑」？

Agent 上线后的问题通常不会只表现为一次错误回答，而是分散在发布、运行和组织管理环节。发布前缺少系统性测试的行为，可能变成上线后的发布风险。运行中缺少模型路由、工具调用和容量错误记录，故障就难以复现和定位。AI 进入工程组织后，审查、修复和切换工具的时间也会改变真实交付成本。Galileo、Datadog 和 Harness.io 的报告分别提供了上线前、运行中和组织层面的数据，反映了 Agent 生产风险的三类缺口...

关注「机器之心PRO会员」，前往「收件箱」查看完整解读