北京
做Agent的人大概都遇到过这种尴尬：上线前跑分漂亮，上线后用户骂声一片。问题出在哪？LangChain团队的divyasan0用Q&A形式把Agent Evals的常见问题一次性答了，给出的是一套可落地的工程流程，而不是又一篇概念科普。
从真实trace起步，别从想象起步
这套流程的第一步是从真实trace起步。不是先设计评测集，而是先看Agent在真实场景里到底跑了什么。接着是小数据集建立基线——先有一个能对比的起点，再谈优化。失败案例要回流迭代，把线上翻车的样本重新喂回评测流程。
评测本身分两层：离线/在线分层评估。离线跑得动、可复现，在线看真实分布，两边不能混为一谈。
代码优先于LLM裁判
一个容易被忽略的原则是代码优先于LLM裁判。能用规则、断言、脚本判定的，就别急着上大模型当裁判。LLM裁判成本高、稳定性差，适合处理代码判不了的模糊语义，而不是当默认选项。
流程里还提到benchmark这一环。基准测试提供的是横向参照，但它替代不了基于自己业务trace建立的评测集——别人的分数再高，也不代表你的场景能跑通。
整套流程串起来看，逻辑很清晰：
- 真实trace起步，拿到真实分布
- 小数据集建基线，先有对比锚点
- 失败案例回流，持续迭代
- 离线与在线分层评估，各管一段
- 代码判定优先，LLM裁判兜底
对正在搭Agent评测体系的团队来说，这份Q&A的价值在于把顺序讲清楚了。先做什么、后做什么，比堆一堆指标更有用。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
