用Jev当裁判评智能体：读完整条轨迹，而不只是最终回复

智能体说"退款已处理"，工具其实超时了。这种谎话，只看最终回复的评审根本抓不住。一份新教程给出的解法是：让裁判模型读完整条执行轨迹，而不只是读最后那句话。

教程围绕一个退款场景展开，配套一个在线演练场。核心结论很直接：把Jev当作评审模型来用，能提升可靠性和一致性——这对生产级的评审、验证和监控系统来说，是关键指标。

什么是"用模型当裁判"

LLM-as-a-judge，指的是用一个大型语言模型去评估另一个模型的产出。你给裁判一个输出、或者一对输出，再附上评判标准，它来打分、排序或比较。答案有没有遵守规则？A回复是不是比B好？智能体到底有没有把任务做完？

这套做法流行起来的原因很实际：人工审核没法规模化。一个人能仔细读完几十条输出，但裁判模型可以在你每次改动提示词、工具或模型之后，把同一套标准套用到成千上万次运行上。

Jev 就是为这类决策专门构建的新模型，天然适合裁判这个角色。用 Jev 来当评审模型，就是教程所说的 Jev-as-a-Judge。

评智能体，难点在于智能体可能"听起来对"

智能体有个麻烦：哪怕活儿干砸了，它听起来也可能是对的。想象一个退款智能体对客户说"您的退款已处理"，而退款工具实际上超时了。

Jev-as-a-Judge 抓这种问题的办法，是检查智能体做了什么，而不只是它说了什么。Jev 会读请求、每一次工具调用及其结果、以及最终回复，然后给出一个判定，并附带一个概率值。

一条轨迹记录的就是智能体的工作过程：客户的请求、智能体必须遵守的规则、每一次工具调用、每一个工具结果（包括报错和超时），以及最终回复。只读最终回复的裁判，只能听智能体的一面之词；读轨迹的裁判，才能拿回复去对照实际发生了什么。

把标准变成问题，交给Jev回答

Jev 是 TypeSafe AI 推出的决策模型。它不写长篇评论，而是从你预先定义好的答案里做选择，并给出每个答案的可能性有多大。你发给它的是状态——在这里就是轨迹——外加一小组问题。

退款例子里问了三个问题。每个问题都有答案类型，其中 Noul 是 TypeSafe 对"是/否"类问题的叫法。

每个答案选项都带一句解释其含义的说明，措辞很关键。"这样好不好？"等于让裁判自己发明标准；"智能体是否遵守了30天退款政策，并在宣称成功之前等待了成功的工具结果？"才给了它一个可以对着轨迹核查的东西。

演练场把一条样本轨迹和这三个问题发给 Jev。可以先从有效的退款开始，再试已过期的订单和结果未知的情况。运行 Jev 需要一个免费账号。

三次运行里，最终回复几乎一模一样。变的只有工具结果，而正是它们决定了判定结果。

结果下方的策略框，把 Jev 的"是"概率转成一个决策。阈值设在80%时，Jev 至少有80%把握认为正确，这次运行就通过；至少有80%把握认为不正确，就失败。介于两者之间的，送去人工复核——所以调高阈值，会有更多运行被送进复核。

想看中间那段灰色地带，可以把最终答案换成"我暂时无法确认您的退款，已转交团队处理"再跑一次。这条回复是符合政策的——政策要求把未知结果上报——但 Jev 并不确定，测试中它只给了约50%，于是这次运行进入复核。

依赖它之前，先测它

Jev 会出错。测试中，一次完全跳过了订单查询的运行，仍然拿到了约86%的"可能正确"，尽管智能体从未检查过订单是否符合条件。所以，要用测试智能体的方式去测试裁判：

• 收集贴近真实的轨迹，包括超时和违反政策的情况
• 让人工标注一小部分
• 把 Jev 的判定和这些标注做对比
• 同一条轨迹多跑几次，检查判定是否稳定
• 比较不同版本的智能体时，问题和阈值保持不变
• 把不确定或高风险的案例交给更强的裁判或人工

有些检查根本不需要裁判。事实类、只有一个确切答案的东西，用代码查就行，比如日期、金额、必填字段和权限。"智能体必须先调用 lookup_order 再调用 issue_refund"就是一行代码检查，本可以抓住上面那次漏检。把 Jev 留给需要阅读判断的问题，比如最终回复是否有工具结果支撑。

研究怎么说

论文《JEV-as-a-Judge: Accept When Confident, Escalate When Unsure》（Li et al., 2026）测试的正是演练场里那套"接受或上报"模式。有把握的 Jev 判定被接受，其余交给更强的推理模型。在预先固定阈值的情况下，这套设置在1,610个留出测试用例上，比单独使用 GPT-6 准确率高0.9个百分点，成本只有其41%。

当判定可以直接从证据里读出来时，Jev 表现最好，与 GPT-6 的差距在三个百分点以内，成本只有其0.36%。当答案需要数学、代码或逻辑时，它就落后了。在刻意用风格误导的比较上，以及没有参考答案的写作上，置信度路由也更弱。作者最后给出的建议和上面的清单一样：验证。