3000个span里，哪40个值得人看？先测标签器再信它

大多数追踪工具回答的是“发生了什么”。几乎没有工具回答另一个问题：一次3000个span的运行里，哪40个span值得占用人类下一个小时。一个便宜的分类器可以回答这个问题——前提是你在信任它之前先测量它。

这套循环的做法是：构建有边界的span卡片，用免费模型端点给它们打标签，再用手工标注的切片去校验这些标签，通过之后，才允许它们重排你的调试队列。本周的AI信息流大多是能力话题，不那么光鲜的另一面是验证：一个你没测过的标签器，就是一个彬彬有礼的随机数生成器。

从自己的失败分类开始

不要从任何文章里借一套标签，包括这一篇。标签要从你最近五次复盘里拉出来。在作者自己的追踪记录里，反复出现的桶是：工具契约破裂（工具返回了提示词没预料到的形状）、提示词漂移（模型在运行中途不再遵守某条约束）、被静默重试的超时、以及交接之后的上下文丢失。四个桶加一个“未知”逃生口，足够用来做分诊。

“未知”不是一种失败模式。当卡片不携带任何证据时，它就是诚实的答案，而它的比例是你应该看的第一个数字。一个60%的时候都回答“未知”的标签器，是在告诉你卡片太薄，而不是你的智能体有多神秘。

先做卡片，再谈提示词

一条span记录通常是2到20KB的JSON。把它原样发给任何模型都是浪费，而且会诱使模型去做摘要而不是分类。卡片是一个固定字节的投影：身份、类型、状态、时长，以及一段被截断的输入到输出文本。

• 卡片文本上限设为320字节，超出部分按UTF-8截断；
• 卡片字段包括span_id、kind（llm、tool、handoff）、tool_name、status（ok、error、timeout）、dur_ms和截断后的text；
• 截断是刻意的，而且必须可见。

如果一条span因为证据在320字节处被切断而分错类，提高字节预算就应该能修好它——这是一个可证伪的假设，比大多数提示词修改给出的东西都多。

客户端是一个可调用对象，而不是一次SDK导入。这让测试框架可以移植到你指向的任何端点，也让重试策略留在你自己的代码里，方便测试。标签集合就是前面那五个：tool_contract、prompt_drift、timeout、context_loss、unknown。提示词要求模型只回JSON，给出label和why两个字段。

用一致性做闸门

闸门的意思是：标签器必须先在一份手工标注的金标准切片上过关，才有资格重排队列。看的是每个类别的召回率，而不是平均值。一个漏掉timeout的标签器会让你去追提示词，而一个过度触发tool_contract的标签器会用假线索淹没队列。阈值是你校准出来的旋钮，不是定律；把金标准集冻结起来，未来的提示词修改才有可比性。

一致性不等于正确性。一个和你的金标准集匹配的标签器，只是在那份切片上匹配了你的判断，仅此而已。把它当作队列排序器：它决定你先读什么，永远不决定你得出什么结论。

免费额度适合放在哪

打标签是高 volume、低风险的工作，输出是提示而不是裁决。这正是免费模型端点能很好吸收的工作形状，也是作者把打标签放在这里、而不是放在昂贵路径上的原因。MonkeyCode提供免费模型访问和一个免费服务器选项；据运营方描述，写作时的免费token额度在千万级别。

披露：本文是作为MonkeyCode产品推广的一部分准备的。

配额、模型阵容和服务器条款都会变动，把它们接进CI之前先核对当前页面，也永远不要把免费额度当作容量保证。发送之前先脱敏：在写入时就剥掉bearer token、客户标识和文件内容，而不是等到做卡片时才处理。一条从未存储过秘密的span，不可能把它泄露给标签器。

最后一行是免费服务器挣到位置的地方：重放一条入围的span往往需要重新触达同样的工具，这活儿适合一台可以随手扔掉的机器。把重放器的凭证限制在沙箱里，并把重放自身的span单独记录，否则你会把两次运行合并成一条追踪，丢掉对比。

局限，以及谁该跳过

如果你每周调试的span不到几百条，直接读它们。这套框架的成本高于它省下的东西，而且手读本身就在建立分类所需的那种直觉。如果你的span携带不能离开网络的受监管数据，打标签这一步必须留在本地。如果你的工具schema每周都变，标签器会跟着漂移，闸门失败得足够频繁，就成了噪音。

想不搭基础设施就试这套循环，免费模型端点加免费服务器选项是最便宜的起点：把llm可调用对象指向前者，在本地跑闸门，等入围名单稳定之后再把重放搬到后者。