18美分对40倍差价：8个模型查数据丢失谁更靠谱

一张工单从销售那边转过来：Umbrella Corp明明在CRM里，仪表盘上却找不到，麻烦查一下它去哪了，最好今天下班前给结果。

没人知道原因，这正是工单存在的意义。从CRM到仪表盘之间有一条数据管道，它负责摄入记录、抽取公司名、合并重复项、再过滤掉一部分。记录可能在任何一个环节丢失。于是你翻日志，其中一半上周二已经被轮转清掉了，然后在最终表里看到一条"Umbrella Corporation Inc"。这是我们要找的那家Umbrella吗？也许是。大概吧？名字一样，就差一个Inc。

好的调查员会说"它被过滤掉了，这是对应的日志行"，或者在线索断了的时候说"我判断不了"。差的调查员会选"大概"，挑那个长得像的，关掉工单去吃午饭，两周后有人发现仪表盘一直在展示另一家公司的数字。

六种裁决，两种提问方式

现在大家都想把这类工单丢给大模型。任何模型都能在最终表里认出那个长得像的名字。但它能不能意识到，日志本身根本不足以判断记录去了哪里？为了验证这一点，有人构建了一个名为Where Did My Data Go?的基准测试。

每个答案都是六种裁决之一。最终表里通常坐着一个长得像的候选，比如那条"Umbrella Corporation Inc"。测试里甚至准备了一对孪生案例，日志完全相同，其中一个案例里那个长得像的确实就是目标公司，另一个案例里它只是一家名字相似的不同公司。所以对这两个案例，唯一诚实的答案都是"判断不了"。

每次调查都以两种模式提问：一种是直接提问，另一种附带一份简短规则手册，写明不要猜测，并指出能证明你答案的那一行确切日志。这样设计是为了看几行指令能带来多大变化。

选模型的方式，和真实管道一样

选模型的标准参照真实管道场景。这项检查每晚要对每张工单跑一遍，现实中没人会把最贵的模型放进这个循环。所以测试选的是各家实验室的廉价档位、两个可以自己托管部署的开源权重模型，以及构建这个基准时所用的Claude Sonnet 5作为更贵的参照。

每个模型在每条赛道上完成107次调查，全部通过Kaggle的Model Proxy调用，没有一次调用失败。

15个案例衍生出33个版本，日志数量有多有少。每个版本被提问3次，最棘手的那些问5次，于是每条赛道107次调查，其中44次是冷案——"判断不了"是唯一正确答案。评估看三件事：

• 模型在冷案上猜测的频率
• 完整答案（裁决加编号）正确的频率
• 答案正确且有证据支撑的频率，也就是说，只要模型声称了什么，它引用的日志行必须真实存在并能证明结论

这是三件不同的事。一个对所有问题都回答"判断不了"的模型永远不会猜测，但得分也只有44%。顺便说明，这里的44%不是107次里对了44次，每个分数都按案例平均，所以15个案例无论有多少版本，权重都一样。

价格买不来谨慎

按价格排序看结果，价格没有换来谨慎，两个方向都没有。最便宜的模型GPT-6 Luna一次都没猜过，凭直觉把一切都答对了，每千次调查只要18美分。而Sonnet在几乎每三个冷案里就猜一次。Kaggle默认的Gemini 3.7 Flash比Luna贵了近40倍，照样猜。

猜测最严重的两个模型，Qwen和Flash-Lite，同样便宜。所以价格标签什么也说明不了，必须实测。速度也不跟随质量：Flash-Lite不到一秒就作答，却在近一半冷案上猜测；Luna和Sol大约两秒作答，几乎总是正确；Gemma在Kaggle托管环境下每次调查需要约40秒。

提示词里加上几段规则，八个模型里有七个把猜测降到了零，Qwen从59%降到7%。加上规则后，Haiku和Sonnet的得分完全相同，但Haiku便宜14倍。要求指出确切日志行也很关键，开发期间试过不带这一条的规则版本，Sonnet仍然有4.5%的猜测率。如果明天就要把某个模型放进工单队列，应该选一个带规则的便宜模型，而不是一个不带规则的贵模型。

最精彩的失败，人类也会犯

最值得玩味的失败案例，恰恰是人类也会犯的错。有一个案例里，两家注册号不同的公司被错误合并，随后一条审核规则把合并后的实体踢了出去。Gemini 3.7 Flash和Flash-Lite每一次都归咎于过滤器，而不是那次错误合并，带不带规则手册都一样。Gemma拿到规则手册后也犯了同样的错。这就是从日志底部往上读、遇到第一个错误就停下的结果。

Qwen则信奉"日志里没有，就等于没发生过"。记录不在一条明确标注为不完整的摄入日志里，于是它断定记录从未被加载，哪怕提示词里白纸黑字写着"在不完整的日志里，缺少一行什么也证明不了"。

不猜测也不等于有用。Sol从不猜测，但凭直觉它有时会对一个明确的注册号匹配也说"判断不了"。而每一张简单工单上的"判断不了"，最后都会回到你的桌上。

整个基准测试是在Sonnet上构建的，本以为它会是最谨慎的那个。但凭直觉，它在开发期间对25%的冷案进行了猜测，在Kaggle上是30%，踩的是同样的陷阱。而最便宜的模型一次都没猜。Gemma在没有规则手册时反而比有规则手册时表现更好。

下一步的想法是让模型主动索取它需要的日志，而不是一次性拿到全部，看看它会不会在归咎过滤器之前，先去找那份合并日志。