模型越强，越不会陪你思考？一个摘要项目暴露的盲区

一个摘要工具把开发者对某个词何时进入英语的研究，写成了十七世纪的事。原句说的是词的时间，摘要里这个时间却换了主人——变成了讨论这个词的人所处的年代。助手在分析这个错误时，干脆想象这位开发者是在路易十四手下做研究。

这个画面让归因错误一眼可见。你可以从语法上检查句子，也可以想象一个现代开发者走进错误世纪的研究会议。两条路指向同一个断裂的关系。

这是 Microsonya 项目里保存的讨论记录。它是一个 Telegram 摘要工具，作者在回看这些记录时，第一次注意到自己漏掉的东西。

摘要不再压缩，而是在招人

另一份摘要把说话人自称的"资深开发者"身份，变成了另一个独立的资深开发者。助手把这个现象描述为"凭空造出了一个资深人士"。到这一步，摘要已经不是在压缩对话，而是在给团队招人。

作者记住这些解释，是因为它们提供了识别下一个错误的方法。后来再看一些保存下来的替代版本，它们更整齐、更克制，也能回答问题。但作者想念的是那种改变了他理解问题方式的连接。

他一开始把这种缺失的品质叫做"个性"。这个诊断太宽了。一个模型可以加笑话、模仿熟悉的语气，却依然没能贡献他想要的东西。

更精确的行为是"有用的重构"：保留问题的事实，找到它结构的另一种表示，再带回一些能帮助解释或检查它的东西。有用的地方不在于助手绕了路，而在于它回来时带了东西。

指标不会抱怨它没被教过注意的事

这引出了另一个担忧。在我们追踪的维度上取得进步，并不保证我们没追踪的维度被保留下来。一个指标无法对它从未被教过注意的东西提出异议。

而当我们的词汇描述的是表面症状——"助手感觉更平了"——而不是底下那个有用的行为时，这种损失就更难讨论。

这批存档并不能证明模型代际之间出现了退化。它包含的是挑选过的例子、不完整的模型元数据，以及不断变化的上下文。它提供的是一个测试动机：我们的评估会不会在批准一个答案的同时，漏掉一种有用思考方式的消失？

这个探索性试点用两个视角评估同一个回答：常规答案质量，以及有用的重构。标题里的"更好"，指的是在明确列出的标准上更好，并不假设某个模型在普遍意义上更聪明。

一次有用的重构必须做到三件事：保留任务中的重要关系，贡献一个超出复述输入的视角，让某个机制、后果或诊断步骤更容易理解。它可以用类比，也可以只是重新组织事实。幽默是可选项，新颖指的是相对于给定任务而言的新，而不是人类历史上的前所未有。

两种解释，一个关于实体注册表的比喻

拿摘要里那个被虚构出来的人举例，有两种解释方式。

• 第一种：摘要把说话人的自我描述变成了一个独立的人。
• 第二种：把摘要当成一个实体注册表——它本该更新一个属性，却插入了一条新记录。顺便检查一下，其他角色是不是也变成了多余的人。

这两个是作者写的示例，不是从模型输出里采样的。第二种之所以值得注意，是因为注册表的框架能帮人检查相关的错误。仅仅贴一个花哨的标签是不够的。当读者需要的只是一处更正时，第一种可能就是最好的答案。

这也是评估里要包含字面控制项的原因。如果任务要求一个精确的 JSON 对象或一行配置，一个有用的助手就应该交付那个输出。重构对要求的产物不会增加价值。

起始包里有四个开发任务用来检查评分标准，后面跟着八个评估任务：六个分析案例和两个字面控制项。全部是新写的虚构场景。源讨论启发了失败机制，但私人对话不会变成公开测试数据。

每个任务都有一份必需事实和禁止主张的清单。这些清单交给评估者，不交给候选模型。任务不要求特定的类比，也不包含可供模仿的模型答案。

常规评估者给事实推理、清晰度、任务完成度、对通用任务指令的遵守、相关性和简洁度打分。它的提示词里没有重构评分标准，也没有关于候选模型或提示条件的信息。它仍然可以因为一个类比提升了清晰度而给它加分。这一点很重要：如果常规评估已经注意到了这个好处，那么作者预期的盲区可能比他以为的要小。

第二个评估者问的是，回答是否提供了有用的重构。它必须指出那段文字并解释它的贡献。一个流畅但把机制说反了的比喻，通不过这个测试。一个朴素但提供了新诊断视角的解释，可以通过。

在这里，R = 1 意味着评估者判断这次重构有用。它不意味着某个读者更好地理解了问题，或者能把解释用到别处。这个试点测量的是一种归属于答案的属性；一项关于智力协作的研究，还需要测量读者在收到它之后能做什么。

两项评估使用各自独立的对话，彼此看不到对方的结论。它们仍然是判断，而不是统计上独立的测量或客观的神谕。起始包使用一个固定的评估者模型，与所有候选模型分开，并要求对有意思的分歧进行人工复核。

一道共享的完整性闸门检查事实、任务完成度、关键错误和精确的输出契约。在分析任务上，主要的读出结果是：条件率保持未定义。