模型答不上来却硬答？他把同一套规则套在了人身上

一个基准测试只问一件事：你的模型知不知道自己不知道。200个虚构条目，分四种形状，其中五分之一被抽掉了答案，遇到这些条目，唯一正确的回应是ESCALATE（升级上报）。每个模型拿到两个数字，从不合并：答得上来的题答对了多少，该停的时候却照样作答了多少。

结果不是模型不会停。跑过的十二个托管模型里，有五个在每一种形状上都做到了零虚假自信。真正的问题在于平均值会盖住地板。Claude Haiku 4.5 在十个本该升级上报的评审条目里答了九个，这个数字在它的总分里根本看不见。

挑战赛结束后，这个问题一直没放下，后来它不再只关于模型。把它转向一个人，转向一条股票建议、一个下注应用、一份号称"预测中"了上次崩盘的通讯：预测者知道自己不知道吗？你又能查得出来吗？

于是那套本地优先、全部跑在自己机器上的系统被重做了一遍，作者管它叫"压平"。原先有三份随机流、两条记录链、三种表达"有人批准过"的方式，最后各留一份：

• 一条记录。每个结果都是哈希链上的一行，改动某一行，链就在改动处断开。
• 一枚印章，且只属于本人。代码可以提出任何东西，只有本人能用代码从不持有的密钥盖章。本人的"否"同样是一次签名动作，拒绝和批准一样持久。
• 三种回答，永不合并。每个读取方只能说有数据、空、不可达。"我没法查"永远不会被悄悄变成"那里什么都没有"——这就是写进管道里的 ESCALATE。
• 一个没人能控制的时钟。drand 按固定时间表发布公开随机数，第 N 轮在任何人可由 N 算出的时刻触发，包括作者在内，没人提前知道它的值。

这四样东西，恰好就是一份预测记录需要的全部。

一次市场判断，在记录上就是一笔下注：标的、方向、收盘日期，再加一个概率，比如"是，55%"。之后是四步。

第一步，下注。判断进入记录。同一个问题、同一个角色只能下一次，没人能两边都押、留下赢的那注。

第二步，封存。在收盘日开盘之前，用印章封住记录顶端。截止时间是协调世界时13:00，对应纽约夏令时和冬令时的开盘前。这一步的关键在于，"开盘前"不能靠本机时钟，因为时钟可以往回拨，所以它靠 drand：下注时记录写下 drand 最新的轮次，封存时把 drand 最新轮次记在盒子外面。只有当这两次读取之后的下一轮都在截止时间前触发，这笔判断才算数。

第三步，结算。收盘后，读取方取回收盘价和前一日收盘价，写成一行。

第四步，评分。代码提出结果，但从不盖章，盖章的是本人。之后每一笔判断都被打分，输的也在内，因为没有办法丢掉任何一笔。

封存晚了，提案会带着原因升级上报。价格源挂了，结果是不可达，不是"没有"。行里写的价格和读取方现在说的不一致，升级上报。下注之前那天的收盘价已经在记录上了，升级上报。每一条都有测试去试它、检查它是否拒绝，共42个测试。作者还故意逐个破坏这些守卫，确认测试会失败，14个里14个都失败了。

最让人意外的是 ESCALATE 又出现了。基准测试奖励模型说"这题我答不了"，账本通过评分奖励预测者做同一件事。每笔判断用布里尔分数打分：你给的概率和实际结果之差的平方。报50%的判断，无论结果如何都是0.25。这就是抛硬币，也是预测者的 ESCALATE——"我不知道它往哪边走"，并且诚实地说出来。

所以账本回答的不是"你赚没赚钱"，而是：在很多次判断里、把失手也算进去之后，你赢过硬币了吗？这正是基准测试里那个"看地板不看平均"的思路，只是对象换成了下判断的人。一个对什么都自信、在容易的题上都答对的预测者，在精彩集锦里会很好看，在账本上会输给硬币。

它不做什么，也说得清楚：它不交易，不下任何订单，只是一份纸面记录；它没有优势，里面没有任何代码做预测，它给的是一份无法在"你到底有没有优势"这件事上说谎的记录，多数策略——包括那一万个应用里卖的大多数——会显示没有优势，而发现这一点本身有价值：那是你没亏掉的钱；它还没给任何真实判断评过分，因为是在够不到价格源和 drand 的沙盒里搭的，测试用的是离线替身，第一批实盘判断会发生在作者自己的机器上；它信任自己的读取方，并且明说这一点——drand 的签名尚未校验，收盘价就是价格源说的那个数，两者都在记录里点名，且每次提案时价格都会再查一遍。

基准测试问的是模型知不知道自己不知道。账本把同一个问题问给下判断的人，配上一份改不动的记录和一个自己控制不了的时钟。同一个想法，座位上换成了人——而那一直是作者真正在意的那部分。