helve_dev在我那篇讲裁剪的文章下留了条评论,我一直没放下。他在另一种场景里见过同样的事:网页搜索和抽取结果、完整的 markdown 和 JSON 载荷,会让小模型锚定在最长或最响的那段内容上,而不是真正回答问题的那段。他说,裁到真正承载答案的那几个字段,准确率和 token 账单能一起修好,而且在长循环里最要紧——旧结果在 15 到 20 轮里越堆越多,模型读到的全是样板文字而不是事实。他在真实轨迹里见过这件事发生,但从没跑过一次带评分的干净双边测试。于是我跑了一次。结果和我俩预想的都不一样。
![]()
测试结构和那次 GitHub 实验一样,只是搬到了网页上。十二个问题,每个五页,全部为这次测试而写。模型搜索、读页,然后给出精确值:一个版本号、一个价格、一个命令行标志、一个上限。一组能看到搜索结果里的整页文本;另一组只看到标题、链接和每页前 200 个字符,想读剩下的必须打开页面。六个问题把决定性事实藏在这前 200 个字符里,另外六个藏在更靠后的位置,只有打开页面才能找到。同一个模型,同样六次调用上限,每组跑两遍。两次结果完全一致,所以每组按 24 个任务计,而不是 48 个。
准确率的提升没有跟着搬过来,反而反了过来。
完整页面组解出 24 个里的 22 个,裁剪组解出 20 个。在 GitHub 那个场景里,裁剪几乎让分数翻倍;到了网页场景,它丢了两个任务。
丢掉的这两个,都是事实落在切口之外的问题。一个问某团队套餐在调价后的人均价格。裁剪后的摘要先显示了更便宜那个套餐的价格(8 美元,单人套餐),模型就答了 8 美元,压根没打开页面。真正的答案 12 美元,在三句话之后。另一个问哪个命令行标志能跳过构建缓存。摘要里从没出现这个标志,模型于是打开了错误的页面——缓存指南——然后答了一个缓存命令。裁剪组在事实可见于摘要的十二个问题里全对,在事实不可见的十二个里只对了八个。完整组把藏起来的那十二个全解了。
这就是失败的形状,值得直说:模型不把摘要当成通往更长页面的指针,它把摘要当成页面本身。当可见文本里包含一个看似合理的答案(另一个套餐的价格、一条相关命令),它就从那里作答然后停下。裁剪只有在裁完还留着答案时才有帮助。一旦把答案裁掉,模型不会去找,它用裁剪剩下的东西作答。
省下的钱很少,重新打开页面又吃掉了它。
裁剪组每轮 513 个 token,完整组 556 个;每任务 1472 对 1667。这是 12%,不是 GitHub 那次裁剪省下的 63%。两个原因。第一,这里的页面短,完整结果和裁剪结果之间只差约 70 个 token。第二,裁剪组打开页面更频繁(每任务 0.67 次对 0.42 次),而每次打开都会把一整页塞进历史。到第三轮,裁剪组的提示词反而比完整组更大:791 对 783。省下的量在第一轮存在,到第三轮就没了。
这正是 helve_dev 的轨迹说对、而我的测试把它讲得更清楚的地方。长循环的账单不由单条结果的大小决定,而由历史里留下什么决定。模型看到的每条结果都会一轮一轮留在那里,它为找回被裁掉的事实而打开的每个页面也留在那里。裁一条结果不等于裁历史,它只是把 token 从搜索结果挪进了重新打开页面。
两组以同样的方式膨胀。
第一轮两组都约 162 个 token。第二轮完整组 722、裁剪组 651。第三轮 783 和 791。三轮之内涨了近五倍,跟载荷大小无关,因为历史只会增长。裁剪没有把这条曲线掰弯,最多把它挪后一轮。
这里诚实的边界是:这次测试里没有任何任务跑得长。每个任务三轮就结束了,helve_dev 说的 15 到 20 轮循环从未发生。到第三轮的曲线是真实证据;到第二十轮的曲线仍然只是他的轨迹,不是我的数字。但证据的方向对裁剪不利:如果两组的历史都在三轮里涨五倍,更长的循环不会靠裁得更狠来解决,它只会让重新打开页面的次数堆得更快。
两组以相反的方式失败。
完整组唯一的失败是一个需要两个事实的问题,一个版本号和一个日期。它答了日期,漏了版本号。裁剪组解出了这道题,也解出了全部三道双事实题。短结果似乎有助于模型同时握住两个事实。那是三个任务,我不打算靠它下结论。但这个模式足够整齐,值得记一笔:完整页面让你丢掉第二个事实,裁剪页面让你丢掉藏起来的事实。两种形状都不免费,问题在于你的任务把哪个事实藏了起来。
那么 helve_dev 的说法站得住吗?对了一半,而且是对在要紧的地方。裁剪确实能削减网页场景的账单,一点点,不是很多,而且只在模型开始重新打开页面之前。裁剪在这里也没有修好准确率,它弄坏了准确率,恰好坏在答案落在切口之外的那些问题上。GitHub 那次裁剪之所以有效,是因为每个决定性事实都被设计在前 300 个字符里。网页不做这个承诺。一个页面把错误套餐的价格放在最前,把正确的放在第三段。摘要不是总结,它是页面的顶部,而页面的顶部恰恰是最不重要的事实待的地方。
我保留的修法比进场时窄:裁搜索结果可以,但只在摘要被构造成承载答案时裁,而不是随便截取页面开头的前 200 个字符。如果答案可能落在切口之外,模型需要在作答前有理由打开页面,而不是有许可打开页面。一个展示了看似合理的错误答案的摘要,比没有摘要更糟,因为模型会拿它作答然后停下。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.