网易首页 > 网易号 > 正文 申请入驻

给搜索结果瘦身,GitHub上提分,搬到网页却丢了答案

0
分享至

helve_dev在我那篇讲裁剪的文章下留了条评论,我一直没放下。他在另一种场景里见过同样的事:网页搜索和抽取结果、完整的 markdown 和 JSON 载荷,会让小模型锚定在最长或最响的那段内容上,而不是真正回答问题的那段。他说,裁到真正承载答案的那几个字段,准确率和 token 账单能一起修好,而且在长循环里最要紧——旧结果在 15 到 20 轮里越堆越多,模型读到的全是样板文字而不是事实。他在真实轨迹里见过这件事发生,但从没跑过一次带评分的干净双边测试。于是我跑了一次。结果和我俩预想的都不一样。


测试结构和那次 GitHub 实验一样,只是搬到了网页上。十二个问题,每个五页,全部为这次测试而写。模型搜索、读页,然后给出精确值:一个版本号、一个价格、一个命令行标志、一个上限。一组能看到搜索结果里的整页文本;另一组只看到标题、链接和每页前 200 个字符,想读剩下的必须打开页面。六个问题把决定性事实藏在这前 200 个字符里,另外六个藏在更靠后的位置,只有打开页面才能找到。同一个模型,同样六次调用上限,每组跑两遍。两次结果完全一致,所以每组按 24 个任务计,而不是 48 个。

准确率的提升没有跟着搬过来,反而反了过来。

完整页面组解出 24 个里的 22 个,裁剪组解出 20 个。在 GitHub 那个场景里,裁剪几乎让分数翻倍;到了网页场景,它丢了两个任务。

丢掉的这两个,都是事实落在切口之外的问题。一个问某团队套餐在调价后的人均价格。裁剪后的摘要先显示了更便宜那个套餐的价格(8 美元,单人套餐),模型就答了 8 美元,压根没打开页面。真正的答案 12 美元,在三句话之后。另一个问哪个命令行标志能跳过构建缓存。摘要里从没出现这个标志,模型于是打开了错误的页面——缓存指南——然后答了一个缓存命令。裁剪组在事实可见于摘要的十二个问题里全对,在事实不可见的十二个里只对了八个。完整组把藏起来的那十二个全解了。

这就是失败的形状,值得直说:模型不把摘要当成通往更长页面的指针,它把摘要当成页面本身。当可见文本里包含一个看似合理的答案(另一个套餐的价格、一条相关命令),它就从那里作答然后停下。裁剪只有在裁完还留着答案时才有帮助。一旦把答案裁掉,模型不会去找,它用裁剪剩下的东西作答。

省下的钱很少,重新打开页面又吃掉了它。

裁剪组每轮 513 个 token,完整组 556 个;每任务 1472 对 1667。这是 12%,不是 GitHub 那次裁剪省下的 63%。两个原因。第一,这里的页面短,完整结果和裁剪结果之间只差约 70 个 token。第二,裁剪组打开页面更频繁(每任务 0.67 次对 0.42 次),而每次打开都会把一整页塞进历史。到第三轮,裁剪组的提示词反而比完整组更大:791 对 783。省下的量在第一轮存在,到第三轮就没了。

这正是 helve_dev 的轨迹说对、而我的测试把它讲得更清楚的地方。长循环的账单不由单条结果的大小决定,而由历史里留下什么决定。模型看到的每条结果都会一轮一轮留在那里,它为找回被裁掉的事实而打开的每个页面也留在那里。裁一条结果不等于裁历史,它只是把 token 从搜索结果挪进了重新打开页面。

两组以同样的方式膨胀。

第一轮两组都约 162 个 token。第二轮完整组 722、裁剪组 651。第三轮 783 和 791。三轮之内涨了近五倍,跟载荷大小无关,因为历史只会增长。裁剪没有把这条曲线掰弯,最多把它挪后一轮。

这里诚实的边界是:这次测试里没有任何任务跑得长。每个任务三轮就结束了,helve_dev 说的 15 到 20 轮循环从未发生。到第三轮的曲线是真实证据;到第二十轮的曲线仍然只是他的轨迹,不是我的数字。但证据的方向对裁剪不利:如果两组的历史都在三轮里涨五倍,更长的循环不会靠裁得更狠来解决,它只会让重新打开页面的次数堆得更快。

两组以相反的方式失败。

完整组唯一的失败是一个需要两个事实的问题,一个版本号和一个日期。它答了日期,漏了版本号。裁剪组解出了这道题,也解出了全部三道双事实题。短结果似乎有助于模型同时握住两个事实。那是三个任务,我不打算靠它下结论。但这个模式足够整齐,值得记一笔:完整页面让你丢掉第二个事实,裁剪页面让你丢掉藏起来的事实。两种形状都不免费,问题在于你的任务把哪个事实藏了起来。

那么 helve_dev 的说法站得住吗?对了一半,而且是对在要紧的地方。裁剪确实能削减网页场景的账单,一点点,不是很多,而且只在模型开始重新打开页面之前。裁剪在这里也没有修好准确率,它弄坏了准确率,恰好坏在答案落在切口之外的那些问题上。GitHub 那次裁剪之所以有效,是因为每个决定性事实都被设计在前 300 个字符里。网页不做这个承诺。一个页面把错误套餐的价格放在最前,把正确的放在第三段。摘要不是总结,它是页面的顶部,而页面的顶部恰恰是最不重要的事实待的地方。

我保留的修法比进场时窄:裁搜索结果可以,但只在摘要被构造成承载答案时裁,而不是随便截取页面开头的前 200 个字符。如果答案可能落在切口之外,模型需要在作答前有理由打开页面,而不是有许可打开页面。一个展示了看似合理的错误答案的摘要,比没有摘要更糟,因为模型会拿它作答然后停下。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
大家早做准备!今年小雪起,六七十岁的老人可能面临三个现实问题

大家早做准备!今年小雪起,六七十岁的老人可能面临三个现实问题

神牛
2026-11-21 22:00:50
神舟二十四号乘组3名航天员参加全系统合练!

神舟二十四号乘组3名航天员参加全系统合练!

轻舟一号
2026-11-21 19:39:31
输不起!大量日本观众提前退场惹争议!不愿看中国女排夺冠颁奖

输不起!大量日本观众提前退场惹争议!不愿看中国女排夺冠颁奖

叹为观止易
2026-09-24 01:52:19
65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

65岁叶倩文冲上热搜:在南京档案馆见到14岁的母亲,当场愣住看哭无数人

磊子讲史
2026-11-16 16:23:07
华为28%,平头哥7%!阿里押上全部身家,国产芯片最残酷一战来了

华为28%,平头哥7%!阿里押上全部身家,国产芯片最残酷一战来了

小陆搞笑日常
2026-11-22 01:17:57
英超积分榜:阿森纳以28分领跑,布莱顿少赛一场与曼城同积22分

英超积分榜:阿森纳以28分领跑,布莱顿少赛一场与曼城同积22分

懂球帝
2026-11-22 04:43:13
5-1大四喜!罗马轰出意甲最强火力!荷兰锋霸化身大罗11轮12球

5-1大四喜!罗马轰出意甲最强火力!荷兰锋霸化身大罗11轮12球

球叮足球
2026-11-22 13:23:10
全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

全网群嘲的“妈妈有50w存款”事件,撕开了多少家庭最大的悲哀

凡知
2026-11-16 08:32:54
贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

贾国龙不服输,又要做火锅生意:新店主打“冰煮鲜羊”,人均102元,西贝与天边砂锅焖面门店规模已大幅缩水

蓝鲸新闻
2026-11-19 16:25:03
只要是睡过的情人关系,90%都是这样,下场大多很难圆满

只要是睡过的情人关系,90%都是这样,下场大多很难圆满

艺鉴在线
2026-11-22 13:30:15
量子纠缠首次验证人的位置,335次几乎全过

量子纠缠首次验证人的位置,335次几乎全过

科学边界哦
2026-11-20 19:05:41
一旦日本对中国动手,我国结束中日战斗需要几天?答案让日本绝望

一旦日本对中国动手,我国结束中日战斗需要几天?答案让日本绝望

芳芳历史烩
2026-11-22 00:19:01
外媒:中国“运-15”型最新照曝光,机身编号改变,将成运-20“最佳搭档”,取代运-8、运-9

外媒:中国“运-15”型最新照曝光,机身编号改变,将成运-20“最佳搭档”,取代运-8、运-9

蓝星杂谈
2026-11-21 17:24:56
讲真,如果换他来演《两京十五日》的朱瞻基,成毅就不会被骂了?

讲真,如果换他来演《两京十五日》的朱瞻基,成毅就不会被骂了?

剧芒芒
2026-11-21 17:19:59
黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

黄仁勋被曝对董事会撒谎长达一年 导致丢掉CEO

3DM游戏
2026-11-22 10:42:38
今年北京市各高中清北录取分布

今年北京市各高中清北录取分布

手工制作阿爱
2026-11-22 02:03:26
55年授衔时毛主席神情激动,拦下一名少将问:你怎么不来看我?

55年授衔时毛主席神情激动,拦下一名少将问:你怎么不来看我?

微野谈写作
2026-11-22 07:25:09
成龙给所有男女上了一课:有钱的男人年轻的时候,对原配很薄凉,但是只要原配不离婚,他老了之后,反而开始讨好原配

成龙给所有男女上了一课:有钱的男人年轻的时候,对原配很薄凉,但是只要原配不离婚,他老了之后,反而开始讨好原配

二胡的岁月如歌
2026-11-12 19:30:34
16岁天才少年被清北保送后跳崖,遗言让人痛彻心扉:愿不再有来生

16岁天才少年被清北保送后跳崖,遗言让人痛彻心扉:愿不再有来生

悬案解密档案
2025-07-18 16:15:01
姐姐穿吊带睡衣,弟弟压在身上嬉闹手碰胸口,妈妈拍视频发网上配文"早习惯了",网友怒斥:成何体统

姐姐穿吊带睡衣,弟弟压在身上嬉闹手碰胸口,妈妈拍视频发网上配文"早习惯了",网友怒斥:成何体统

一丝不苟的法律人
2026-10-30 09:39:27
2026-11-22 14:15:00
全栈遛狗员
全栈遛狗员
白天跟需求对线,晚上在小区遛狗。
219文章数 128关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

头条要闻

牛弹琴:联合国秘书长的热门候选 可能被中方一票否决

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

艺术
数码
本地
公开课
军事航空

艺术要闻

16位欧洲画家的19幅作品欣赏

数码要闻

华为WATCH GT6获鸿蒙7.0.0.108SP8升级,表端支持微信来电接听和挂断

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版