![]()
大数据文摘出品
最近,AI 圈出了篇挺反常识的论文。主角是微软研究院,研究对象是眼下最火的 Agent。
![]()
via https://arxiv.org/html/2610.07447v1
按常理,Agent 记得越多,活应该干得越好。但这篇 10 月 5 日挂上 arXiv 的论文《Fork-and-Flush: Escaping Idea Basins in Autoresearch Agents》说,事情可能恰恰相反:聊得越久,Agent 越容易钻进牛角尖。对付牛角尖,微软开出的药方听上去简单粗暴,定期清空聊天记录。
同一个 Agent,跑八次,像八个人
研究者盯上的是一种“自动做研究"的 Agent。它的工作方式是:提一个方案,跑实验,看分数,再根据反馈提下一个方案。一轮接一轮,一跑就是几个小时甚至好几天。
他们让同一个 Agent 在同一个任务上独立跑了八次。按理结果应该差不多,实际最终分数从 68.3 一路排到 100.0,中位数 81.9,最差和最好差了 30 多分。
更扎心的是,砸算力没用。给跑得差的那几次追加大量计算,它们就在原地打转,差距基本补不上去。
为什么会这样?团队把每次运行产出的方案按"功能相似度"画成一张二维地图,发现每次运行的方案都缩在地图的一小块区域里,从头到尾没怎么挪窝。他们给这种区域起了个名字,"思维盆地"(idea basin)。八次运行都掉进了五个不同的盆地。
![]()
同一个 Agent 同一个任务跑八次。左图:分数随算力投入的变化,八次运行 plateau 在不同高度,最终分数 68.3 到 100.0。右图:按功能相似度画的方案地图,八次运行缩进五个"思维盆地"。
这就像一个装修队,第一天定了北欧风,之后买的每一件家具都在往北欧风上靠。哪怕地中海风其实更适合这个户型,他们也想不起来了,因为手机里存满了北欧风参考图。聊天记录,就是 Agent 手机里那些参考图。
值得一提的是,这些 Agent 本来就有"自动压缩聊天记录"的机制,聊太长了会自己总结一下再继续。但实测下来,光靠压缩摘要,还是跳不出盆地。
微软的药方:记忆清空
方法叫 Fork-and-Flush,翻译过来大概是"分叉加清空",分两步。
分叉(Fork):把 Agent 复制成几个并行分支,每个分支都继承完整的"工作区",也就是之前写好的代码、文件和实验结果,家当一件不落地带走。
清空(Flush):每个分支的聊天记录清零。你们几个,别管之前是怎么想的,看着现有的东西,重新琢磨该怎么做。
分支跑一段固定时间后比一比分数,留下最好的那个继续,其余的解散。论文里有句话说得很到位:新分支必须从这些文件里重新推导出自己的意图,这正是它能落到另一个盆地里的原因。
![]()
Fork-and-Flush 示意图。左图:分叉后各分支带着同一个工作区、以空白聊天记录重新出发,胜出分支继续向上。右图:清空后的分支有机会跳进另一个思维盆地,没跳出去的就地解散。
研究者在 13 个长周期任务上做了测试,包括多连块拼图、车间调度、密码破译、压缩图像分类器、优化 VLIW 内核。单次运行从几小时到超过一百个小时,干活的模型是 GPT-5.6-terra 和 GPT-5.5,通过 GitHub Copilot 的命令行工具调用。
同样的算力预算下看归一化平均分:单跑 0.47,跑四次取最好的 0.54,Fork-and-Flush 0.78。换算成相对提升,比单跑高 66.0%,比四选一高 44.4%。13 个任务里,它在 12 个上平均分最高。发挥也更稳了,标准差从 0.26 降到 0.16。
消融实验也有意思:只清聊天记录不分叉,提升大约 22%;只分叉不清空,也有提升;但两个加在一起,效果才好。看来"遗忘"和"多试几次"各管一段。
最戏剧化的一次发生在拼图任务上。预算花到 71% 的时候触发清空,胜出的那个分支第一次提交就跨出了 43 个单位的距离。这是什么概念呢?单跑的 Agent 到了这个阶段,每步最多挪动 4.4 个单位。这一跳直接落进一个全新的盆地,最终拿到 93.9 分,而八个单跑基线的中位数是 84.6。另外三个没跳出去的分支,每步挪动不超过 1 个单位,原地留守。
![]()
拼图任务上的关键一跳。左图:蓝色箭头是胜出的 b3 分支,从分叉点直接跳进新盆地,最终 93.9 分。右图:清空之后它的第一步跨出 43 个单位,远远跳出灰色区域代表的单跑常规步幅。
模型再强,这个问题可能也在
有人可能会想,等模型更强了,大概就不会钻牛角尖了。
团队用 Qwen3.5 的 4B、9B、27B 三个尺寸,在 MAX-3-SAT 这种可以精确调节难度的题目上做了验证。结果发现,运行之间的差异呈一条倒 U 型曲线:题目太简单,每次都会做,解法趋同;题目太难,每次都做不出,失败得也趋同;差异最大的位置,恰好在模型能力的边缘,大约"能做对一半"的地方。拟合出来的峰值在 0.497,基本就是正中间。
![]()
横轴是模型相对于参考求解器的达成度,纵轴是多次运行之间的差异。三个尺寸的 Qwen3.5 描出同一条倒 U 型曲线,峰值在达成度 0.5 附近。
而开放性的研究问题,按定义就挂在能力边缘上。所以作者的判断是,模型继续变强,这种现象大概也不会消失,只是边缘会挪到更难的问题上去。定期重置上下文这招,对将来的前沿模型可能依然管用。
这个研究对做 Agent 产品的人有个挺直接的提醒:"上下文是资产"这个默认假设,也许值得打个问号。积累的记忆超过某个点之后,可能会反过来限制探索,早期的推理会把 Agent 锚在一条不够好的路线上。
![]()
点「赞」的人都变好看了哦!
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.