一个128K上下文窗口的模型,在长任务基准测试中平均得分45.93;而同一个模型,只给它8K-10K的上下文空间,得分却飙到69.40。差距不是来自更大的窗口,而是来自一个叫ContextPilot的机制——它让智能体自己决定什么该留在上下文里。
这篇论文的核心观点很直接:长期运行的智能体(agent)需要的不是更大的上下文窗口,而是学会判断什么信息值得留在上下文中。当智能体不断执行搜索、调用工具、记录推理过程,提示词(prompt)里的内容会越堆越多。最终,模型花费大量token去区分哪些是有用的信息,哪些是过时的杂物——效率反而下降了。
![]()
问题不在窗口大小,在管理方式
ContextPilot的思路是把这个管理权交给智能体自己。它被赋予了几项能力:规划上下文的使用、把重要信息保存到长期记忆、对旧内容进行总结、压缩或直接删除。这些操作不再是预设规则,而是通过强化学习(RL)训练出来的策略——模型在学习过程中逐渐明白,哪些上下文决策真正有助于完成任务。
论文用Qwen3-8B做了对比实验。在4个长上下文基准测试中,使用ContextPilot训练的版本(ContextPilot-8B-RL)平均得分69.40,而同一个模型使用128K窗口但没有任何上下文管理工具时,平均得分只有45.93。这个差距说明,单纯扩大窗口并不能解决长任务中的信息过载问题。
上下文占用对比:8K vs 30K
更直观的对比出现在BrowseComp基准测试上。ContextPilot-8B-RL在每轮任务中保持约8K-10K token的上下文占用,而对照组WebExplorer-8B的上下文则一路膨胀到接近30K token。三倍的上下文消耗,换来的却是更低的得分——信息堆积带来的负面影响,比很多人预想的更严重。
这组数据指向一个反直觉的结论:给智能体一个更小的、可主动管理的工作上下文,比给它一个巨大的、被动堆积的窗口更有效。上下文管理的核心不是"装得下",而是"留得对"。
论文的最终建议
研究团队给出的建议很明确:停止把整个对话历史当作记忆来对待。应该给智能体一个较小的、可主动管理的工作上下文,并通过训练让它学会保留真正重要的信息。换句话说,上下文管理应该是一项学习得来的策略,而不是一个静态的容量参数。
这个思路对当前大模型应用有直接参考价值。长任务场景下,上下文膨胀是普遍痛点——无论是代码生成、多轮对话还是复杂工具调用,token消耗和有效信息密度之间的矛盾一直存在。ContextPilot提供了一条新路径:与其不断堆硬件和窗口,不如让模型自己学会取舍。
论文已发布在arXiv上(编号2608.28476),感兴趣的读者可以查看完整实验细节。这项研究目前仍处于学术阶段,距离工程落地还有距离,但它指出的方向——上下文管理作为可学习策略——值得做长任务应用的团队认真考虑。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.