所有人都在想办法给AI塞更多上下文,好让它少胡说:更大的窗口、更多检索、更长的提示词、整个代码库直接粘进去。但有些场景下,上下文少一点反而更好——尤其是你让AI检查错误的时候,几乎总是如此。
![]()
这件事的底层逻辑并不复杂:模型看到的输入越长,它越容易在中间迷路。斯坦福那项名为“Lost in the Middle”的研究发现,即便模型是专为长上下文打造的,输入变长后表现照样下滑。Chroma在2025年的“Context Rot”报告里测了18个前沿模型,包括GPT-4.1、Claude 4和Gemini 2.5,结果全部一致:输入越长,可靠性越低,连简单任务也不例外。
更大的上下文窗口,只是给模型提供了更大的走失空间。
更麻烦的是错误上下文。最常见的建议是让模型“再检查一遍自己的工作”,但这通常意味着同一个模型、同一段对话、原先那套推理还完整躺在上下文里。2024年谷歌DeepMind的研究者测试了大语言模型能否在没有外部帮助的情况下修正自身推理,结论是基本不能。缺少外部反馈时,模型很难改掉错误,有时“自我纠正”之后反而更差(Huang等,ICLR 2024)。
还有一层偏好问题。NeurIPS 2024的一篇论文(Panickssery、Bowman与Feng)发现,大语言模型给自己的输出打分,会高于其他模型或人类写出的同等质量文本。模型还能认出自己的文字,而且认得越准,这种偏向越强。于是这个“检查员”背着两个包袱:它被原始推理锚定了,又在一个已经劣化的上下文窗口里工作。等于拿着自己写的答案给自己批卷。
解法是把作者和审计者分开。一套用于代码审查的配置是这样的:
- 智能体1:“审查这个PR。”
- 智能体2:“列出这份审查里每一条事实性陈述。”
- 智能体3拿到PR和智能体2的清单,但拿不到智能体1的推理过程:“逐条对照代码核实。”
- 智能体3的发现回传给智能体1去修正。
智能体3从来看不到智能体1是怎么得出结论的,它只看到主张和源材料,所以没法被说服着点头,只能去查。
让这套流程跑起来,有几条规则:剥掉推理,保留源材料——“少上下文”不等于少信息,DeepMind的发现是自我纠正在没有外部反馈时会失败,而代码、文档、数据集就是那个外部反馈,要删的是作者的论证,不是事实基准;把输出变成可核查的主张,“这份审查好不好”是感觉判断,“这个函数是否从不处理空输入”才能验证,智能体2的提取步骤承担了大部分工作;条件允许时换一个模型来验证,自我偏好研究提示,同一模型的新实例仍可能偏爱听起来像自己写的文本,换一个模型家族能削弱这一点;给循环设上限,一到两轮修正通常就能抓住要害,“重复到完美”既烧token又可能制造新问题;把预算花在刀刃上,Anthropic报告称其多智能体研究系统在内部研究评测上比单智能体高出90.2%,但token消耗约为普通对话的15倍,那是研究而非代码审查,取舍逻辑相同——用在错误事实代价高昂的输出上,而不是每个提示词都上。
这些原则本身并不新鲜。开发者不给自己写的代码做QA,作家不给自己写的书做校对,原因就是做东西的人离它太近。AI只是让这条原则变得容易执行:多开一个提示词,就能拉起一个上下文干净的审查者。给它事实,藏起推理,让它去查。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.