![]()
你有没有遇到过这种情况:改了一行代码,眼前的 bug 确实修好了,可过两天发现别的地方悄悄坏了,而你完全不知道是什么时候、哪一次改动埋下的雷。
现在把这个场景搬到 AI 编程助手身上,问题会更严重。因为这些 AI 智能体干活的方式是这样的:读一段代码,想一想,调一个工具,看看结果,再想一想,再调一个工具,一直循环,直到它觉得任务完成了提交代码。整个过程里,它唯一能收到的"你做得对不对"的信号,是最后那一次测试通过或不通过。
这就带来一个很麻烦的局面。假设一个修复流程走了 40 步,最后测试失败了,系统只能告诉模型"这次不行",但没法告诉它是第 3 步埋的雷,还是第 37 步搞砸的。更麻烦的是,就算最后测试通过了,也不代表万事大吉,因为完全有可能,AI 为了让眼前这个测试变绿,顺手破坏了项目里其他本来好好的功能,而这种破坏要等到更全面的检查时才会暴露。
AWS AI Lab 和马里兰大学的研究者们盯上了这个问题,做出了一个叫 ANTE(Anticipate, Then Execute,先预判再行动)的框架。他们的核心想法说起来并不复杂:让 AI 在每次动手之前,先把自己觉得会发生什么写下来,然后真的去执行,拿执行的真实结果去对账,对上了奖励,对错了惩罚。这篇文章就带你看看,这个"先立字据再动手"的机制到底是怎么设计出来的,又解决了什么真正棘手的问题。
没有预判的AI,就像蒙眼开车
先说清楚论文要解决的具体场景。
**代码智能体**:指能够自主阅读代码仓库、调用命令行工具、编辑文件、运行测试,并根据结果决定下一步动作的 AI 系统。它不是简单问答,而是在一个真实的容器环境里连续操作几十步,直到任务完成或放弃。
目前训练这类智能体主要靠两条路:一是监督微调,让模型模仿人类或更强模型留下的成功轨迹;二是强化学习,拿最终测试是否通过作为奖励信号去调整模型。这两条路有个共同的弱点,就是它们都只盯着"结果对不对",却不去过问"这一步的判断准不准"。
论文里举了一个很具体的例子。某个代码仓库里有 242 个测试,其中一个日期解析相关的测试失败了。一个"反应式"的智能体(只管思考加动手,不留任何记录)看了失败信息,直接改了 `parse()` 函数的输出逻辑,跑了一下目标测试,通过了,提交。结果呢?评估阶段才发现,这次修改把一个原本正常的相邻测试搞坏了。换一个"回顾式"的智能体(会在每一步后记一笔流水账,类似工作日志),情况几乎一样:它事后记录下"编辑了 parse(),目标测试通过了",但这条记录只是在复述已经发生的事,完全没有对接下来会发生什么做出判断,所以同样的坑照样踩进去。
这两种智能体的毛病其实是一回事:无论是只会反应,还是会记日志,它们都没有在动手之前问自己一句"这么改,会不会把别的地方搞坏"。
这就好比你是个水管工,接到报修说厨房水龙头漏水。你可以直接拧开水龙头开始修(反应式),也可以边修边在小本子上记"已经拧开了阀门,水确实不流了"(回顾式)。但真正专业的水管工会在拧阀门之前先想一句:这根总管还连着楼上卫生间,我这么一拧,楼上会不会突然没水?如果不做这个预判,你可能把厨房修好了,却在不知情的情况下让楼上用户投诉上门,而你直到那时才知道出了问题。ANTE 想做的,就是逼着 AI 在动手前完成这句"会不会牵连别处"的自问。
让AI先“立字据”:信念状态是什么
ANTE 的核心机制叫**信念状态**(belief state):指智能体在每次动手之前,必须写下的一个结构化声明,包含三部分内容,一句话总结目前进展、对这一步动作结果的具体预测、以及自己对这个预测有多大把握。
具体来说,这个信念状态长这样:一句话总结(现在知道了什么,哪里还是坏的);一个预测(这一步跑的检查会是通过、失败,还是不涉及明确检查;命令本身能不能顺利跑完不崩溃);一个"信任还是弃权"的决定(我对这个预测有把握,愿意按它来;还是我不确定,得等真实结果出来再说)。
**弃权**(abstain)这个设计很关键。如果只奖励预测准,AI 很容易学会"耍小聪明":在那些模棱两可、怎么判断都说得过去的情况下随便蒙一个,蒙对了也能拿奖励。弃权机制相当于告诉模型:"你可以说自己不确定,这不丢人,比硬猜还要诚实。"而一个自信满满地预测"这一步肯定会失败",并且真的失败了,这同样算是一次诚实而准确的判断,值得奖励,这点论文里专门强调过,预测失败不是坏事,预测错了才是。
这套机制跟公司里的决策汇报其实很像。一个靠谱的项目经理在做重大决定前,会先说清楚"我判断这次上线大概率会出问题,建议先不推",而不是闷头做了再说"结果确实出了问题"。前者是提前预判并承担责任,后者只是事后复盘。如果没有这个"先说判断、再承担后果"的机制,团队就没法从错误决策里学到东西,因为没人知道决策那一刻到底是基于什么判断做出来的。
这个信念状态是怎么被检验的呢?论文设计了一个确定性的**验证器**(verifier,记作 ψ):指一个不依赖人工判断、不依赖额外模型,直接从执行结果里读出客观结论的程序。它会把每次动作的结果读成一对信息,检查结果(通过、失败,或者不适用)加上命令是否干净退出。这个验证器不需要猜,因为它读的是真实执行日志,这也是整篇论文强调"verified"(经过验证的)的原因:预测不是自说自话,必须拿真实世界的反馈来对账。
训练分两步走:先学会说人话,再学会说实话
ANTE 的训练分成两个阶段,这个顺序设计得挺讲究。
第一阶段叫 **ANTE-SFT**(监督微调阶段):指先用一批由强模型收集的、带有信念状态标注的成功轨迹,教会模型把"信念状态"这种格式学会、学顺。这批语料叫 BeliefTraj,里面每一步的预测结果都是从真实执行日志里倒推回去标注的,不是让收集模型自己瞎写。
这一步的作用,说白了就是先让模型学会"怎么说"。论文里有个理论分析挺有意思,证明了这个阶段能把训练出来的模型和原始演示数据的成功率差距控制在一个可计算的范围内,但也坦诚承认了一个局限:因为训练语料里的预测标签是事后从真实结果反推回去的(所谓"事后诸葛亮"式标注),模型在这一步学到的更多是"格式对不对",而不是"在真实未知情况下判断准不准"。这个差距,论文用一个专门的符号 Λ 来表示,要靠第二阶段来弥补。
这就像教小孩写周记。第一步你先让他照着范文抄格式,学会"今天做了什么、遇到了什么困难、打算怎么办"这个结构。这时候他写得通顺,但未必真的会提前规划,因为范文本来就是写完以后整理出来的,格式学得再像,也不等于真的具备了"先想后做"的能力。真正的预判能力,得靠他自己真刀真枪地去经历"预测错了、吃了亏"才能练出来。
第二阶段叫 **ANTE-RL**(强化学习阶段,核心方法是 BAPO):指让模型在真实环境里自己跑、自己犯错、自己从真实反馈里学习校准预测的阶段。这一步才是真正锻炼预判能力的地方。
BAPO:把“猜对了”变成能打分的学分
这里要讲 ANTE 最核心的技术贡献,叫 **BAPO**(Belief-Anchored Policy Optimization,信念锚定的策略优化):指一种新的强化学习记账方式,它不再只看一整条轨迹最后成不成功,而是把轨迹中所有"做出了相同预测"的步骤拎出来放在一起比较,根据谁家的真实结果更好来分配奖励。
要理解 BAPO 为什么重要,得先搞清楚传统强化学习的记账方式有什么问题。常规做法是,一条轨迹(也就是一整次任务的完整操作过程)跑完后得到一个最终奖励(成功记 1,失败记 0),然后把这个奖励"摊"给轨迹里的每一步,不管这一步是关键决策还是无关紧要的查看操作,大家分到的学分都一样。这就好比一个项目组十个人干了一个月,项目最后成了,于是不管谁出了力、谁在摸鱼,年终奖一律平分,这显然没法让团队学到"谁的决策真正值钱"。
BAPO 的解决思路是引入一个新的"分组"依据。它不按轨迹里步骤发生的先后顺序分组,而是按预测内容分组:把所有"预测这一步检查会通过"的步骤归成一组,所有"预测会失败"的归成另一组,不管这些步骤分别出现在哪条轨迹的第几步。
**信念组**(belief group):指把不同轨迹里、预测结果相同的步骤归到一起形成的集合,用来作为比较这些步骤优劣的参照系。
**信念价值**(belief value):指某个信念组里所有步骤最终得分的平均数,充当这组步骤的"及格线"。
这个设计的精妙之处在于,它建立了一个"同行对比"的机制。举个例子,三条独立的尝试轨迹里,都有一步预测"这个检查会失败",其中两次这个预测后来被证实是对的(检查确实失败了,而且是在诚实承认"不太确定"的情况下预测对的),一次是胡乱自信地判断"肯定失败"结果判断错了。这三步虽然出现在三条完全不同的轨迹里,位置也各不相同,但 BAPO 会把它们放在一起比,诚实而准确的预测拿到正向学分,自信却判断错的拿到负向学分。
再往下,BAPO 还细分出**信念决策组**(belief-decision group):指在同一个信念组内部,再按"信任"还是"弃权"进一步拆分出的更小集合,这样就能单独衡量"在预测通过的情况下,选择信任是不是比选择弃权更划算"。
这套机制很像体育比赛里的"同组别排名"。如果你是围棋业余五段,你不会去跟职业九段比胜负,因为那个比较没有意义,你会跟同样是业余五段的对手比,这样的胜负才真正反映你的水平。如果不做这种分组对比,直接把所有棋手的输赢混在一起算平均分,那业余棋手和职业棋手的差距会把所有有意义的信号都淹没掉。BAPO 做的就是这件事:把"预测相同"的步骤拉到同一个擂台上比,才能看出谁的判断真的更靠谱。
论文里还有一个细节值得一提,BAPO 最终给每一步的学分,是"信念组"和"信念决策组"两个基准的加权平均(权重各占一半)。这样设计是为了稳定性考虑,因为一条轨迹里,某个具体的"预测加决策"组合可能样本很少,单独拿这么小的样本去做基准不太可靠,掺一半更大的信念组数据进来,能让这个基准不至于因为样本太少而抖动得厉害。
推理阶段也不闲着:ANTE-TTO让AI自己挑更靠谱的操作
训练好的模型不只是在训练时用得上这套预判机制,在实际干活(也就是推理阶段)的时候,这个能力还能继续发挥作用。这就是 **ANTE-TTO**(test-time optimization,测试时优化):指模型在实际执行任务时,一旦自己对某一步的判断是"弃权"或者"预测会失败",就主动生成几个备选方案,然后根据自己对每个方案的信念打分,挑分数最高的那个去执行,全程不需要额外训练一个打分模型,也不需要把每个备选方案都真的跑一遍去验证。
这个设计巧妙在哪里?常见的测试时扩展方法,比如"多生成几条然后选最好的"(best-of-n),通常需要真的把每个候选方案都执行一遍,拿执行结果去比较,这个成本很高。而 ANTE-TTO 利用的是模型自己已经训练出来的"预判能力":既然模型在信念状态里已经写出了对每个候选方案的预测,那就直接拿这些预测来排序,选分数最高的那个去真正执行,其余的候选方案只是"纸上谈兵",根本不需要真的跑。
论文给出的数据很说明问题:在 7B 规模的模型上,ANTE-TTO 只需要比单次直接尝试多花大约 31% 的推理 token,就能换来任务成功率的提升;相比之下,传统的"跑 4 次选最好"(TTS-4)要多花 4.42 倍的调用成本。换算下来,ANTE-TTO 平均只花了 TTS-4 大约十分之一的开销,就拿到了接近的收益。
这个场景类似一个老司机在堵车路段选路线。他不需要真的把三条备选路线都开一遍再比较哪条快,而是凭经验扫一眼路况就能判断"这条路大概率要堵,那条路应该通畅",然后直接选那条路走。如果非要每条路都实地开一遍才敢决定走哪条,那等你开完三条路,目的地早就不用去了,这正是传统最佳选择方法的代价所在。
这套方法到底管不管用:从7B到32B全面验证
说了这么多设计思路,现在看效果。
论文在两个不同的任务环境里做了测试:一个是基于真实 GitHub 代码仓库问题的修复任务(用的是 SWE-bench Verified 这个业内公认的评测集),另一个是命令行终端操作任务(Terminal-Bench 2.0)。模型规模覆盖了从 7B 到 32B。
在代码仓库修复任务上,ANTE 在 7B、14B、32B 三个规模上全部跑赢了两个对照组,一个是"只思考不记录"的反应式智能体,一个是"思考加记日志"的回顾式智能体。具体数字是:7B 规模下,ANTE 领先反应式对照组 2.8 个百分点,领先回顾式对照组 2.0 个百分点;14B 规模下分别领先 4.4 和 2.8 个百分点;到了 32B 规模,差距拉大到 6.2 和 4.8 个百分点,ANTE-32B 最终拿到 **57.2%** 的通过率。
这里有个趋势值得琢磨:规模越大,ANTE 的优势越明显。这说明预判能力这件事,可能跟模型本身的推理能力是相辅相成的,模型越聪明,越能把"预判"这件事做得更细致、更准确,这个能力也就越能转化成实际的任务成功率。
在终端任务上,情况也类似。9B 规模的 ANTE 模型在三个终端基准测试上都领先两个对照组,领先幅度在 6.7 到 10 个百分点之间,在 Terminal-Bench 2.0 上拿到 24.7% 的解决率。
论文还专门做了一个剥离实验,把 BAPO 这个记账机制去掉,只保留"写信念状态"这个格式,看看单独靠"让模型说出预测"这件事能带来多大提升。结果显示,哪怕没有 BAPO 的精细化记账,光是让模型养成"动手前先预测"的习惯,就已经能带来 1 到 5.5 个百分点的提升,这说明"预判"这个动作本身就有价值,而 BAPO 则是在此基础上又挖出了大约一半甚至更多的额外收益。
论文里还有张图,追踪了模型在强化学习训练过程中,预测准确率是怎么一步步提升的。32B 模型的预测命中率从训练初期的 44% 一路爬升到 69%,同时"信任"自己预测的比例翻了一倍,而且这个"信任"的准确率也水涨船高,这意味着模型不是在瞎自信,而是真的学会了"什么时候该信自己、什么时候该留一手"。
跨领域泛化:这套预判能力不只在写代码时管用
一个方法如果只在训练过的场景里好用,换个场景就失灵,那它的价值要打折扣。论文专门测试了 ANTE 在训练场景之外的表现,涵盖代码执行预测、逻辑状态追踪、数学推理、科学推理等十一个完全不同的评测集。
结果是,在没有专门针对这些任务做训练的情况下,ANTE-32B 平均比对照组(反应式强化学习版本)高出 6.2 个百分点,在 AIME'25(一个高难度数学竞赛题集)上甚至领先了 16.7 个百分点。
这个跨领域迁移的结果挺有意思,因为它暗示了一件事:"先预测、再验证、拿真实结果来对账"这个思维习惯,可能并不是一个专门针对代码调试场景设计的技巧,而更像是一种通用的、更谨慎的推理方式,就像一个人一旦养成了"做决定前先想清楚后果"的习惯,这个习惯不会只在他的本职工作里管用,换个场景照样有用。
写在后面
读这篇论文的时候,有一处细节让我停下来想了很久:论文特意强调,一个"自信地预测失败,并且确实失败了"的判断,应该拿到正向奖励,而不是因为"结果是负面的"就被惩罚。
这件事乍一看有点反直觉。我们平常的直觉是,预测错误是坏事,预测对了是好事,而"预测失败"这个结果本身听起来就带着负面色彩。但仔细想想就会发现,如果系统惩罚所有"预测失败"的判断,哪怕这个判断是准确的,那模型就会学会一种讨好式的乐观:它会倾向于永远预测"会成功",因为这样即使猜错了,至少姿态上显得积极。而这种虚假的乐观,恰恰是最危险的,因为它会让系统彻底失去识别真实风险的能力。
这让我想起一些团队文化里常见的问题。如果一个团队里,说"这个方案有风险、大概率会失败"的人总是被认为在"唱反调"、"不够积极",那久而久之,团队里就再也没人愿意说真话了,大家会异口同声地说"没问题,能成",直到真正的失败发生才追悔莫及。ANTE 这套奖励机制相当于明确告诉模型:"说真话、哪怕说的是坏消息,也比说假话、哪怕说的是好消息,更值得被奖励。"这个设计选择背后,其实藏着一种对"诚实"这件事本身的工程化落地,它把"诚实比讨好更有价值"这句听起来像是人生道理的话,变成了一个可以用数学公式计算、可以用真实代码执行结果来验证的奖励信号。
这大概是这篇论文最耐人寻味的地方。它表面上是在解决一个很工程化的问题,怎么让 AI 编程助手少捅娄子,但背后触碰到的,其实是一个更普遍的问题:一个系统要怎么设计,才能让"说真话"本身变成一件划算的事。
Q&A
Q1:ANTE是什么?
A:ANTE是AWS AI Lab和马里兰大学提出的一种训练AI编程智能体的强化学习框架,核心思路是让AI在动手操作前先写下对结果的预测,再用真实执行结果去验证这个预测,并据此分配学习信号。
Q2:ANTE和普通的AI编程助手训练方法有什么区别?
A:普通方法只看最终任务是否成功来打分,不管中间每一步判断得准不准。ANTE会让模型在每步操作前先预测结果并表态是否信任这个预测,再用真实执行结果对账,这样每一步都能单独获得准确的学分,而不是整条轨迹共享一个笼统的最终奖励。
Q3:ANTE的效果具体怎么样?
A:在代码仓库修复任务SWE-bench Verified上,32B规模的ANTE模型拿到57.2%的通过率,比不带预判机制的对照组高出6.2个百分点;在终端任务Terminal-Bench 2.0上也有明显提升,且这种预判能力在数学推理等完全不同的任务上同样有效。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.