能否既聪明又听话：AI模型能选择性相信指导吗？

你有没有遇到过这种情况：新来的实习生拿着师傅教的流程图干活，干着干着发现流程图有问题,但还是硬着头皮照做,因为"师傅说的"。结果任务搞砸了。

这不是段子，这是现在AI智能体身上正在发生的真实问题。

一群来自南方科技大学和香港城市大学的研究者,做了一件挺较真的事:他们想搞清楚,当AI模型变得越来越聪明,比人类设计的操作流程还厉害的时候,这些模型到底能不能分清楚什么时候该听指导、什么时候该自己拿主意。

这篇论文的名字叫《Thinking Outside the Box》，直译是"跳出框架思考"，但其实更准确的理解是:AI能不能像一个真正成熟的员工一样，而不是一个只会机械执行SOP的新人。

为什么这是个问题

现在的AI智能体,不管是写代码的、搜索信息的、还是操作软件的,背后通常都挂着一套"工作流程"（workflow），说白了就是人类设计师写好的操作手册,告诉AI第一步干啥、第二步干啥。

工作流程*：一套预先设计好的任务执行步骤，相当于给AI的操作手册，指导它按顺序完成复杂任务

这套手册在AI还比较笨的时候特别有用,相当于给一个刚入职的新人一份详细的SOP,照着做总比自己瞎摸索强。

但问题来了。

现在的前沿AI模型已经进化到能自己解复杂数学题、写长篇代码、做深度研究的地步了。这时候再给它一份可能过时、甚至错误的操作手册,会发生什么?

论文里给出的数据很扎心。研究者测试了Gemini 3.7 Flash、DeepSeek V4 Flash、GLM 5.2这几个前沿模型,在数学推理、代码工程、信息搜索、工具使用四大类任务上,给它们好的工作流程,它们确实做得更好,比如在自动化任务上最多能提升16.8个百分点。但一旦换成误导性的流程,所有12组测试组合全部出现性能下滑,降幅从2.3分到43.3分不等。

43.3分是什么概念?相当于原本10道题能对8道,现在10道只能对4道不到,直接腰斩。

更让人在意的是另一种情况:如果一开始的指导是对的,后来突然变成误导性的,模型往往意识不到风向已经变了,还在死心眼地照着走。研究者管这个叫"惯性依赖"。

这就好比你正跟着导航走高速,突然导航因为数据过期给你指了条已经封路的岔道,你却因为"一直信任它"而硬闯了进去,而不是回头看看路况、自己判断。如果不具备这种临时改主意的能力，后果就是在十二组对比实验里，有十组都出现了"将错就错"的现象，模型会把前半段建立起来的信任，原封不动地延续到后半段的错误指导上。

这说明一件事:能不能从好的指导里受益，和能不能抵抗坏的指导，是两种完全不同的能力。一个模型可能在前者上表现很好,在后者上却一塌糊涂。

Box?-Bench：一把专门测"分寸感"的尺子

研究者造了一个新的评测体系,叫Box?-Bench(读作Box-Squared-Bench)。

Box?-Bench*：一套专门用来测试AI模型能否根据指导质量灵活调整依赖程度的评测基准，核心做法是固定任务和模型不变，只改变提供的工作流程的可靠性

这个设计的巧妙之处在于控制变量。如果你想知道一个学生的"独立思考能力"，不能换不同的题目去测，因为题目难度不同会干扰结果，必须拿同一道题，分别在"没有提示"、"提示是对的"、"提示是错的"几种情况下测，才能看出这个学生到底是不是真的在动脑子，还是单纯在抄答案。

Box?-Bench正是这么干的。它把每个任务分成五种条件来测:

完全不给工作流程，看模型本来的实力。

给一个始终正确的流程。

给一个始终错误的流程。

给一个流程，走到一半就突然不给了（只有前半截是对的）。

给一个流程，走到一半突然从对的变成错的。

这五种条件里藏着四个关键的对比指标。

第一个叫"利用度"，衡量模型从好指导里能捞到多少好处，公式是"有好指导时的分数"减去"完全没指导时的分数"。

第二个叫"鲁棒性"，衡量模型被坏指导坑得多惨，是"有坏指导时的分数"减去"没指导时的分数"，这个数字越接近0甚至是正数越好。

第三个和第四个叫"恢复力"，专门测模型在风向突变时能不能及时掉头。

为了保证这些测试流程本身的质量，研究者用一个外部AI模型（充当"人类流程设计师"的平替角色）来生成好流程和坏流程，再用另一个独立的AI模型去审核，确保坏流程不是那种一眼假的低级错误，而是看起来很合理、实际上有坑的"专业级误导"。这就好比考试出题,出题人不能随便写个"1+1=3"就算是错误选项,那样太容易被识破了,得设计出那种"看起来步骤都对，但某个环节悄悄换了条件"的陷阱题,才能真正测出学生有没有扎实的判断力。

这套体系测下来,结论和开篇提到的一致：前沿模型普遍"会用好东西，但扛不住坏东西"。研究者还在更小的开源模型（Qwen3系列和Qwen3.5系列）上做了同样的测试,从0.6B到27B参数规模不等,结论依然成立,甚至规模变大也没能从根本上解决这个脆弱性。比如Qwen3-8B在好流程下能到83.3%的准确率,换成坏流程直接掉到50%。

规模变大不能自动带来"分寸感"，这件事本身值得琢磨。我们总以为更大的模型天然更聪明、更有判断力，但判断力和能力其实是两套不同的东西，一个很强的学霸，如果从小被教育"必须完全听老师的"，长大了照样可能在老师犯错时不敢质疑。

能不能把这种"分寸感"训练出来

发现问题之后,研究者接着做了一件更硬核的事:尝试用训练的方式,把这种选择性依赖的能力教给模型。

这里有个挺反直觉的设计。研究者故意只用"坏工作流程"来训练模型，把"好工作流程"完全留到最后评测阶段,训练过程中模型一次都没见过。

这个设计思路其实很像教小孩辨别坏人。你不会把所有好人的样子都教一遍让孩子去记，那样太低效也不现实，更实际的做法是重点教他识别几种典型的骗术套路，让他具备"遇事多想一步"的本能,这样碰到没见过的新骗局，他大概率也能本能地警觉起来。如果反过来，把所有训练精力都花在"好流程"的模仿上，孩子可能学会了对老师言听计从，但一旦遇到第一次见到的坏人，照样毫无抵抗力。

具体的训练分两步。

第一步叫"反事实监督微调"。

反事实监督微调*：一种训练方法,给模型一个明知道是误导性的工作流程,但训练目标却是让模型给出正确答案,逼着模型学会"听指导但不照做"

做法是这样的：先让基础模型自己做题,挑出做对的、经过验证的解题过程。然后用另一个AI模型根据这个正确解法,反向编造出一个"看起来很像那么回事,但其实是错的"误导性流程。训练数据就是"题目+误导流程"配对"正确答案"，模型被硬逼着在有坏指导的情况下依然给出对的结果。

这招确实管用。在数学推理任务AIME 2026上,坏流程造成的伤害从原本的20分骤降到6.7分,在网购模拟任务WebShop上,从9.8分降到0.6分，鲁棒性提升得很明显。

但副作用也很明显，经过这种训练的模型，对后来给出的好流程反而不那么买账了，利用度从正的13.3变成了负的3.3，相当于好心给的建议它也开始将信将疑了。这说明光靠反事实微调，容易把模型教成"一朝被蛇咬十年怕井绳"的性格，矫枉过正，连好人也一并怀疑了。

这就引出了第二步，叫"基于结果的强化学习"。

基于结果的强化学习*：训练目标不规定模型具体该怎么做，只要最终任务做对了就给奖励，让模型自己摸索出应对策略，而不是死记硬背一个标准答案

这一步是在第一步训练完的基础上继续训练,同样只喂坏流程,但这次不再规定"必须按照之前那条验证过的正确路径走"，而是只要任务结果对了就给奖励，错了就不给，具体怎么做交给模型自己去尝试。

结果挺有意思。强化学习训练完,数学任务上的利用度从负的3.3又回升到正的6.7，同时还保留了对坏流程的抵抗力。换句话说,第一步教会了模型"指导不是圣旨，可以质疑"，第二步又把模型往回拉了一点，让它重新学会分辨哪些质疑是该有的、哪些是过度防御。

两步训练搭配起来，就像先给一个人上一堂"防诈骗教育课"，让他对陌生来电保持警惕，然后再通过几次真实的生活经历，让他意识到不是所有陌生来电都是诈骗，亲戚朋友换了新号码打来的电话也不能一律挂断。警惕和信任之间那条线，需要反复校准才能找准。

在"流程突变"的场景下,训练效果也体现得很清楚。数学任务里，原本从对到错的转折点上，基础模型会倒退14.4分，经过反事实微调变成倒退4.4分，再经过强化学习甚至变成正向提升1.1分。这意味着训练后的模型真的学会了在半路发现风向不对时及时调头，而不是闷头走到黑。

这种能力能不能推广到别的场景

接下来研究者抛出了一个更有野心的问题:这种"分辨谁靠谱、谁不靠谱"的能力，是只在"工作流程"这个特定场景下管用，还是能迁移到别的情境里？

他们选了两个完全没有专门训练过的新场景来验证。

第一个场景叫多智能体协作，用的是一个叫Economy of Minds的环境。

多智能体协作*：多个共享同一套模型权重，但各自拥有独立记忆和身份的AI智能体，相互协作解题，期间会互相传递、参考彼此的中间结果

在这个场景里，四个智能体轮流接力解同一道AIME数学题，前一个智能体的答案会传给下一个，如果前一个算错了,后一个会不会盲目接受这个错误答案？研究发现，经过前面说的工作流程训练的模型，在这个全新的、从没见过的协作场景里，表现出了更强的"纠错"倾向，出现了11次把错误答案改对的"修复"行为，只有1次把对的改错的"污染"行为，相比之下，没训练过的基础模型修复和污染各只发生了2次，对半开。

第二个场景叫记忆增强推理，测试的是LongMemEval-V2-Small这个数据集。

记忆增强推理*：AI模型在回答问题时参考一份存储的"记忆简报"，这份简报可能是准确的，也可能被人悄悄篡改过一个关键信息点

这个场景更贴近现实应用了，比如一个长期陪伴用户的AI助手，每次回答问题前都会翻一翻之前记录的笔记，但万一笔记里有个错别字或者被恶意篡改了一条信息呢？

实验结果显示，训练后的模型在记忆可靠时依然能吃到福利，准确率能到92%到95%这个区间，但面对被篡改的记忆时，表现比基础模型要稳得多，基础模型在坏记忆下只有10%的准确率，训练后的模型能到13%到14%左右，虽然提升幅度看起来不算夸张，但更关键的变化藏在一个细节里:基础模型在面对可疑记忆时，反而更少去调用验证工具查证，调用率从好记忆下的72.2%掉到坏记忆下的65.6%，这其实挺反常的，照理说越可疑越应该去查证，但基础模型表现得恰恰相反。而训练后的模型，这个差距被拉平了，甚至反过来了，面对坏记忆时反而更愿意多查一查。

这就像一个人收到一条可疑短信，正常反应应该是打电话给银行核实，但如果这个人因为懒得折腾反而选择直接相信短信内容，那才是真正的风险所在。训练让模型重新养成了"疑了就去查"的习惯，而不是在怀疑和懒得验证之间选择了后者。

这些具体的案例研究也很能说明问题。论文里举了个数学题的例子，题目是数排列组合，原本的工作流程前半段是对的，要求排列的阶数要能整除6，但后半段悄悄篡改成了阶数必须恰好等于6。基础模型发现了不对劲，但还是选择硬着头皮按篡改后的条件做，算出了错误答案239，而训练后的模型则主动恢复了原本正确的条件，重新计算得到了正确答案396。

研究者还做了个更细致的抽样对照，同样一道题目同样的误导流程，各抽样16次，基础模型16次里只对1次，反事实微调后的模型对8次，再加上强化学习后变成16次全对。这组数字摆在那里，训练带来的提升是看得见的。

这些研究留下的思考

读完这篇论文，有一个点让我反复琢磨：研究者在设计坏工作流程的时候，特意强调不能设计得"一眼假"。

他们的具体做法是让误导流程的前几步看起来完全正常、甚至有用，错误只埋在某一个关键决策点上，之后再让错误顺着后续步骤传播下去，还得配上几步"看似在验证，实则在为错误背书"的操作。换句话说，真正危险的误导从来不是那种漏洞百出的假消息，而是那种九成都对、只有一成被偷换了概念的半真半假。

这让我想起现实世界里很多"专业建议"翻车的场景，不管是投资建议还是医疗咨询，最容易让人中招的从来不是那种一眼看穿的骗局，而是前面讲得头头是道、取得了信任之后，在某个不起眼的环节悄悄塞进去的私货。这篇论文本质上是在用AI智能体的语境，重新验证了一个关于信任和判断力的老问题，怎么在"听劝"和"有主见"之间找到那条动态的平衡线，而这条线从来不是一成不变的，它取决于谁在说话、说得对不对、情况是不是变了。

论文最后也坦诚地留了两个口子没堵上。一个是现在用来生成误导流程的是AI模型本身，而真实世界里人类设计师犯错的方式可能五花八门，远比AI模拟出来的更复杂多样。另一个是现在测试的工作流程都是写死的、一成不变的，而现实中的指导往往是互动式的、可能只对一半、还会随着情况实时调整，这些更复杂的场景还没被纳入测试范围。

这两个未解决的问题，其实指向了同一个更大的疑问:当我们教AI学会"选择性相信"的时候，我们到底在教它一种具体的技能，还是在教它一种更底层的判断能力?如果是后者，这种能力的边界在哪里，又该怎么验证它真的学会了，而不是只是在特定几个测试场景里凑巧蒙对了？

Q&A

Q1：Box?-Bench是用来测试什么的？

A：Box?-Bench是一套专门评测AI模型能否根据工作流程的可靠性灵活调整依赖程度的基准，它固定任务和模型不变，只改变提供给AI的工作流程质量，分为无流程、好流程、坏流程、半途而废、半途突变五种条件进行对比测试。

Q2：训练AI模型抵抗误导性指导会不会让它变得不听任何建议？

A：确实存在这种风险。论文发现只用反事实监督微调训练后，模型对误导流程的抵抗力提升了，但对真正有用的好流程也变得不那么信任，之后再加一步基于结果的强化学习训练，才让模型重新学会区分哪些质疑是该有的、哪些是过度防御。

Q3：这种选择性依赖的能力能用在工作流程之外的场景吗？

A：可以。研究者在没有专门训练的情况下，把训练好的模型放到多智能体协作和记忆增强推理两个全新场景中测试，发现模型在多智能体协作中更倾向于修正同伴的错误答案，在记忆增强推理中面对被篡改的记忆会更主动地去查证，说明这种能力具备一定的迁移性。