复旦与腾讯混元联手，让AI"学徒"训练效率提升2.29倍的秘密武器

这项由复旦大学与腾讯混元联合完成的研究，以预印本形式发布于2026年7月7日，论文编号为arXiv:2607.05804，有兴趣深入了解的读者可以通过该编号查询完整论文。

每一个大型语言模型的背后，都有一套让它变得更聪明的训练体系。其中有一种特别受关注的方法，叫做"在线模仿学习"，通俗地说就是让一个小徒弟（弱模型）跟着一个大师傅（强模型）学手艺。大师傅不直接给答案，而是在徒弟自己做题的过程中随时纠偏，这样学出来的徒弟比单纯抄笔记要强得多。研究团队把这套机制称为"在线策略蒸馏"，简称OPD。

然而当这套方法被用来训练那些需要与外部环境反复交互、完成复杂多步骤任务的"智能体"时，麻烦就来了。这类任务的难点在于，AI不是写一篇作文就完事，而是要像人一样一步一步地浏览网页、搜索资料、操控物品，整个过程可能需要几十个来回。复旦大学与腾讯混元的研究团队发现，把标准的在线模仿学习直接套用在这类长程任务上，存在两个严重的"预算浪费"问题，导致训练又慢又学不好。而他们提出的解决方案TurnOPD，通过对"什么时候停止练习"和"把注意力放在哪里"这两件事的精准调控，让训练效率大幅提升——最快可以比原来快2.29倍，同时准确率还有所提高。

接下来，用一个贯穿全文的比喻来理解这项研究：把整个AI训练过程想象成一个武术馆里，师傅（强模型）指导徒弟（弱模型）练功的过程。徒弟每天要完成一套完整的动作套路（一次多轮对话任务），师傅在旁边一个动作一个动作地纠正偏差，纠正量越大说明这个动作还差得越远。研究的核心问题是：徒弟每次练到套路的哪一节才算够？师傅的精力应该主要放在纠正哪些动作上？

一、两个被浪费掉的"练功预算"

在发现问题之前，研究团队做了一系列精密的诊断实验，把师傅在每一个动作上给出的纠偏量、以及这些纠偏量随着练功进度的变化，全部用图表呈现出来。他们选择了两个典型任务作为观察对象：一个是ALFWorld，这是一个模拟家庭环境的任务，AI需要像管家一样在房间里找东西、移动物品、加热清洁；另一个是Multi-Hop Search，AI需要连续搜索多个关键词，像侦探串联线索一样推导出问题的答案。

观察结果揭示了第一个浪费：套路练到后半段，师傅的纠偏量急剧下降，接近于零。表面看来，这说明徒弟后半段做得很好，不需要纠正了。但研究团队发现事情没这么简单。他们进一步分析了"最终成功完成任务的徒弟"和"最终失败的徒弟"在每个动作位置上的纠偏量差异，结果令人惊讶：在ALFWorld里，成功的徒弟后半段反而比失败的徒弟获得了更多的师傅纠偏。这意味着，失败的徒弟在后半段并不是因为已经很好而纠偏量低，而是因为他们陷入了一种机械重复的错误套路——每次出错的动作都差不多，所以师傅的下一步纠偏也变得可以"预测"，纠偏量自然压缩了。换句话说，师傅的"纠偏量小"根本不代表徒弟学好了，而是双方都陷进了一种"无效重复"的状态。

这种现象，研究团队给它起了一个正式的名字，叫做"污染压缩机制"。为了让这个机制更直观，可以这样理解：在武术练习中，如果一个徒弟在某个环节总是犯同一个错误（比如右脚总是踏错位置），久而久之，连师傅都习惯了在那个位置给出同样的纠偏口令，这种纠偏变成了一种条件反射式的互动，而不再真正反映徒弟与师傅之间的技术差距。真正的差距被这种惯性模式"压缩"掉了。研究团队甚至为此写了一段数学证明，严格说明了为什么原始的纠偏量会低估真实的学习差距。

正因如此，让徒弟把整套套路全部练完再结束，实际上是把大量时间和算力浪费在那些"师傅纠偏量已经被压缩失真"的后半段动作上。这就是第一个预算浪费：**外部浪费**——练得太长，后段收益极低却照样消耗时间。

第二个浪费藏得更深，发生在损失计算的内部。当徒弟完成一整套套路之后，师傅需要汇总所有动作的纠偏量，算出一个总成绩来指导下一步的训练方向。标准做法是按照每个动作所包含的"字数"（token数）来加权平均，字数多的动作权重大，字数少的动作权重小。问题在于，套路前半段的动作通常更啰嗦（因为要打招呼、描述背景），而后半段的关键决策往往言简意赅。按字数加权的结果是，前半段的动作几乎占据了所有的训练注意力，后半段那些关键但简短的动作反而被忽视了。

研究团队的实测数据非常说明问题：在ALFWorld任务中，最深处三分之一的动作只拿到了总纠偏损失的3.6%到4.5%；在Multi-Hop Search中情况稍好，但也只有11%到13%。这就好比在一家公司里，按照员工每天写的邮件字数来分配绩效奖金，结果那些话少事多的关键工程师拿到的奖金，还不如整天写长篇废话的边缘员工——这就是**内部浪费**：前段获得过多注意力，后段的关键决策被忽视。

二、套路练到哪一节才够用？自适应"截断控制器"

发现了两个浪费之后，研究团队分别设计了两个"预算控制器"来对症下药。

针对外部浪费，他们设计了一个能自动决定"今天练到套路第几节就够了"的智能控制器。这个控制器不是随便拍脑袋定的，而是综合了两个来源的信息。

第一个来源叫"效率侧信号"。控制器会定期让徒弟从头练一遍完整套路，然后统计每个动作位置上的平均纠偏量，并且把"练到这个动作时还剩多少徒弟没有提前放弃"也考虑进去（因为越到后面，越多徒弟会因为任务失败而中途退出）。把这两个信息相乘，就得到了每个动作位置的"有效监督价值"。把所有位置的有效价值加权平均，得到一个"重心位置"，这就是从效率角度建议的截断点。当前半段的纠偏价值远高于后半段时，重心靠前，控制器就建议早点停；当后半段仍然有重要纠偏时，重心后移，控制器就允许练得更久。

第二个来源叫"覆盖侧下限"。效率重心有时会太激进，可能建议在任务还没完成之前就截断。为了防止这种情况，控制器还会统计成功完成任务的徒弟，他们通常在套路的哪个位置完成任务。具体来说，控制器要求截断点至少要覆盖80%的成功案例的完成位置——如果绝大多数成功的徒弟要到第15节才能完成任务，那控制器就不能把截断点设在第10节。

最终的截断点取这两个来源中较大的那个。控制器还会通过指数移动平均的方式让截断点平稳变化，避免忽高忽低造成训练不稳定。而且有一个细节值得关注：控制器更新截断点的数据，只来自那些完整练过全套路的探测性练习，不能用截断后的数据来估计截断点，否则就会产生"越截越短、越短越截"的恶性循环。

研究团队在三个任务上都观察了控制器的实际行为，结果各有特点。在ALFWorld中，覆盖侧下限很快就成为主导因素，控制器稳定在了一个相对较长的截断深度；在WebShop中，控制器维持了一个中等水平的覆盖下限；而在Multi-Hop Search中，两个信号的主导地位随着训练进展动态切换。这些不同的行为恰好说明控制器确实在根据任务特性做出不同的适应，而不是一刀切。

三、师傅的注意力应该怎么分配？渐进式"损失再分配器"

针对内部浪费，研究团队设计了第二个控制器：逐渐把损失计算的权重，从"按字数分配"切换到"按动作位置平均分配"。

这个控制器的核心思路是用一个混合比例来过渡。在训练最开始，完全按字数加权（混合比例=0），因为这时候徒弟前半段的动作还很生疏，确实需要把大量注意力放在前面；随着训练进展，混合比例线性增加，到训练结束时完全切换到按动作位置平均加权（混合比例=1）。这样一来，在训练后期，每一个动作位置都能获得大致相同比例的监督注意力，那些言简意赅但关键的后期决策动作不再被字数少的"劣势"压制。

研究团队还比较了三种极端方案：一是始终按字数加权（即原始方法），后期关键动作严重欠监督；二是从一开始就完全按动作位置平均分配，这种方案把权重平等分给了所有动作，但问题是训练早期后期动作的样本很少（因为大多数徒弟还没练到那里），强行平均反而放大了噪声；三是研究团队的线性混合方案，在训练初期保持稳定，在训练后期逐渐向关键动作倾斜。实验结果显示，线性混合的最终准确率（85.1）略高于完全按动作位置平均的硬切换方案（85.0），但更重要的是，线性混合在训练中期就已经表现出明显优势，整个过程更加平稳。

四、两个控制器合体，效果超过各自之和

把自适应截断控制器和渐进式损失再分配器合并，就是完整的TurnOPD方法。研究团队在ALFWorld上做了严格的消融实验（就是分别只开启其中一个功能，测量各自的贡献），结果非常清晰。

单独开启截断控制器：训练时间从4.42小时缩短到1.96小时，但准确率从83.0略微下降到82.8。这说明截断控制器是个省钱的工具，但光省钱不够，因为它没有解决内部注意力分配失衡的问题。单独开启损失再分配器：准确率提升到85.1，但训练时间仍然需要2.59小时，因为还是要练完整套路才能算完整损失。两个控制器同时开启：准确率达到86.3，训练时间1.93小时——既省了时间，又提升了准确率，做到了两全其美。这种"一加一大于二"的效果，说明两个控制器解决的是两个相互独立的问题，合并后各自的贡献叠加而非互相抵消。

五、在三个真实任务上，TurnOPD表现如何？

研究团队在三个代表性的长程智能体任务上做了系统评测，学生模型（被训练的弱模型）和教师模型（用于指导的强模型）都是真实的大型语言模型，且教师模型是经过专门强化学习训练的任务特化模型。

第一个任务是ALFWorld，使用Qwen3系列模型。以规模较小的1.7B学生模型为例，TurnOPD在"相同训练步数"条件下的准确率达到86.29，对比原始方法的83.00和另一个竞争方案TCOD-F2B的80.06，有明显提升。更重要的是，在"相同实际耗时"条件下，TurnOPD以1.93小时就能达到比原始方法用4.42小时还要好的效果，速度提升达2.29倍。值得一提的是，使用规模较大的4B学生模型时，TurnOPD甚至在某些类别上超越了教师模型的参考成绩，说明通过更有效的训练方式，学生有可能在局部任务上反超师傅。

第二个任务是WebShop网购模拟，同样使用1.7B学生模型。TurnOPD的准确率达到82.80，训练时间从原始方法的1.57小时压缩到1.24小时，同时准确率也高于原始方法的81.65，做到了既快又好。

第三个任务是Multi-Hop Search多跳搜索，使用Qwen3.5-2B学生模型。这个任务的结果有些微妙：在完整训练100步之后，原始方法的最终准确率（47.82）略高于TurnOPD（47.24）；但在相同实际耗时的条件下，TurnOPD（47.24）明显超过原始方法（45.77），因为TurnOPD的训练时间（2.94小时）远低于原始方法（4.45小时），意味着在同样的时间预算内，TurnOPD能完成更多有效更新。这说明TurnOPD的价值不仅仅是"最终能学多好"，而是"在有限时间内能学到多好"。

对比的竞争方案TCOD-F2B是另一个专为长程任务设计的课程学习方法，它的核心思路是先练短套路再练长套路。在ALFWorld-1.7B上，TCOD-F2B的训练速度（1.87小时）与TurnOPD（1.93小时）相近，但最终准确率（80.06）明显低于TurnOPD（86.29），说明TurnOPD在效率相当的条件下质量更高。

六、超参数到底有多稳健？覆盖比例的敏感性测试

研究团队还做了一组针对覆盖侧下限参数（即80%那个阈值）的敏感性测试，改变这个参数值（40%、60%、80%），以及改变统计基础（只用成功案例还是用全部案例），观察结果的变化。

核心发现是：这个参数确实影响截断深度，参数越大，截断越深，训练时间越长，但最终准确率也略高。以使用全部案例统计的版本为例，参数设为60%时，准确率85.1，耗时1.66小时；参数设为80%时，准确率85.8，耗时1.83小时。这说明这个参数提供了一个"效率-准确率"的可调旋钮，研究者可以根据自己的实际需求在两者之间灵活取舍，而不是只有一个固定的最优解。

此外，使用全部案例（而非只用成功案例）作为统计基础时，控制器会更保守，倾向于给出更深的截断点，因为失败案例里有很多卡死在某个环节反复重试的轨迹，人为拉高了所需深度的估计。但即便如此，使用全部案例的版本也依然有效，只是需要配合更小的覆盖比例参数才能获得与使用成功案例版本相当的效率。这一发现很有实用价值：在许多真实世界任务里，判断一次尝试是否"成功"并不容易，能用全部案例达到相近效果，说明TurnOPD在更广泛的场景下同样适用。

说到底，这项研究做的事情用一句话概括就是：把AI学本领的过程，从"死练全套"升级为"精准练关键处"。原来的做法像是要求武术学员每次都从第一式练到最后一式，不管后半段有没有进步空间；TurnOPD则是先分析学员现在最需要练哪里、练到哪里足够，再把师傅的有限精力集中到真正值得纠偏的关键动作上。结果自然是：时间更短，学得更好。

这项研究对于AI社区的意义在于，它指出了一个此前被忽视的训练效率瓶颈，并且提供了一套可以实际落地的解决方案。对于普通用户而言，这意味着未来更强大的AI助手可以以更低的计算成本训练出来，从而降低整体的研发门槛和时间成本。或许某一天，你用来订餐、查资料、安排日程的AI助手背后，就用到了类似TurnOPD这样的训练方法。

如果你对背后的技术细节感兴趣，不妨思考这样一个问题：这套"练多深、怎么分注意力"的逻辑，是否也适用于人类学习？毕竟，我们自己在学习一套新技能时，也常常面临"要不要把整套流程全部练一遍"的取舍。有时候，精准练薄弱环节的效果，可能远胜过机械地重复全套。有兴趣深入了解这项研究的技术细节，可以通过论文编号arXiv:2607.05804找到完整的原始论文。

Q&A

Q1：TurnOPD和普通的在线策略蒸馏（OPD）有什么区别？

A：普通OPD每次训练都要让AI把完整任务从头做到尾，然后平均每个字的学习权重；TurnOPD会自动判断做到哪一步就够了，同时把学习重点逐渐转移到后期关键决策上，让时间和计算资源用在刀刃上，因此更快也更准。

Q2：TurnOPD在ALFWorld任务上的速度提升是怎么实现的？

A：主要靠"自适应截断控制器"。它通过定期探测每个动作位置的有效纠偏价值和成功案例的完成深度，自动选择一个合理的停止点，不再让AI做那些纠偏信号已经失真的后半段练习。在ALFWorld-1.7B上，这把100步训练的总耗时从4.42小时压到了1.93小时。

Q3：TurnOPD是否需要依赖任务成功/失败的奖励信号才能工作？

A：覆盖侧下限的最优版本确实用到了成功案例的信息，但研究团队也测试了完全不区分成功失败、直接用全部案例统计的版本，结果同样有效，只需配合稍小的覆盖比例参数即可，因此在那些难以判断任务是否成功的实际场景中，TurnOPD依然可以正常使用。