清华团队提出ActionOPD：蒸馏决策，而非Token

语言模型正日渐以 Agent 形式部署：它们与用户交流、维护交互状态，并通过外部工具执行动作。在此过程中，Agent 的每一步决策都会影响后续观察结果及其所处状态。要将能力强大但调用成本较高的前沿 Agent 蒸馏至小模型，涉及两个关键问题：教师模型应该在哪些状态上监督学生模型？双方的行为又应该在什么粒度上对齐？

现有蒸馏方法对此采取了不同路径。离线蒸馏（Offline Distillation）通过拟合教师模型生成的序列提供 Token 级监督，但容易面临教师模型与学生模型的状态分布不匹配问题。Token 级同策略蒸馏（On-Policy Distillation，OPD）通过监督学生模型生成的序列缓解这一问题，但通常需要教师模型提供 Token 概率，并要求双方使用兼容的分词器（Tokenizer）。两类方法都在 Token 层面施加监督，未显式对齐动作语义。

图｜不同 Agent 学习方法的监督方式对比

针对上述问题，清华大学研究团队提出 ActionOPD，一种动作级同策略蒸馏方法（Action-level On-Policy Distillation），其核心是将语义动作作为监督单位：在学生模型遇到的状态下，分别采样教师模型与学生模型的输出，并根据学生模型动作与教师模型动作的语义一致程度计算奖励，通过策略优化对齐双方的动作级行为。

论文链接：https://arxiv.org/pdf/2610.19820

该方法仅需访问黑盒教师模型的生成接口，无需获取教师模型的 Token 概率，也不要求师生模型共享模型家族或分词器。在四个未参与训练的 Agent 基准上，Qwen3-4B 和 Qwen3-8B 学生模型经过 ActionOPD 训练后，平均性能提升 3.3-6.9 个百分点。在 τ²-bench 上，它与离线蒸馏和 token 级 OPD 相比具有竞争力。这些结果表明，ActionOPD 是一种潜力巨大的 Agent 蒸馏方法。

研究方法

ActionOPD 的优化目标是，在学生模型训练过程中遇到的状态上，最大化教师模型动作的期望似然。这里的动作似然并非学生模型复现某条教师模型输出序列的概率，而是所有在语义上与该教师模型动作一致的学生模型输出所对应的概率质量之和。

基于这一目标，研究团队推导出 REINFORCE 形式的策略梯度，将学生模型动作与教师模型动作的语义一致性作为奖励信号。监督发生在动作层面，而策略优化仍作用于学生模型自身生成的推理及动作 Token，无需将教师模型生成的推理过程作为模仿目标。

具体而言，在学生模型遇到的每个状态下，ActionOPD 从教师模型采样 3 个回复，构成教师模型样本集；同时从当前学生模型策略采样 4 个候选回复。教师模型与学生模型通过各自的原生 Prompt 接收相同的公开上下文和工具信息，再由语义匹配器（Semantic Matcher）比较候选回复所对应的动作。

图｜ActionOPD 在单个状态上的采样、评分、动作选择与训练流程

语义匹配器只比较动作内容，不比较推理文本，具体分两条路径。

对于工具调用，工具名与规范化后的参数做程序化比对，剩余的参数差异交给一个冻结的 LLM 判断。对于面向用户的交流回复，规范化后完全一致的直接通过，其余由 LLM 比较意图与事实内容。动作的语义在匹配层面定义，教师模型与学生模型也就不需要在词法或格式上对齐。

奖励结构上，首个匹配获得 1 分，此后每个额外匹配再加 0.25 分；动作合法但未匹配得 0 分，无效动作记负 1 分。论文举例：教师模型三个样本为 A、A、B 时，匹配 A 的回复得 1.25 分，匹配 B 的回复得 1 分。同一状态采样的 4 个候选全部与同一个教师模型样本集比对打分，环境仅执行奖励最高的候选回复所对应的动作，但保留的候选组中所有回复都参与策略优化。论文将这一过程称为状态组（State-group）Rollout，通过反复执行高奖励动作，形成教师模型引导的状态访问分布。

策略优化采用组相对优势（Group-relative Advantages）与 PPO 风格的裁剪代理目标（Clipped Surrogate Objective），组内平均奖励充当局部基线。频率加成在这里发挥作用：当整组候选都匹配了教师模型动作时，不同的匹配次数仍能产生非零的优势，从而区分出更贴近教师模型的回复。

实验结果与局限性

训练数据来自 AWM 与 EnvScaler 的精选任务，共 6697 个，覆盖 843 个环境。实验覆盖四种配置：Qwen3-4B 与 Qwen3-8B 学生模型分别配合 Qwen3.7-Flash 与 DeepSeek-V4-Flash 教师模型，各训练 100 步。评测在四个训练未涉及的基准上进行，包括 BFCL Multi-turn、ToolSandbox、AppWorld 与 τ²-bench，解码采用贪心策略，且不借助教师模型引导的动作选择。

实验结果显示，四组配置的跨基准平均分均有所提升，增幅为 3.3-6.9 个百分点。其中，Qwen3-4B 在 DeepSeek-V4-Flash 教师模型指导下，平均分由 30.8 提升至 37.7；Qwen3-8B 在相同教师模型指导下，由 35.6 提升至 40.0。

图｜不同师生配置在四个未参与训练的 Agent 基准上的性能表现

在相同训练步数及任务启动预算下，Qwen3-8B 的最终平均分高于 Qwen3-4B。与此同时，在两个学生模型规模下，DeepSeek-V4-Flash 均比 Qwen3.7-Flash 带来更高的学生模型平均分。DeepSeek 教师模型与 Qwen 学生模型的组合也验证了跨模型家族进行动作级蒸馏的可行性。

研究团队进一步在 τ²-bench 上，将 ActionOPD 与离线蒸馏（KD）、Token 级 OPD 进行对比。其中 KD 为离线蒸馏基线：教师模型对每个任务起点独立生成四条完整轨迹，仅将成功轨迹用于监督微调，损失覆盖教师模型的推理与动作 Token。此处的 KD 指序列级输出模仿（Kim & Rush, 2016），而非匹配教师模型输出分布的经典知识蒸馏。该实验使用 Qwen3-4B 作为学生模型、Qwen3-32B 作为教师模型，并采用相同的任务启动预算。

在测试集上，ActionOPD 的平均单次成功率（pass¹）达到 40.0%，高于 KD 的 37.5% 和 OPD 的 39.6%；但其四次全部成功率（pass⁴）为 14.2%，低于 KD 的 19.2% 和 OPD 的 17.5%。

图｜Tau 蒸馏对比

这表明 ActionOPD 并未在所有指标上取得最优结果。论文将其定位为一种具有竞争力、且教师模型接口更灵活的蒸馏方法，而非全面优于现有蒸馏方法的方案。

消融实验进一步验证了各组件的作用。在 τ²-bench 测试集上，ActionOPD 的平均单次成功率为 40.0%。将语义训练奖励替换为动作有效性奖励（Validity Reward）后，该指标降至 30.8%；移除频率加成（Binary Reward）后降至 36.9%；保留原有奖励机制、但随机选择执行动作（Random Commit）后降至 37.5%。

图｜Tau 消融实验

此外，研究团队探索了 Self-ActionOPD：教师模型与学生模型共享同一 Qwen3-4B 模型的当前权重，但教师模型额外获得动作指导、私有用户目标与约束、参考动作和目标结果等特权信息（Privileged Information）。经过 50 步训练，学生模型在仅使用公开上下文进行测试时，平均 pass¹ 和 pass⁴ 分别较基础模型提升 4.8 和 2.5 个百分点。

尽管取得上述结果，但这项研究依然存在以下三项局限：

• 语义一致不等于决策正确。教师模型的错误或次优决策同样可能成为学生模型的学习目标。
• 语义匹配可能产生误判。LLM 对交流回复及工具参数差异的判断可能出现假阳性或假阴性，导致奖励分配错误。
• 固定采样数量可能限制动作覆盖率。当合理决策较为分散时，固定大小的教师模型与学生模型样本集可能包含较少语义匹配的动作，长程交互中尤其可能出现这一情况。增加教师模型采样数量 K 和学生模型采样数量 N 可能改善覆盖率，但也会增加生成与匹配成本，相关收益仍有待验证。

研究团队表示，ActionOPD 将 Agent 蒸馏的监督粒度从 Token 提升至语义动作，通过语义匹配在学生模型自身访问的状态上提供监督，仅需教师模型的生成接口，无需获取 Token 概率。实验结果表明，该方法能够提升学生模型在未参与训练的 Agent 基准上的表现，并支持跨模型家族蒸馏。此外，Self-ActionOPD 展示了利用特权上下文进行同模型动作级蒸馏的可行性，为 Agent 自我改进提供了一条潜在路径。

更多技术细节，详见原论文。

作者：张佳怡

如需转载或投稿，请直接在本文章评论区内留言