人大文继荣团队提出Harness Scaling:为可泛化Agentic RL扩展新维度

Agent harness 正在成为当前 Agent 系统的核心组件，它决定了模型如何调用工具、管理上下文、维持长程交互并从失败中恢复。Harness 能否发挥价值，不仅取决于设计本身，更取决于底层模型能否用好它，这促使研究者直接通过 harness 开展 Agentic RL。然而，现有 Agentic RL 通常在单一固定 harness 上训练策略，模型容易过度特化，跨 harness 迁移能力也比较受限。

为此，中国人民大学文继荣教授团队及其合作者提出 Harness Scaling，将策略优化从单一 harness 扩展到多样化执行配置。

论文链接：https://arxiv.org/abs/2610.29458

具体来说，他们构建了一个因子化的 harness 空间，选出一个具有均衡析因覆盖的紧凑训练子集，并组织跨 harness 训练，从而使全局覆盖与同一任务上的受控变化相结合。

在多个基准、模型规模和强化学习算法上，Harness Scaling 持续提升了模型对未见过的白盒配置的泛化能力。此外，通过结构化白盒变化训练的模型能够有效迁移到未见过的外部黑盒 harness，其表现优于通过单一复杂黑盒 harness 训练的模型。

这项研究将 harness 多样性确立为 Agentic RL 的新扩展维度，不同于扩展任务或环境，它关注的是“如何交互与执行”。

一、研究方法

Harness Scaling 的第一步，是把 harness 的变化建模成结构化空间。Agent harness 天然是模块化的，研究团队据此将其因子化为五个组件：system prompt、tool interface、observation、context management 与 workflow。每个组件包含多种具体实现，各组件取值相互组合，定义出完整的因子化配置空间，总计 243 种 harness 配置。这样做的好处是把 harness 差异从模糊的整体概念，变成了可枚举、可操纵的显式变量。

图｜Harness Scaling 总览

在固定预算下，全量训练会引入大量冗余。因此，243 种配置无法穷举训练。为此，研究团队采用正交设计，在紧凑训练集中保留低阶因子结构：既均衡覆盖每个组件的各个实现，也均衡覆盖组件之间的两两组合，最终选出 18 个配置用于训练，以约 7% 的空间规模保留关键的组合结构。后续消融证实，这种结构化选集在同等预算下优于随机选 18 个，也优于全 243 个配置的直接训练。

训练组织方式同样关键。研究团队采用局部性感知分配：同一任务配对结构相近的 harness 配置，让模型在同任务上经历受控的局部变化；不同配置又分散覆盖整个训练空间，兼顾全局覆盖。这种“同任务、相邻 harness”的组合，为模型提供了直接可比的对照经验，从而引导策略把能力沉淀在任务本身，而非绑定到某个 harness 的具体形式上。

二、实验结果

实验覆盖 Qwen3-4B-Instruct 和 Qwen3-30B-A3B-Instruct 两种模型规模、GRPO 和 PPO 两种 RL 算法与ClawGym-Bench、JobBench-Easy、PinchBench 三个基准，指标为 Pass@1。

图｜三个基准主要实验结果对比

在白盒泛化方面，Harness Scaling 在 18 个训练时从未完整出现的留出配置上持续占优。Qwen3-4B 的 GRPO 均分从 29.81 升至 39.04、PPO 对应得分从 33.91 升至 36.93；三个基准的 In-Space 平均增益分别达到9.80与 3.57。结论在 Qwen3-30B-A3B 上同样一致：GRPO 分数从 37.29 升至 42.78、PPO 分数从 36.31 升至 41.89。训练曲线显示，这一优势贯穿训练全程，且随训练推进持续扩大。

图｜训练全程评测曲线对比

在黑盒迁移方面。研究团队使用训练中从未接触的外部黑盒 harness Claude Code，对比了三条训练路线：经单一黑盒 harness OpenClaw 做SFT 或 RL 的基线，以及在结构化白盒空间上做 RL 的 Harness Scaling。结果显示，Harness Scaling 的均分达到37.22（4B）与 41.20（30B-A3B），高于黑盒 SFT 的 35.08和 38.08，也高于黑盒 RL 的 33.38和 36.28。在多样化白盒配置上做结构化训练，比直接在单一复杂黑盒 harness 上训练迁移能力更强。

图｜Claude Code 黑盒迁移性能对比

消融实验进一步解释了收益来源。研究团队发现，训练集规模并非越大越好，同等预算下，结构化 18 配置优于随机选 18 个，也优于全 243 个配置。每任务配对的 harness 数 K=2 时效果最佳，优于 K=1 与同预算下的重复采样。这说明起作用的不是多样性本身，而是多样性的组织方式。

图｜结构化选择与分配策略消融

实验结果还表明，scaling 带来的收益取决于如何选择 harness 多样性并将其融入训练，而不仅仅取决于多样性本身。更广泛地说，这些发现将 Agentic RL scaling 的范围，从 Agent 解决什么问题、在何种环境中运行，扩展到 Agent 如何交互与执行，并将 harness 变化定位为提升跨不同执行系统泛化能力的一个互补维度。

更多技术细节，详见原论文。

作者：张佳怡

如需转载或投稿，请直接在本文章评论区内留言