RSI研究环境开源，打通模型与Harness联合迭代！

智猩猩AI整理

论文一作 孟繁青 投稿

让 AI 自主改进 AI，正在成为智能体研究的重要方向。但当一个 Agent 真正开始生成数据、训练模型、运行评测时，它面临的往往不只是“下一步该怎么优化”，还有一整套实验环境与基础设施问题。

训练服务如何调用？多个实验能否并行？模型权重和执行框架能否一起修改？不同 Agent 消耗的资源，又该如何统一计算？

近日，Evolvent AI、新加坡国立大学等机构的研究者提出并开源了 RSIGym，一个面向递归自我改进（Recursive Self-Improvement，RSI）的研究环境。

这项工作的出发点很明确：RSI 是系统工程，而不仅是模型问题。

研究团队认为，推进 RSI，需要为研究 Agent 提供既贴近实际生产流程、又便于 Agent 使用的环境。基于这一判断，RSIGym 采用 Everything as a Service（一切皆服务）的设计，将训练、推理、数据生成、评测和沙箱执行组织为可调用的服务。

团队还提出了RSI-Index，衡量前沿 Agent 在给定资源下，联合改进目标模型权重与执行框架的能力。在六个研究 Agent、五项基准的实验中，Opus 5 取得最高综合指数 0.4809；其针对不同基准选出的系统，将 SWE-bench Verified 得分从 17.67% 提高到 50.33%，将 AIME 得分从 31.67% 提高到 97.78%。

01

为什么说 RSI 是系统工程？

一个模型在任务中表现不好，原因可能发生在不同环节。

它可能缺少某类训练数据，也可能不会正确调用工具；可能具备解决问题的能力，却在输出被截断后提前停止，或者在完成前没有检查结果。

这里涉及一个关键概念：Harness，即模型运行时的执行框架。 它决定模型如何接收任务、使用工具、管理上下文、处理异常，以及何时结束执行。

因此，研究 Agent 能否改进一个 AI 系统，既取决于模型，也取决于它能接触哪些资源、修改哪些组件，以及能否从实验反馈中找到真正的瓶颈。

已有工作为研究不同环节提供了有价值的设置。例如，PostTrainBench 给 Agent 提供 H100 GPU 和互联网访问，但不提供起始代码、训练数据或超参数配置，需要 Agent 自行搭建训练流程。

RSIGym 选择了另一种环境设计：把稳定、可复用的基础设施先提供出来，让 Agent 在其上开展研究。

以模型训练为例，在实际研发中，训练框架、模型服务和评测系统通常可以重复使用。研究者通过这些基础设施提交实验、查看日志、比较方案，再决定下一步。

团队希望将这种工作方式带给 RSI Agent，让它把更多时间和预算用于研究决策，同时保留修改数据、训练设置与 Harness 的自由。

02

Everything as a Service，

让 Agent 直接开展实验

RSIGym 的核心设计是Everything as a Service，简称 EaaS。

研究 Agent 在轻量级、仅使用 CPU 的容器中工作。训练、推理和评测等任务由远程服务执行，Agent 通过接口和配套的 Skill 文档了解调用方式。

以训练为例，Agent 提交数据与训练配置，服务返回训练指标和 checkpoint 标识。训练完成后，这个 checkpoint 可以通过推理接口调用，继续进入评测与分析流程。

图 1（论文 Figure 1 原图）：RSIGym 将研究循环与底层计算服务分开，通过统一授权服务管理权限与预算。

平台提供五类服务：

• 训练服务：执行训练任务，当前实现基于 Tinker 进行 LoRA 微调，并支持可选的自定义损失函数。

• 推理服务：通过兼容 OpenAI 的接口调用基础模型和训练后的 checkpoint。

• Rollout 服务：调用前沿模型，支持生成训练数据或评判候选结果。

• 评测服务：评估“模型 + Harness”组合，返回总分、逐任务结果、执行轨迹和日志。

• 沙箱服务：提供隔离的计算环境，用于生成数据、运行测试和其他实验操作。

这种设计首先便于并行。训练和评测采用异步执行，提交任务后即可返回句柄，Agent 可以继续分析日志、构造数据，或同时探索其他方案。评测中的不同任务，也可以在各自的沙箱内并发执行。

其次，研究容器与底层服务分离，有助于建立更清晰的资源和权限边界。底层服务商的凭证由平台持有，Agent 使用按次运行签发的平台密钥，减少直接接触基础设施的机会。

接口本身也尽量采用已有协议：推理与 Rollout 使用常见的 Chat Completions 格式，评测使用 Harbor 配置，沙箱使用 E2B SDK。Agent 可以借助熟悉的接口与文档开始实验。

更重要的是，平台返回的反馈不只有一个分数。Agent 能查看损失曲线、失败任务及执行过程，据此判断下一轮应该改数据、调整训练，还是修复 Harness。

03

开放探索，也要把权限和

预算算清楚

当 Agent 可以自主调用服务、修改代码时，实验的可比性还取决于规则如何执行。

RSIGym 将每次运行的权限和预算绑定到同一个平台密钥。服务在执行调用前检查权限与余额，完成后记录费用；Agent 也可以查询剩余预算，决定如何在数据生成、训练和评测之间分配资源。

由此，同一套基础设施可以支持三种研究设置：

研究者还可以限制允许调用的教师模型、开放哪些超参数，以及是否允许访问公共网络。这些研究条件主要通过权限配置表达，无需为每个实验重新搭建一套环境。

服务化隔离能够减少部分绕过规则的机会，但完整的控制还需要覆盖凭证、网络与计费路径。论文记录过一次绕开平台预算调用模型的尝试：监控发现后，该次运行被终止，并从报告结果中排除。

这个案例也说明，对 RSI 而言，权限控制、预算核算与过程审计，本身就是实验设计的一部分。

04

RSI-Index：衡量 Agent 能把另一个 AI

系统改进多少

有了实验环境，还需要一个能够比较研究结果的指标。

RSI-Index 关注的是：从同一个起点出发，一个研究 Agent 能在给定预算下，把目标系统改进到什么程度？

主实验中，六个前沿研究 Agent 均从Qwen3.5-35B-A3B-Base 与一个最小 Harness 出发，开放权重与 Harness 的联合优化。每个 Agent 在每项基准上分别开展独立研究，提交该次运行选出的最终系统。

五项基准覆盖了软件工程、终端交互、数学、科学推理和技能任务：SWE-bench Verified、Terminal-Bench 2.0、AIME 2024/2025、GPQA Diamond，以及 SkillsBench 的科学、办公和金融子集。其中，多项任务要求模型实际使用工具、与环境交互并完成工作。

每项基准的得分采用 avg@3，即每道任务尝试三次，再对所有尝试的奖励取平均。

RSI-Index 先计算每项基准上“填补了多少剩余提升空间”，再对五项结果等权平均：

单项归一化增益 =（最终得分 − 初始得分）÷（1 − 初始得分） RSI-Index = 五项基准归一化增益的平均值

例如，某项任务从 20% 提升到 60%，相当于填补了原本 80 个百分点提升空间中的 40 个百分点，该项归一化增益就是 0.5。

主实验为每个基准、每次运行分配 500 美元平台服务预算；研究 Agent 自身的推理费用和最终官方评测另行计费。论文中的每种配置只运行一次，且开发期间可接触最终评测任务，因此这些分数反映给定任务上的改进结果，不代表对未见任务泛化能力的验证。

05

六个研究 Agent 都有综合提升，

但擅长的方向不同

在 Joint 主实验中，六个研究 Agent 都取得了正的综合增益。30 个“Agent × 基准”组合中，29 个较初始系统有所提升。

其中，Opus 5 的 RSI-Index 为 0.4809，排名第一；随后依次是 Opus 5.5、DeepSeek V4.1 Flash、GPT-6 Astra、GPT-6.1 Sol 和 GPT-6 Sol。

图 2（论文 Figure 2 原图）：Joint 设置下的各项得分与 RSI-Index。每个研究 Agent 对五项基准分别开展独立运行；蓝色标记列内最优值，红色表示低于初始系统。Spend 与 Time 为五项运行的合计，时间包含最终官方评测。

不过，综合排名没有覆盖所有差异。

DeepSeek 在 SWE-bench Verified 上取得最高分 53.33%；Opus 5.5 在 GPQA Diamond 上领先，达到 85.33%；GPT-6 Sol 虽然综合指数最低，却在 SkillsBench 上取得最高分 22.14%。

这表明，在本次实验中，不同 Agent 的研究能力具有明显的任务差异。

不同任务的改进难度也相差很大。Opus 5 在 AIME 上将得分从 31.67% 提升到 97.78%，填补了约 96.75% 的剩余空间；但在 Terminal-Bench 和 SkillsBench 上，所有 Agent 填补的空间都不足四分之一。

研究轨迹还揭示了一些比最终排名更具体的现象。

多个 Agent 都会修复类似的执行问题：提交代码前检查修改，保留 Shell 状态，从截断输出中恢复，发现无效循环，以及在完成任务前验证产物。这些改动能够帮助模型更充分地使用已有能力。

训练也能带来收益。例如，在 DeepSeek 的 SWE 实验中，相同 Harness 下，训练后的模型在开发集上的得分从 0.344 提升到 0.600。但更多训练并不稳定地带来更好结果：论文整理的十组同 Harness、同任务集候选对比中，更强训练更新的候选有八组表现更差。这些小规模比较提供的是方向性证据。

图 3（论文 Figure 4 原图）：每组比较使用相同 Harness 和任务集，对照训练前后或较轻、较强的更新。横轴为相对参考候选的百分点变化，星号表示提交的 checkpoint；每组都是小规模单次评测。注 a 为合成任务集上重建的初始回答投票结果，b 为约数的两次尝试得分，c 为候选选定后恢复的结果。

预算同样如此。将预算从 500 美元提高到 1,000 美元后，四组对比中三组提升，一组下降；现有单次运行结果尚不足以建立稳定的预算与性能关系。

这些观察让“系统工程”这个判断更加具体：数据质量、权重更新、执行框架、实验诊断与候选选择，都可能影响最终改进结果。

06

从改进 DSH，到自己训练

自己与断网实验

RSIGym 的用途也不局限于这组综合评测。通过调整初始系统和权限，它还可以支持不同形式的 RSI 实验。

第一类，是改进已有的 Harness。

团队让 Opus 5 修改 DSH-harness，并固定 Qwen3.6-35B-A3B-Instruct 的模型权重。Agent 从执行日志中发现，原框架可能在输出截断后停止，未经检查就接受任务完成的判断，或终止任务仍然需要的后台服务。

围绕这些问题修改后，在相同的 89 个 Terminal-Bench 任务上，官方 avg@3 得分从 30.34% 提高到 40.82%，提升约 10.5 个百分点。三次尝试均成功的任务数，也从 15 个增加到 26 个。

图 4（论文 Figure 6 原图）：左图为断网 Data 实验，中图为固定权重的 DSH-harness 改进，右图为 Qwen3.8-27B 自我改进。中图的连带连接成功次数类别，不代表单个任务的流向；左图的开发评测与官方基线、右图的小规模与全量评测采用不同口径，不能直接作同条件比较。

第二类，是让模型自己训练自己。

团队让 Qwen3.8-27B 同时担任研究 Agent 与待改进模型。它能够完成数据构造、训练、候选比较与提交，并在六个 SkillsBench 任务的小规模测试中观察到收益。

但在全部 37 个任务的官方评测中，最终系统得分为 0.5626，略低于初始系统的 0.5666。这个结果说明，自主完成研究流程与获得可靠的整体改进，仍是两个需要分别检验的问题。

第三类，是限制公共网络访问。

在一次 Terminal-Bench 的 Data 实验中，团队关闭公共网络访问，仅保留必要的平台服务与软件包镜像。Agent 生成约 2,600 条轨迹，训练九个 checkpoint，最终通过了论文设定的审计，但得分仍低于初始系统。

对轨迹的分析发现，将推理内容混入普通消息的数据格式影响了训练效果。保留推理通道后，候选表现有所恢复，但最终仍未超过基线。

这些实验既呈现了可行的改进路径，也保留了未能奏效的研究过程，便于进一步分析问题发生在哪个环节。

RSIGym 当前的实验衡量的是单次预算约束下对目标系统的改进。改进后的系统能否继续提升后续研究能力、形成持续的递归进步，还需要进一步验证。

对于研究团队而言，这也是开放环境与实验记录的意义：让更多人可以在同一套基础设施上尝试数据策略、训练方法、Harness 设计以及它们的联合优化。

RSI 是系统工程，而不仅是模型问题。RSIGym 希望提供的，正是一个让这些系统性改进能够被自主探索、执行和衡量的环境。

关注+星标，获取AI前沿进展与开源一线动态