机器人能自己改自己了, 离「越学越会学」还有多远?

近年来，机器人学习的发展让机器能够自主完成越来越多的任务。但在自主执行的背后，数据采集、失败诊断、训练方案调整和部署决策，仍然主要依赖研究者与工程师。机器人已经越来越会执行任务，但如何让它们持续改进，仍是一项由人主导的工作。

自我改进智能体的研究为此提供了新的思路。系统可以根据反馈修改代码、积累经验或更新模型，并将有效的修改用于后续任务。不过，这些工作通常沿用预先设定的改进流程：模型和技能在更新，产生和筛选更新的方法却保持不变。而递归自我改进则进一步关注，这套改进流程能否也从经验中得到更新，使后续学习更加有效。

当递归自我改进进入物理世界，这一目标将面临更多困难。机器人获得的观测往往不完整且带有噪声，失败原因难以准确判断；验证一项修改需要反复试验，还伴随着环境复位、硬件损耗乃至不可逆后果。因此，数字环境中的自我改进方法若想适用于机器人，这需要在物理反馈、试验成本和安全约束下进行重新审视。

论文信息

围绕这些问题，来自上海交通大学、加州大学伯克利分校、斯坦福大学、麻神理工大学、谷歌、微软、英伟达和小米等机构的研究者，在论文《Who Improves the Robot? Toward Physical Recursive Self-Improvement》将任务能力的更新与改进流程的更新纳入统一框架，梳理机器人如何利用物理经验持续改进，以及安全和验证机制如何支持这一过程。通过区分「机器人做得更好了」与「机器人改进自己的方法变得更有效了」，论文厘清了已有工作的进展与边界，并讨论走向 Physical RSI 尚需解决的关键问题。论文通讯作者为上海交通大学顾尚定和张伟楠，以及慕尼黑工大的冯骞。

• 论文链接：https://arxiv.org/pdf/2610.18842
• 项目地址：https://github.com/SAIL-Research-Lab/Physical-RSI

核心贡献

围绕「改进了什么、通过什么路径改进、怎样证明有效」，论文给出了三个方面的贡献。

首先，建立理解 Physical RSI 的统一框架。 论文给出 Physical RSI 的定义与 L0–L5 分级，从更新的是任务能力还是改进流程和收益局限于同一任务还是能够跨任务迁移两个维度，为比较不同研究提供共同的分析框架。

其次，梳理从能力更新到改进流程演化的全链路实现路径。论文围绕 Harness 适应与模型训练，分析记忆、技能、工作流及训练方法如何影响任务执行和后续改进，并将安全控制与更新验证纳入同一分析，说明持续改进需要哪些约束和检查。

最后，明确检验递归增益所需的证据。 在相同初始系统、经验和资源预算下，通过独立的跨任务评估，比较新旧改进流程产生的后续收益，并据此识别现有研究的证据缺口。这让「越学越会学」成为一个可以检验的研究命题。

Physical RSI 基本框架

Physical RSI 关注的是，机器人能否利用自身的物理交互经验，持续更新其任务运行系统和改进流程，并获得递归性收益。

论文将整个流程分为内外两大部分。一是与外部环境交互的任务运行系统，包括交互运行中使用的模型，以及模型之外的提示、记忆、技能和控制代码等 Harness。二是系统内部的改进流程，负责改进运行系统和改进流程本身。

主要改进循环从任务运行系统完成一次物理交互，获得相关交互证据和系统内部组件信号开始。改进流程可以通过这些经验与反馈，提出修改策略候选，随后验证器进行验证候选并应用。独立评估器负责评估更新后系统的增益，证明新流程能在相同条件下带来更好的后续改进。

我们的长远愿景是，机器人能够在无人干预的情况下，在现实物理环境充满多样且不可预见的挑战中，自主运行并持续自我改进演化，最终实现 Physical RSI。

L0-L5 定级

• L0：没有自主产生并保留更新，只在每一次任务执行过程中重新规划，或改进依赖人工干预
• L1：自主更新任务执行系统，在同一任务上获得收益，改进流程保持固定
• L2：自主更新改进流程本身，在同一任务上获得收益
• L3：自主更新任务执行系统，带来跨任务收益，改进流程保持固定
• L4：自主更新改进流程本身，带来跨任务收益
• L5：在 L4 基础上，通过独立、受控的比较，证实连续更新的新流程比上一版本带来更好的后续跨任务收益

Physical RSI 当前研究进展

• Harness adaptation：从外围系统走向改进方法的演化

模型外围的系统资源，也能成为改进对象。执行反馈被用于诊断失败、更新记忆、技能和工作流。有效修改被保留，修改记录则支持后续诊断与方案选择。近期研究也开始进一步调整生成这些更新的方法，包括诊断指导、记忆构建策略和搜索程序，为将改进方法本身的演化引入物理场景提供了参考。

• Model Training：物理经验开始进入训练机制本身

数据收集、模型更新和再次执行连接成训练闭环, 持续将物理交互数据转化为后续改进。部分工作进一步将训练机制本身作为改进对象；数据准备方面，也已有研究根据学习效果调整数据配比、仿真分布或采样策略。这些探索正在把物理反馈的作用，从模型参数更新延伸到数据准备和训练方法的调整。

• Safety：学习过程也要安全

最终策略通过安全测试，不能说明此前的探索没有风险。安全强化学习已为探索过程提供约束，安全迁移研究则明确保障沿用的条件。这些进展主要针对特定组件和场景，如何在改进流程自身演化时维持安全保障和评估学习过程中反复试验带来的风险仍是 Physical RSI 面临的关键问题。

• Verification：修改有效吗，旧技能还在吗？

代码能运行只是第一关。修改是否修复了原先的失败，还要通过重新执行来判断；共享技能发生变化，也需要回测此前成功的任务。内部验证决定哪些更新被保留，外部独立评估器检验实际收益。如果验证器本身被修改，则需要由外部独立评估器判断新版本的效果，避免系统逐渐放宽自己的验收标准。

• Benchmark：从测能力到测改进方法

RoboDojo 等具身基准提供了任务表现和泛化测试，AI4AI-Bench 等则主要在数字环境中考察方法或数据策略的更新。但论文指出，联合评估 Physical RSI 的基准仍然缺位，尤其缺少对改进流程递归增益的直接检验。

挑战与未来展望

论文提出了六个仍待解决的问题：

• 从不确定的物理经验中学习。如何提取可靠的学习信号，避免错误反馈随着改进机制的继承而不断放大？
• Harness 组件间的因果归因。如何在有限的物理试验中找准修改对象，并分清每次修改的实际作用？
• 改进闭环的非平稳性。在系统，环境和已有能力变化时，过去有效的修改和改进策略是否仍然有效？
• 奖励投机与评估泄漏。如何防止系统利用漏洞获得高分，并保持评估的独立性，让结果反映真实的物理能力？
• 递归更新中的安全保持。如何在改进流程变化时，维持安全保障并控制多轮试验的累积风险？
• 递归增益的基准评测。后继系统表现更好，是因为数据更多、起点更强，还是改进机制更新带来的收益？

结语

Physical RSI 将机器人的自主性，从任务执行延伸到能力与改进方法的持续更新。论文通过 L0-L5 框架梳理现有进展，也明确指出一个关键缺口：任务表现的提升，尚不足以证明改进流程本身变得更有效。继续向前，需要可靠的物理反馈、对修改作用的清晰归因，以及在系统和环境变化后仍然有效的安全保障。论文指向的目标，是让机器人在面对新的任务与挑战时，能够安全地积累能力，并不断改善自身的学习方法。