机器人会自己攒Skill了！复旦提出具身自进化新框架

RoboSkill团队 投稿
量子位 | 公众号QbitAI

GPT-6-Astra给了具身智能不小的震撼。

现在，以Astra等为代表的通用Agent，已经克服了过去机器人学任务必须先采数据的瓶颈。

不预先采集目标任务的示范数据，也不做针对性训练，机器人已经能靠Agent现场观察、推理、写代码，摸索着完成任务。

然而，虽然靠现场摸索节省了收集数据的成本，Agent仍需要耗费大量时间反复“观察-推理-执行-检查结果”。

从“能完成”到“高效完成”，依然是必须跨过的坎。

复旦大学可信具身智能研究院团队由此提出RoboSkill：把摸索出的有效方法和代码存成技能，让机器人下次干活少走弯路。

机器人走进新场景，还要收多少数据？

△VLA/WAM学会了垂直敲钉子，但是如果不添加新数据，并不会斜着敲钉子。Agent能通过思考解决这个任务，但是速度很慢。

视觉-语言-动作模型（VLA）和世界动作模型（WAM）通常先用机器人数据进行预训练，再适配具体任务。但真正部署时，往往还是要到目标场景里采集一批数据，做后训练。模型能完成哪些任务，很大程度上仍取决于这批数据里有什么。

比如，用抓取方块的数据训练，并不意味着模型就会开抽屉。预训练能为新任务提供多少帮助，仍然是这条路线需要回答的问题。

目前常见的做法，是在部署场景里继续收集数据：缺什么任务就补什么任务，遇到新的情况就增加对应示范，希望模型见得足够多，部署时就能应付。但这样一来，每增加一些任务、换一个环境，都可能需要再采一批数据。

机器人数据偏偏又不容易收。拿自动驾驶作比较，人们本来就需要开车，自动驾驶的数据可以在人们日常驾驶中不断获得。通用机器人还没有这样的消费需求，现在需要专门雇人遥操作机器人，一次次摆放物品、演示动作、重置场景。数据要增加，人力、设备和场地也得跟着投入。

而且，花钱采到更多数据，也不一定能补齐模型没见过的情况。操作员有各自的习惯，同一个任务可能总是按几种固定方式完成；场地里的物品、摆放和任务也相对有限。采集次数增加了，模型见到的却可能还是那些相似的操作。到了真正部署时，换一个物体、换一种摆法，就又可能遇到问题。

特斯拉背靠庞大的用户车队，数据也已经积累了约十年。机器人没有同样的用户基础，要处理的任务和操作方式却更多。

如果每遇到一种新情况，都要靠补数据来解决，那还要收多久，机器人才能适应一个没见过的新场景？

机器人Agent正在颠覆具身范式

最近在以GPT-6-Astra等Agent上涌现出来的直接操控机器人完成任务的能力，让机器人操控的研究进入了下一个阶段。

复旦大学团队及其合作者在论文《Explore, Execute, Evolve： A Skill Acquisition and Reuse Loop for Embodied Agents》中，系统评估了当前通用多模态Agent在仿真与真实机器人上的操作能力。他们发现，即使不预先采集目标任务的示范数据、也不进行针对性的模型训练，Agent仍能通过现场观察、推理和编写代码，控制机器人完成多种操作任务。

在LIBERO-10仿真环境中，允许在四小时预算内多轮尝试，不使用已有技能的GPT-6-Astra和Opus 5最终成功率均达到100%，Fable 5.1和GPT-5.6-Sol分别达到97.5%和82.5%。在真实机器人上，GPT-6-Astra在六项简单任务和六项高难度任务中的成功率，也分别达到91.7%和80%。这些结果表明，Agent通过现场推理与交互探索，已经能够解决多种机器人操作任务。

但较高的成功率背后，是漫长的执行时间。仿真中，GPT-5.6-Sol的平均耗时达到94.5分钟，Opus 5也需要80.9分钟；真机上，GPT-6-Astra成功完成简单和高难度任务，平均分别需要20.3分钟和27分钟。从“能够完成”走向“高效完成”，仍是机器人Agent必须解决的问题。

为什么Agent完成一个任务要这么久？

研究团队发现，Agent通常需要反复经历“观察—推理—执行—检查结果”。每遇到新的不确定因素，就可能需要停下来重新判断。机械臂的一次移动也许很短，动作之间的推理却可能持续几分钟，多轮下来，时间便不断累积。

为此，团队提出RoboSkill，从两个方面减少这类开销：通过触觉反馈，更快确认当前的物理状态；通过技能积累，复用已经探索出的有效方法。

前者帮助Agent更快判断动作是否到位，后者将执行过的策略与代码保留下来，减少后续任务中的重复探索与推理。

加入触觉，让Agent更快确认动作结果

夹爪有没有碰到物体？机械臂向下移动时，是否已经接触桌面？仅凭图像，这些状态未必容易判断。Agent可能需要反复观察、小幅调整，再确认动作是否到位。

触觉反馈为这些判断提供了直接依据。压力、力和力矩等接触信息，帮助Agent判断实际发生了什么，及时决定继续还是调整。

实验中，仅靠视觉的GPT-6-Astra最终也能完成全部仿真任务，但加入触觉后，平均耗时从25.35分钟降至15.93分钟；真机取出试管任务中，成功试验的平均耗时也从33.63分钟降至20分钟。触觉让Agent更快确认状态，从而更快完成任务。

积累Skill，让探索出来的方法留下来

更快确认状态之外，另一个时间开销来自重复探索。Agent在一次任务中找到了有效方法，后续遇到类似问题时，如果没有保存下来，就可能需要重新推导和尝试。

RoboSkill让Agent在任务结束后回顾执行过程，将有效的方法整理为Skill，并根据后续执行结果继续更新。例如，通过接触探测桌面高度后，Agent可以保存这套测量方法。换到新场景，高度需要重新测量，但测量步骤已有方法可循。

技能积累带来了实际的效率收益：GPT-5.6-Sol在仿真中的平均耗时从94.5分钟降至35.9分钟，真机上的简单和高难度任务也都获得了加速。

Skill中保存代码，让方法能够直接复用

技能里应该留下什么，决定了它能帮Agent省下多少工作。一句“先测量桌面高度”提供了策略，但具体如何移动、读取反馈、判断接触，仍需Agent编写程序。

因此，RoboSkill将文字指导与实际执行过的代码一起保存：文字解释适用条件和操作策略，代码保留具体实现，让Agent能根据当前场景修改和调用。

实验中，技能从“仅文字”变为“文字＋代码”后，四种Agent的平均耗时均下降。其中，GPT-5.6-Sol的耗时从67.1分钟降至39.9分钟，一次成功率从15%提升至67.5%。保留代码，让后续执行有了经过实践的起点，也减少了从文字策略重新推导动作的开销。

其他实验还表明，技能可以跨任务节省执行时间、跨模型改善表现，并通过后续执行继续更新。

用触觉提高探索效率，用代码保留探索成果，再通过执行不断更新技能。RoboSkill将单次任务的效率问题与长期技能积累连接起来，让探索成为后续能力增长的起点，迈向具身RSI。

作者介绍

谢思程、陈义桐，复旦大学可信具身智能研究院博士生。其中谢思程的研究方向为机器人Agent、视觉-动作-语言模型与跨本体学习。本研究与上海新智具身智能科技有限公司合作开展。通讯作者为复旦大学吴祖煊教授、姜育刚教授。

论文：arxiv.org/abs/2609.37810
代码：github.com/SII-dannyXSC/RoboSkill