网易首页 > 网易号 > 正文 申请入驻

具身智能开始卷系统了:RoboFoundry让机器人自主进化

0
分享至



同一个 GPT-5.5,放进不同的系统里,做具身任务的表现可以相差悬殊。在 EmbodiedBench 上,直接使用 GPT-5.5 的平均成功率是 56.9%;模型参数一个不改,只让它周围的系统持续进化,这个数字变成了 72.7%。

差别来自模型之外:哪些信息会被送到模型面前,哪些经验会被保留下来,决策又如何变成机器人的物理动作。真正在环境里执行的具身策略,从来不只是一个模型,而是模型加上它所在的整套系统。

大模型在机器人系统中的角色一路上移:从高层规划器,到 Code-as-Policy 中把感知与控制原语组合成程序的决策核心。但围绕模型的那套系统,大多仍是人工搭建、部署后固定不变的。已有工作往往只改进记忆、技能、交互 harness 中的某一个组件;执行中暴露的问题也多半只用于评测或人工调试,同样的弱点会在一个又一个回合里重复出现。

由此引出一个问题:具身智能体能否把自己的整套系统当作策略,诊断出系统在哪里限制了行为,再从具身经验中进化对应的部分?

来自新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、上海交通大学、云蝶科技等机构的研究团队提出了 RoboFoundry,并将其定位为首个把智能体系统本身形式化为「自进化的系统即策略」(Self-Evolving System-as-Policy)的具身智能体框架:基座模型保持冻结,进化发生在模型周围的上下文系统、技能系统与执行接口上,并借助一层共享的语义接口在不同机器人之间复用。

实验中,RoboFoundry 在 EmbodiedBench 上让五个基座模型全部取得提升;在长程记忆基准 RoboMemArena 上,任务成功率比所有基线至少高出 39.0%;在 LIBERO-PRO 的扰动测试中,比 CaP-Agent0 高出 243.8–679.7%。在真实机器人上,展示了跨机器人、跨任务的零样本迁移,以及部署后的在线进化。



  • 论文标题:RoboFoundry: System-as-Policy Evolution for Self-Learning Embodied Agents
  • 论文链接:https://arxiv.org/abs/2609.32862
  • 项目主页:https://jingsongliang.com/robofoundry



图 1:RoboFoundry 总览。包含 “执行 — 反思 — 修复 — 晋升” 的进化闭环;三个基准的结果,以及接入前后六项系统能力均有大幅提升。

模型冻结,系统进化:

像维护代码库一样改写自己

RoboFoundry 不更新基座模型的参数,被优化的是支撑模型完成任务的系统。这套系统以文件形式存在,模型可以像开发者维护代码库一样,用 cat、grep 查看,用 add、modify、delete 修改。系统分为两层:服务当前任务的任务级系统,和跨任务、跨本体持续保留的通用系统

进化以内外两层循环进行:内循环执行任务、记录执行轨迹;外循环根据轨迹提出修改,再交给后续执行检验。修改作用在两个 “进化面” 上:

  • 上下文面:管理当前回合的活跃上下文和跨回合的文件系统记忆,通过 SAVE、RETRIEVE、UTILIZE 三类操作决定记什么、取什么、怎么用。
  • 技能面:从原子技能,到 “移动 — 抓取 — 放置” 这样的组合流程,再到失败恢复树。执行出现失败时,系统会从一个仍然有效的状态重新规划。

两个进化面之下还有一层共享语义接口。语义层只处理跨本体共享的任务逻辑;执行层把决策适配到具体机器人上,后端可以是冻结的 VLA(如 π0.5)、编码智能体生成的函数,或 CuRobo 等视觉运动接口。由于进化作用在语义一侧,在一台机器人上进化出的系统,换一套执行适配就能在另一台机器人上复用,也可以接到不同的基座模型上。



图 2:RoboFoundry 方法框架。(a) 内循环执行任务并产生轨迹;(b) 通用系统以文件目录的形式,提供可复用的规则与技能;(c) 外循环诊断能力缺口:能修复当前任务的修改更新任务级系统,进一步通过其他任务上保持检验的修改,进而晋升进通用系统。

有诊断、有验证的进化闭环,

而不是无约束的自我重写

执行中出现的失败或低效,会先被归因到六种能力之一:感知、推理、规划属于决策能力,保存、检索、利用属于记忆管理能力。系统只在对应的进化面上提出修改;只有修复了当前任务的失败,修改才会被提交。

RoboFoundry 先把成功的修改抽象成候选规则,再找出其他任务中同类能力缺口的修复记录,回放这些任务修复前的状态,让应用该候选规则的系统重新给出修复方案。随后由系统自身充当验证者,把新方案与当时实际奏效的修复比较打分。只有平均得分不逊于原有修复,候选规则才会被写入通用系统。

图 3 是一次进化过程示例,在 EB-Habitat 的空间关系子集上,基座模型为 GPT-5.5,共经过六次候选评估:

  • 前三次修改被提交,held-in 成功率从 21.4% 升至 50.0%;
  • 接下来两个候选只达到 42.9%,未被采纳;
  • 最后一个候选把成功率推到 78.0%,并通过了 held-out 检查,被标记为晋升进通用系统。



图 3:EB-Habitat 空间关系子集上的一次进化轨迹(GPT-5.5),下方是各次候选的 held-out 检查结果。

被接受的修改会落成文件里的具体改动。例如针对 “把水槽里的清洁剂全部移到沙发上” 这条指令,系统规则被改写为:



新规则里没有出现清洁剂、水槽、沙发等任何具体物体,因此可以跨任务共享。整个进化过程则记录在 .robofoundry/ 目录里,论文称之为 “进化账本”(Evolution Ledger),可以回溯查看。

五个基座模型全部提升,

基座之间的差距明显缩小

EmbodiedBench 包含四个环境中的 1,128 个任务,覆盖高层语义规划与底层动作执行。所有设置使用相同的任务流和交互预算,从第一个计分回合就开始进化,进化过程中的每一条轨迹都计入成绩。



注:EmbodiedBench 四个环境的平均成功率(%),提升值与论文图 1 一致;因舍入,个别提升值与两列直接相减可能相差 0.1。

  • GPT-5.5 相对提升 27.8%。进化后的 GPT-5.5(72.7%)已经高于未经进化的 GPT-6 Astra(71.9%)。
  • 基座之间的差距明显缩小。五个基座原始成绩的最大差距为 19.6 个百分点,接入 RoboFoundry 后缩小到约 11.5 个百分点。
  • 最强的模型同样受益。GPT-6 Astra 相对提升 8.5%。

消融实验显示,通用进化是关键:以 Qwen3.7-Plus 为基座时,完整版比只保留任务级修改的 Lite 版相对高出 11.2%。把上下文预算从 4K 扩到 16K 后,原始模型的成绩有升有降;在 16K 设置下,RoboFoundry 依然让参与测试的四个基座相对各自基线再提升 7.9%–13.1%。

长程记忆与分布偏移:

进化不只是提示词

RoboMemArena 是长程记忆基准,共 26 个任务,分为搬运、遮挡、计数、顺序四类。以 Qwen3.7-Plus 为基座的 RoboFoundry 取得了 53.5% 的任务成功率(TSR)和 72.8% 的累计成功率(CSR),四类任务全部领先。它的 TSR 比所有基线至少高出 39.0%,对比对象中包括借助 Qwen3-VL-8B-Instruct 管理记忆的 PrediMem。

在这一基准上,进化修改的不只是提示词,还有决定 “保留什么状态、检索什么证据、如何呈现给模型” 的机制。例如,把任务进度转成当前子目标,以及明确规定 “尝试过的指令不能作为物理成功的证据”。



图 4:RoboMemArena 长程记忆结果,每项为 TSR / CSR(%)。

LIBERO-PRO 用来检验系统在物体布局和任务设定变化下的鲁棒性。在不使用特权物体位姿的方法中,RoboFoundry 的平均成功率最高,为 91.9%,Harness VLA(CC)为 87.8%;它比 CaP-Agent0 高出 243.8%–679.7%(相对值)。

进化后的系统还会把改进分成两种时间尺度:可复用的组合技能被长期保留进共享系统;某次试验中临时生成的恢复逻辑,只留在当次试验中。



图 5:LIBERO-PRO 扰动测试结果,每项为位置扰动 / 任务扰动下的成功率(%)。† 表示使用特权物体位姿。

真机上零样本迁移、边做边进化

真机实验要回答的是:通用的 RoboFoundry 系统能否迁移到物理机器人上,并在部署后继续进化。实验中,RoboFoundry 以 GPT-5.5 为基座模型,以 π0.5 为操作执行后端;为保证公平,RoboFoundry 与单独使用的 π0.5 在对应任务上使用同一个微调 checkpoint。RoboFoundry 起始时不做任何任务级的系统适配;每个任务测试 10 次,用于在线进化的试验也计入成功率,系统更新只发生在两次试验之间。

  • 套娃:在线进化。在松灵 AgileX COBOT MAGIC 平台上,套娃既要求从小到大排序,也要求精确插入。第一次试验以掉落告终,系统加入对准检查(技能面修改);第二次试验改用带对准的插入,但执行丢失了任务进度,系统再加入进度追踪(上下文面修改),让执行能从最后完成的子任务继续;第三次完整完成。最终 RoboFoundry 的成功率为 70%,单独使用的 π0.5 为 30%。
  • 叠毛巾:零样本迁移。叠毛巾技能只在蓝色毛巾上进化,随后直接用于外观、几何形状和材质都不同的绿色、粉色毛巾。在不做额外适配的情况下,RoboFoundry 的成功率超过 80%,π0.5 则低于 20%,需要进一步微调。
  • 人形机器人:从操作到导航。 在宇树 G1 人形机器人上,RoboFoundry 借助共享语义接口,把 “找到饮用水”(Find drinking water)这条指令对应到 RGB 画面中识别出的饮水机,再由本体相关的执行绑定转换成导航动作。
  • 化学实验:跨子任务的长程依赖。 六个相互依赖的子任务依次是:把漏斗插入锥形瓶、放置称量皿、天平去皮、用药匙加粉末、放回药匙、向锥形瓶倾倒粉末。RoboFoundry 用任务状态记录串起整个流程,最后的倾倒步骤会读取几个子任务之前写下的 “漏斗已就位” 状态来指导执行;单独使用的 π0.5 则难以完成整个流程。



视频链接:https://mp.weixin.qq.com/s/uJw9E0-rEnribpib08C6kg

图 6:真机进化与迁移。(a) 套娃任务中先后加入对准与进度追踪;(b) 叠毛巾技能迁移到未见过的毛巾;(c) 宇树 G1 上的语义导航。



图 7:长程化学实验中,任务状态记录连接六个相互依赖的子任务。

结语:

从 “训练更强的模型”,

到 “让模型所在的系统持续变强”

从语言模型规划,到代码即策略的执行,再到系统即策略的进化,大模型在具身系统中的角色一直在向上层迁移。RoboFoundry 给出了一种具体做法:基座模型保持不变,由执行轨迹决定系统的哪一部分需要修改;每一次修改都要先在当前任务上验证能修复失败,只有在其他任务的同类能力缺口上同样被验证有效的改进,才会沉淀为通用能力,服务后续任务。当基础模型越来越强,具身智能的进步也许不只来自 “训练一个更强的模型”,也来自 “让模型所在的系统持续变强”。

作者信息

本研究由新加坡南洋理工大学、北京航空航天大学、新加坡国立大学、云蝶科技与上海交通大学的研究者合作完成。共同第一作者为梁靖松(新加坡南洋理工大学,博士生)和廖书昊(北京航空航天大学,博士生)。通讯作者为吴文峻(北京航空航天大学,教授)、李万华(新加坡南洋理工大学,南洋助理教授)与吕辰(新加坡南洋理工大学,副教授)。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
赌场还是屠宰场?A股正在把散户吃干抹净

赌场还是屠宰场?A股正在把散户吃干抹净

A活着
2026-10-12 17:03:56
郑钦文夺冠后,另一场比赛开始了,品牌们开始集体“加班”

郑钦文夺冠后,另一场比赛开始了,品牌们开始集体“加班”

澎湃新闻
2026-10-12 15:24:49
油价大降!一夜崩落,10月12日全国92,95汽油“大涨0.69元/升”,近2个月“失控”上涨后恢复下降,10月15日调价,预跌230元/吨!

油价大降!一夜崩落,10月12日全国92,95汽油“大涨0.69元/升”,近2个月“失控”上涨后恢复下降,10月15日调价,预跌230元/吨!

猪友巴巴
2026-10-12 15:00:06
人口红利消失后,政策端已无“谁都不得罪”的空间了

人口红利消失后,政策端已无“谁都不得罪”的空间了

西游日记
2026-10-12 11:48:44
日本人有句话评价抗美援朝,让人后背发凉:“中国若是不出兵,美国根本打不到鸭绿江边。可中国偏偏去了。

日本人有句话评价抗美援朝,让人后背发凉:“中国若是不出兵,美国根本打不到鸭绿江边。可中国偏偏去了。

回京历史梦
2026-10-12 09:12:01
“生了5个送外卖的料子!”农村父亲晒5娃,真实评价毫不留情面

“生了5个送外卖的料子!”农村父亲晒5娃,真实评价毫不留情面

番外行
2026-10-12 09:49:40
云南盐津一嫌疑人送看守所一天就因病死亡,尸检发现断了七根肋骨

云南盐津一嫌疑人送看守所一天就因病死亡,尸检发现断了七根肋骨

兵叔评说
2026-10-12 17:42:53
欠缴社保,最高罚3倍!2026年11月1日起施行

欠缴社保,最高罚3倍!2026年11月1日起施行

蓬勃新闻
2026-10-12 16:39:38
时隔8年重返武网次轮!王曦雨亚运夺金后首秀2-0王欣瑜 连赢9局

时隔8年重返武网次轮!王曦雨亚运夺金后首秀2-0王欣瑜 连赢9局

醉卧浮生
2026-10-12 21:06:37
谁也没有想到,凌晨一点的北京,72岁的濮存昕竟用一根布绳,将自己与94岁的老母亲系在了一起,这根绳子是重度阿尔茨海默症母亲的“警报器

谁也没有想到,凌晨一点的北京,72岁的濮存昕竟用一根布绳,将自己与94岁的老母亲系在了一起,这根绳子是重度阿尔茨海默症母亲的“警报器

回京历史梦
2026-10-11 16:30:12
网传人社部要把未参保的人员找到并动员参保,网友问他们为什么交不起社保啊?

网传人社部要把未参保的人员找到并动员参保,网友问他们为什么交不起社保啊?

黯泉
2026-10-12 18:23:09
贵州男子在同一酒楼同时与不同女子办婚宴、百日宴被质疑重婚,官方:不构成重婚,有经济纠纷

贵州男子在同一酒楼同时与不同女子办婚宴、百日宴被质疑重婚,官方:不构成重婚,有经济纠纷

扬子晚报
2026-10-12 17:17:40
大争议!武网官方回应郑钦文退赛闹乌龙 此前还“看衰”中网夺冠

大争议!武网官方回应郑钦文退赛闹乌龙 此前还“看衰”中网夺冠

醉卧浮生
2026-10-12 12:08:29
三辆尊界V800刹车踏板支架断裂,有车主准备卖车,专家:目前只卖了2000多台,理论上符合召回条件

三辆尊界V800刹车踏板支架断裂,有车主准备卖车,专家:目前只卖了2000多台,理论上符合召回条件

星岛记事
2026-10-12 16:42:40
撑了20年的宜信,也撑不住了倒了

撑了20年的宜信,也撑不住了倒了

老凤说财经
2026-10-12 15:26:05
全网笑翻!郑钦文赛后“极限化妆”火了!几分钟搓出烟熏大红妆,太喜庆了

全网笑翻!郑钦文赛后“极限化妆”火了!几分钟搓出烟熏大红妆,太喜庆了

火山詩话
2026-10-12 16:44:38
大闸蟹价格崩盘?记者实探:部分规格指导价降超10元,生鲜平台价格变化小,多方提醒警惕异常低价

大闸蟹价格崩盘?记者实探:部分规格指导价降超10元,生鲜平台价格变化小,多方提醒警惕异常低价

红星新闻
2026-10-12 19:39:22
2026年诺贝尔经济学奖揭晓,两位获奖者什么来头?

2026年诺贝尔经济学奖揭晓,两位获奖者什么来头?

中新经纬
2026-10-12 19:06:42
尊界刹车踏板事件发生3天后,大批车主退车被拒

尊界刹车踏板事件发生3天后,大批车主退车被拒

鸣金网
2026-10-12 08:58:01
今天“社保”数条热搜里,为何很多普通人都被压得喘不过气?

今天“社保”数条热搜里,为何很多普通人都被压得喘不过气?

魔都囡
2026-10-12 08:46:33
2026-10-13 00:28:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14181文章数 142748关注度
往期回顾 全部

科技要闻

尊界:10月底确认制动踏板支架升级方案

头条要闻

胡塞武装24小时内四袭沙特 专家:沙特存在战略误判

头条要闻

胡塞武装24小时内四袭沙特 专家:沙特存在战略误判

体育要闻

一周吃6顿披萨的胖子,也能单防姆巴佩?

娱乐要闻

张艺谋身体状况曝光 陈婷不再顾及体面

财经要闻

尊界,是江淮的救命车还是失血引擎?

汽车要闻

小鹏G9L巴黎车展全球上市 法国市场售价74990欧元起

态度原创

家居
时尚
艺术
房产
教育

家居要闻

2026建博会(广州) 公装联探展交流活动

瘦女淡饭,害女不浅

艺术要闻

北京CBD多了一座“水润”地标!福斯特事务所设计

房产要闻

等了半年!今年海口最值得期待的新盘,即将亮相!

教育要闻

“鞋这么脏,家教也不咋样!”学校午睡被吐槽,男孩家长百口莫辩

无障碍浏览 进入关怀版