96台机器人共同进化，成功率反超人类！清华团队让机器人抱团学习

一台机器人叠衣服失手了，另外95台机器人却因此变得更聪明。

这听上去像科幻情节，却是一项新研究的真实结果。

中国清华大学、智元机器人与无问芯穹的联合团队提出了一种名为"集体经验学习"的新方法，让已经部署的机器人共享执行经验，共同改进同一套控制策略。

相关论文已发布在预印本平台上。

在手机包装、插花、叠衣服等五项真实操作任务中，最终策略的成功率达到93.3%至99.2%，平均表现超过了人类远程操作。

一、人类"监工"跟不上机器人规模

机器人在真实世界中的每一次执行，都会产生宝贵的经验。可如何把这些经验利用起来，一直是个难题。

传统做法依靠人工纠错。远程操作人员盯着机器人干活，一旦发现策略出错，就立刻接管，示范正确动作。

这种模式在几台机器人身上还能维持。但当机器人集群扩大到几十台、上百台，人工监督迟早会跟不上。

就像一位老师可以手把手教几个学生，却很难同时照看一百个学生。专家的精力，成了机器人规模化学习的瓶颈。

研究团队的思路是：既然机器人越来越多，为什么不让它们彼此学习？

在集体经验学习中，人类只需为每次执行标注"成功"或"失败"，并把环境复位，动作本身全部由机器人自己提供，不再需要额外的专家示范或纠正动作。

二、成功提供榜样，失败决定学什么

这一方法的核心算法，叫作"失败引导的经验检索微调"。它的思路可以概括为一句话：成功提供模仿对象，失败决定学什么。

整个流程分为四步。首先，集群中的机器人持续自主执行任务，每条轨迹都被标注为成功或失败。

成功的轨迹进入共享经验库，成为学习素材。失败的轨迹并不提供动作，只作为"检索线索"，这样系统既能从失败中学习，又不会模仿错误动作。

接着，系统把视觉信息和机器人关节状态编码成统一的表示，让不同机器人之间的经验可以相互比较。

第三步是整个方法的关键。一个"失败"标签只能说明任务没完成，却无法指出问题出在哪里。

为此，系统截取失败前约3秒的观测画面作为查询，在成功经验库中寻找情境相似、时间对齐的成功片段。通俗地说，就是回答一个问题："在类似的情况下，别的机器人是怎么做成的？"

最后，这些检索到的成功片段会获得更高的学习优先级。反复出现的失败情境，会让对应的成功动作被更频繁地学习。

同时，优先级会随时间逐渐衰减，让学习始终聚焦于策略当前最容易出错的环节。

研究团队还从理论上证明，这种更新方向与提升任务成功率的目标是一致的。

三、每22分钟坏一台，系统照样不停

算法之外，工程难度同样不小。在96台机器人的实际运行中，平均每22分钟就有一台出现故障。

机器人需要在毫秒级时间内拿到动作指令，而训练所需的数据动辄以GB计。如何让推理、采集和训练互不干扰，是一道现实难题。

为此，团队构建了一套"容错异步训练系统"。它采用双平面架构，一个负责数据传输与共享推理，另一个负责集群管理与故障恢复。

当某台机器人出故障时，系统会就地重启对应进程，重放被中断的调用，其余机器人完全不受影响。

过期的动作指令会被识别并丢弃，防止错误数据污染训练。

结果相当可观。96台机器人在近8小时运行中共采集了9834个回合，期间发生30起故障，却只造成1.3%的机器人时间损失。

作为对比，如果采用同步采集，采集量只剩实测的33%。如果每次故障后整体重启5分钟，也只能保住86%。

四、机器人越多，学得越好

实验使用的是智元机器人的双臂机器人AgiBot G2，基础模型为开源的π0视觉语言动作模型。

五项任务各有难点：插花考验柔性物体处理，叠衣服涉及可变形织物，手机充电要求精确对齐，凳子组装需要使用工具，手机包装则是耗时两三分钟的多阶段任务。

在最大集群规模下，传统的监督微调方法平均成功率只有36.3%。

引入人工纠错的多机器人方法提升到81.0%，而新方法在不使用任何额外专家数据的情况下，将平均成功率推高至97.3%。

其中，手机充电任务的成功率从60.0%跃升至97.5%。手机包装任务在使用96台机器人学习后，成功率从79.2%提升至98.3%。

新方法在五项任务上全面超过人类远程操作，平均高出16.7个百分点。它也领先两种强化学习基线方法，平均优势超过11个百分点。

更值得关注的是扩展规律。在每台机器人采集时长固定、只增加机器人数量的情况下，新方法的成功率总体持续上升。

在手机包装任务中，训练集群从16台扩大到96台，成功率从86.7%升至98.3%。

相比之下，依赖人工干预的方法在集群扩大后出现饱和甚至回落。

原因不难理解：人类的监控能力有限，成了性能的天花板。而机器人自己的经验，会随着集群规模自然增长。

消融实验也验证了关键设计的价值。

去掉"按失败情境检索经验"这一环节后，成功率从86.7%骤降至64.2%，是所有测试中降幅最大的一项。

当然，这项研究也有局限。评估仅限于单一机器人平台上的五个专用任务，更广泛的任务、不同型号的机器人以及长期环境变化，都有待后续研究。

此外，在集群规模较小时，新方法的表现也可能低于初始策略，因为成功经验还不足以覆盖各种失败情境。

但这项研究已经指出了一种新的部署逻辑：机器人集群贡献的不只是劳动，还有可以共享的经验。

未来，工厂里的机器人越多，或许就不只是产能越大，而是整体越学越聪明。