网易首页 > 网易号 > 正文 申请入驻

具身RSI的真假之争:机器人是在自我进化,还是在反复刷题?

0
分享至

机器之心发布


在电子游戏里,玩家拥有一项近乎无敌的特权——无限读档(env.reset)。

在机器人仿真环境中,一些具身 Agent 同样可以通过提前探索任务、反复重置环境、修改动作脚本,逐步寻找更优的操作策略。

但如果不给机器人提前刷题的机会呢?

最近,星衍智能推出的通用具身 Harness 框架Auriga,在不针对目标任务预调优、不依赖专家演示、单次执行且不允许环境重置的Zero-shot 评测协议下,领跑 RoboDojo 榜单。与此同时,Auriga 还在RoboCasa365Target50 评测中,凭借同一套 Harness 框架取得领先表现。

没有提前刷题,却能超越部分有备而来的对手。Auriga 是怎么做到的?

答案或许不在于记住更多任务的标准答案,而在于构建一套能够跨任务复用的物理执行系统。这也引出了一个更深层的问题:机器人究竟是在优化一道题的答案,还是在进化解决问题的能力?

1. 具身 RSI 的三个层次:

进化答案、进化过程、进化系统

机器人能力的进化,关键不在于经历了多少次试错,而在于每次改进究竟改变了什么:是当前任务的解决方案、一次执行中的操作策略,还是能够被未来不同任务复用的系统能力?

基于这一视角,星衍智能将 Physical RSI 的发展路径归纳为三个层次:

  • L1:任务级搜索,即进化答案。系统通过反复重置环境、修改动作脚本或调整控制参数,为特定任务寻找更优解。它能够不断提升当前任务的表现,但往往需要为新任务重新优化。
  • L2:单次在线适应,即进化过程。系统不再依赖反复重置,而是在一次连续执行中,根据观测和反馈调整动作。改进发生在当前任务的执行过程中,但这些调整不一定会沉淀为可供其他任务使用的通用能力。
  • L3:系统级能力改进,即进化系统。系统从不同任务的交互中识别反复出现的共性问题,并进一步改进底层通用工具、控制原语或技能机制。与 L2 不同,这些改进会被保留在系统中,供后续不同任务调用,并通过新的任务验证其迁移价值。

从 L1 到 L3,改变的不只是试错方式,更是能力改进的范围:从一道题的答案,到一次执行的过程,再到一套能够应对不同问题的系统。

星衍智能 Auriga 选择从L3 所代表的系统级通用能力出发:不为每个新任务重新定制策略,而是让同一套 Harness 支撑不同物理任务中的感知、执行与在线纠错。

真正的进化,不是让机器人记住越来越多的答案,而是让它拥有一套不必为每道新题重新发明的解题系统。

2. Auriga:

为大语言模型构建通往物理世界的通用 Harness

Auriga 是星衍智能研发的通用具身 Harness 框架,将物理感知、动作表达、执行验证与任务状态管理整合为统一的交互系统,支持大语言模型在陌生任务中自主规划、执行与在线恢复。

在这一架构中,模型主导任务决策,Harness 提供可量化的物理状态、完整的动作表达与可验证的执行过程,让高层推理能够转化为连续的机器人操作。

系统架构围绕三个核心能力展开:

  • 感知即测量(Perception as Measurement): 融合三维重建、视觉分割与机器人运动学,将图像转化为具有真实物理尺度、可查询和验证的空间信息。
  • 所见即所执(What You See Is What Executes): 通过统一执行网关,将模型生成的动作转化为可视化轨迹预演,并在实际执行中持续验证、异常截停与在线恢复。
  • 失败即证据(Failure as Evidence): 结构化记录模型意图、规划轨迹、实际运动与执行结果,支持长程任务中的状态追踪和历史检索,为跨任务能力改进积累物理证据。



图 1:Auriga 通用具身 Harness 整体架构与执行流程。通过统一的感知、规划与执行接口,将高层决策转化为可验证的物理行动。系统在持久化会话中维护任务状态,通过三维几何工具定位目标,并在执行前进行轨迹预演、执行中验证真实状态,最终将物理反馈返回模型形成闭环。

3. 从看懂到做到:

Auriga 如何打通物理执行的完整闭环?

让模型理解任务只是第一步。真正的挑战,是如何将模型的推理转化为精确、可靠的物理行动,并在执行偏离预期时及时纠错。

围绕这一问题,Auriga 将三维感知、动作规划、执行验证与历史反馈整合为一套通用闭环,让模型不仅能够决定“做什么”,还能检查“能不能做”、判断“有没有做到”,并在失败后决定“接下来怎么办”。

感知即测量:给大语言模型一双带刻度的眼睛

大语言模型能够从图像中理解物体及其空间关系,但机器人操作需要精确的三维位置、尺寸与姿态信息。

Auriga 融合 VGGT-Omega、SAM 3.1、相机标定与多视角几何,将视觉观测转化为具有真实物理尺度的空间信息。模型可以主动查询目标的位置、朝向与尺寸,并利用双视角三角测量和三维重投影检查关键接触点。

对于已抓取的物体,系统还能够结合腕部相机和夹爪状态,测量物体在手中的位置与姿态变化,帮助模型判断是否发生滑移。



图 2:Auriga 的物理感知。通过三维几何测量、在手物体追踪与历史失败记录,为大语言模型提供可查询的物理状态。

所见即所执:让每一次动作先预演、再验证

准确的空间测量之后,模型还需要指定机器人如何接触物体、如何运动,以及双臂如何协作。

Auriga 支持模型直接指定手指接触位置、动作精度、运动速度与双臂协同时序。模型可以将抓取、抬升、搬运与放置组织为完整的多阶段动作序列,并根据不同操作阶段设置速度和精度要求。



图 3:Auriga 的精细动作表达。通过手指接触点定位、动作精度控制与双臂统一时序,将操作意图转化为多阶段动作序列

所有物理指令,无论来自模型直接调用还是自主编写的程序,都经过统一的执行网关,遵循 Preview–Execute–Verify 流程:

  • 执行前预演(Preview): Harness 将动作序列编译为可视化轨迹,展示双臂运动路径、关键姿态、预计耗时与潜在碰撞风险。模型可以在实际执行前检查并调整计划。
  • 执行中验证(Execute & Verify): 系统按照预演轨迹执行动作,并对照机器人实测状态。当偏差超出设定容限时,自动截停后续动作,返回偏差位置、测量结果与最新观测。
  • 在线恢复(Recover): 模型根据物理反馈重新规划,从当前状态继续操作,保留已完成的任务进度,无需重置环境。



图 4:Auriga 的轨迹预演与执行验证机制。 系统在执行前可视化规划轨迹,在执行中对比实际运动与预期状态,遇到意外受阻时自动截停,并支持模型基于最新观测重新规划、继续执行。

失败即证据:让每一次物理交互都有迹可循

在复杂的长程任务中,模型需要持续追踪任务进展,并根据物理反馈更新对环境和操作结果的判断。

Auriga 为此建立了显式任务状态与可检索的执行历史。系统保留当前计划、关键关注点和任务进度,同时记录模型的动作意图、规划轨迹、实际运动、视觉观测与执行结果。

即使长程任务中的模型上下文发生压缩,关键任务状态仍能够保留。当执行出现异常时,模型可以回溯此前的动作与失败位置,分析预期与实际执行之间的偏差,避免重复无效操作。

这些结构化记录也为跨任务分析提供了基础,使系统能够识别不同任务中反复出现的物理执行问题,为后续通用工具与技能机制的改进积累证据。

4. Auriga 挑战 RoboDojo 与 RoboCasa365

一套通用 Harness,究竟能够让大语言模型在陌生物理任务中发挥出多大的操作能力?

星衍智能以 GPT-6 Astra 为基础模型,在RoboDojo与RoboCasa365两大机器人仿真基准上对 Auriga 进行了系统评测,重点考察其 Zero-shot 操作、跨场景迁移与在线恢复能力。

42 项任务、6300 次测试:Auriga 领跑 RoboDojo 榜单

RoboDojo 榜单覆盖泛化(Generalization)、精细操作(Precision)、长程任务(Long-Horizon)、记忆(Memory)与开放任务(Open)五大维度,共 42 项机器人操作任务。

与依赖目标任务预先探索和反复调优的方法不同,Auriga 采用严格的 Zero-shot 评测准则:

  • 零目标任务预调优: 不针对测试任务及其布局提前开发专用脚本,所有任务共享同一套固定 Harness。
  • 零专家演示: 不提供成功轨迹、视频演示或任务专用代码模板,仅依据任务说明与允许的实时观测自主决策。
  • 单局执行、零环境重置: 每个案例只进行一次正式执行。即使中途出现抓取失败或动作受阻,也必须从当前物理状态继续调整。

在 3 个随机种子、共 6300 个的完整测试 Episodes 中,Auriga 取得57.74%的平均任务成功率(SR)与 64.00 的平均过程评分(Score),两项指标均领跑 RoboDojo 榜单。

从五大能力维度来看,Auriga 在泛化、记忆与开放任务中表现突出,其中记忆任务成功率达到92.99%。相比部分依赖目标任务预探索,Auriga 在不针对目标任务预先优化的条件下,依然展现了强大的综合操作能力。



表 1:RoboDojo 全量评测排行榜,†指使用 GPT-6 Astra 为基础模型

换个场景、换台机器人,同一套 Harness 还能工作吗?

在固定场景中取得高成功率只是第一步。真正的通用能力,还需要经受物体布局变化、任务结构变化乃至机器人本体变化的考验。

第一重考验:物体布局随机化。

在 RoboDojo 的 12 项泛化类任务中,研究团队进一步测试了物体布局随机化后的表现。在综合考虑标准与随机场景成绩及其差异的指标 G 上,Auriga 取得46.3 分,领先第二名 2.4 分。

第二重考验:换一台机器人、换一个厨房。

团队进一步将 Auriga 迁移至家居移动操作基准 RoboCasa365。机器人从双臂桌面操作平台变为搭载 Franka 单臂的移动机器人,任务环境也从桌面转移到 10 个未见过的厨房,需要完成开关柜门、操作抽屉、旋转旋钮和家电控制等任务,部分长程组合任务最多包含 15 个子任务。

在RoboCasa365 Target50 的全部 50 项任务、250 个测试 Episodes中,Auriga 取得73.2% 的总体成功率。其中,单技能任务成功率达到92.2%,长程组合任务达到62.5%。



图 5:RoboCasa365 Target50 成功率对比

从双臂桌面操作到移动单臂操作,从固定桌面到陌生厨房,Auriga 展示了通用物理交互机制跨机器人形态与任务环境复用的潜力。

一镜到底:失败以后,机器人如何自己救回来?

真实物理操作中,物体可能从夹爪中滑落,机械臂可能碰到障碍物,目标也可能因为接触而偏离原来的位置。关键在于,机器人能否发现实际结果与预期不一致,并从当前状态继续解决问题。

Auriga 的完整执行记录展示了多种不同层次的在线恢复行为。

从失败中恢复:自主调整抓取与操作

当物体在抓取或搬运过程中滑落时,GPT-6 能够利用 Harness 提供的最新观测与物理反馈,重新定位目标、调整抓取位置和运动方式。

在玩具抓取、传送带分拣和碗堆叠任务中,模型分别通过改变抓取区域、调整搬运方式,以及重新安排堆叠顺序,从当前物理状态继续操作,最终完成任务。



玩具滑落后重新抓取



传送带滑落恢复



堆叠碗顺序调整

从局部纠错到策略重规划:自主改变操作方案

更复杂的物理意外,往往无法仅靠重新抓取或微调坐标解决。当环境状态或操作条件发生变化时,GPT-6 能够根据 Harness 返回的物理证据,重新组织后续任务。

在物体装箱任务中,模型发现箱体因碰撞发生位移后,主动调整机械臂分工与放置路径;在传送带任务中,模型将悬空装载改为先放稳篮筐、再放入物体;在充电器插入任务中,模型根据毫米级位置偏差重新对位,完成精密插入。



装箱碰撞后重新规划



改变篮筐装载顺序



充电器毫米级对位修正

从局部动作修正到整体操作策略调整,Auriga 让模型能够在物理世界不断变化的条件下继续推进任务。

从一次次失败,到整套 Harness 的能力升级

如果说在线恢复解决的是「当前任务失败了怎么办」,那么另一个值得关注的问题是:不同任务中反复出现的物理困难,能否进一步推动整个执行系统的改进?

Auriga 的研发过程提供了一个具体例子。

在星衍智能研发团队推动的13 次通用Harness 能力迭代中,Auriga 将不同任务暴露的共性问题逐步转化为可复用的感知、控制与执行验证机制,持续完善动作预演、双臂协调、三维几何测量、状态追踪与障碍物检查等通用能力。

随着这些能力逐步加入,42 项 RoboDojo 任务上的平均 Score 从第 4 版的45.5 提升至最终版本的 64.0,成功率也从 36.2% 提升至 57.7%。



图 6:Auriga 的 13 次 Harness Evolution

这些改进最终沉淀在共享的 Physical Harness 中。系统在正式评测前被冻结,并通过 RoboDojo 的不同任务、随机化布局以及 RoboCasa365 的另一类机器人环境检验其复用能力。

这一过程展示了一条重要的技术路线:将不同任务中反复出现的物理执行问题,逐步转化为可供更多任务共享的底层能力。

5. 从 Zero-shot 执行到通用 Physical RSI:

构建物理智能的下一层基础设施

Auriga 在 RoboDojo 与 RoboCasa365 上的表现,初步验证了通用大模型通过共享 Harness 完成陌生物理任务的可能性。但精密装配、复杂接触与长程操作仍然是重要挑战。进一步提升物理执行能力,并让机器人从交互中持续积累经验,是星衍智能下一阶段的重点方向。

从通用大模型到 System 1 / System 2:让推理与执行协同

未来的机器人可以通过System 1 / System 2协同实现分层智能:以 GPT-6 等通用模型为代表的System 2负责任务理解、全局规划与异常决策;System 1则由 VLA、WAM 等动作模型承担,负责快速、连续的运动与接触控制。

星衍智能希望将 Auriga 作为连接两者的通用物理执行基础设施,通过统一的物理接口、轨迹预演、执行验证与反馈机制,让高层决策与底层控制形成可靠闭环。

让大脑负责理解与决策,让小脑负责快速执行,让 Harness 负责连接、验证与反馈。

从 Failure as Evidence 到 Failure as Improvement:迈向通用具身 RSI

如果说 System 1 / System 2 协同解决的是“如何把任务做得更好”,那么通用 Physical RSI 要回答的,则是另一个更长远的问题:

机器人能否通过不断执行任务,让自身解决新问题的能力持续提升?

当前,Auriga 已能够将模型意图、执行轨迹与物理反馈转化为可追溯的证据,支持单次任务中的自主纠错,也为跨任务分析提供了基础。

下一步,星衍智能希望推动从Failure as Evidence(失败即证据)到Failure as Improvement(失败驱动改进)的演进:让模型从不同任务的失败中识别共性问题,自主构建、修改和验证通用 Skill,持续完善共享的物理执行系统,并通过陌生任务检验改进的迁移价值。

从单次执行中的在线纠错,到跨任务的能力积累,再到执行系统的自主改进——这是星衍智能探索通用 Physical RSI 的长期方向。

结语

物理世界没有无限读档,但智能不应每次都从零开始。

真正的进化,不是把同一道题做上一百遍,而是让机器人从过去一百道题中获得成长,在面对第一百零一道新题时,已经拥有更强的解决问题的能力。



  • Project Page:https://auriga.stelledge.com/
  • Technical Report:https://auriga.stelledge.com/assets/docs/Auriga-Technical-Report.pdf
  • Code:https://github.com/lose4578/Auriga
  • Demo:https://auriga.stelledge.com/demos.html

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美股遭遇恐慌性抛售 多家华尔街机构认为或只是牛市调整

美股遭遇恐慌性抛售 多家华尔街机构认为或只是牛市调整

财联社
2026-11-22 08:25:02
普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

普林斯顿博士生被拘事件​​​曝更多内幕:14岁移居纽约,全家申请政治庇护

小徐讲八卦
2026-11-21 10:28:27
故意按摩让女生“产生欲望”后发生关系,算性侵吗?

故意按摩让女生“产生欲望”后发生关系,算性侵吗?

书画艺术收藏
2026-11-20 19:20:09
大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

大批物价跌回20年前!东西越来越便宜,为啥日子却更难了?

华人星光
2026-11-19 13:45:11
于和伟自己亲口说,他这辈子最欣赏的女演员,既不是合作过的王丽坤,而是自己的老婆宋林静!

于和伟自己亲口说,他这辈子最欣赏的女演员,既不是合作过的王丽坤,而是自己的老婆宋林静!

LULU生活家
2026-11-22 13:08:28
女孩嫌被强行进入,男友被判3年:出狱后女友邀他缠绵,同居1个月他杀死女友

女孩嫌被强行进入,男友被判3年:出狱后女友邀他缠绵,同居1个月他杀死女友

汉史趣闻
2026-11-22 09:19:49
颈动脉斑块恶化有多快?医生再三提醒:若有6表现,已进入危险期

颈动脉斑块恶化有多快?医生再三提醒:若有6表现,已进入危险期

王二哥老搞笑
2026-11-22 16:23:01
CBA最新消息!上海男篮内讧,韩德君或被处罚

CBA最新消息!上海男篮内讧,韩德君或被处罚

体坛瞎白话
2026-11-22 09:19:56
突发!曝重庆酉阳“泰拳小将”李鹏科去世,年仅19岁,多次获得泰国级别冠军, 知情人曝细节

突发!曝重庆酉阳“泰拳小将”李鹏科去世,年仅19岁,多次获得泰国级别冠军, 知情人曝细节

裕丰娱间说
2026-11-22 10:27:55
2-1!姆巴佩飞点,贝林厄姆破门,奇兵拯救穆帅,皇马绝杀逆转豪取9连胜

2-1!姆巴佩飞点,贝林厄姆破门,奇兵拯救穆帅,皇马绝杀逆转豪取9连胜

我的护球最独特
2026-11-22 06:15:39
52分+53分+45分!历史首人,这就是他能拿3年1.6亿顶薪美金的原因

52分+53分+45分!历史首人,这就是他能拿3年1.6亿顶薪美金的原因

篮球扫地僧
2026-11-22 18:33:00
深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

深圳 APEC 世纪晚宴菜单曝光,以地道粤菜为主,同时融入国际菜肴元素,菜品设计考量了哪些核心因素?

贵重物品爱美食
2026-11-19 22:17:48
倒计时!U17国足vs摩洛哥生死战,中国队变阵,或押宝一人 冲平局

倒计时!U17国足vs摩洛哥生死战,中国队变阵,或押宝一人 冲平局

大秦壁虎白话体育
2026-11-22 19:06:44
不会吧,黄仁勋要加盟英特尔?

不会吧,黄仁勋要加盟英特尔?

财通社
2026-11-22 16:42:05
安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

安徽一女子晒出婆婆带娃一年半的前后对比,此前精致得体,带娃后变得不修边幅,看着老了十几岁,婆婆感慨:再也不羡慕别人当奶奶带孙子了

极目新闻
2026-11-21 22:17:27
为何说新西兰没几个中国人待得住?网友:待了几个月,都快疯了

为何说新西兰没几个中国人待得住?网友:待了几个月,都快疯了

乌克兰小静
2026-11-20 09:02:01
教育部通知:成立新机构

教育部通知:成立新机构

麦可思研究
2026-11-22 08:44:06
9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

9连胜!头号黑马冲到英超第4:连续3个3-0打爆3大豪强 创127年历史

风过乡
2026-11-22 08:12:54
佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

佛山富婆覆灭史:她的奢靡与荒唐,只有你想不到没有她做不到

锅锅爱历史
2026-11-22 05:13:05
手机NFC有多香?十个用手机的人里,九个都把它当成摆设

手机NFC有多香?十个用手机的人里,九个都把它当成摆设

小柱解说游戏
2026-11-22 15:03:26
2026-11-22 20:19:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142764关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

艺术
家居
房产
旅游
健康

艺术要闻

15幅 100多年前的风景油画

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

旅游要闻

山西临汾洪洞:一树藏千年文脉,一域系万家根魂

医生眼里"很伤腰"的椅子,很多人天天坐

无障碍浏览 进入关怀版