网易首页 > 网易号 > 正文 申请入驻

具身智能 | 让 GPT-6 Astra 学会从失败中改进机械臂:一套可审计的自监督路线

0
分享至


具身智能 | 让 GPT-6 Astra 学会从失败中改进机械臂:一套可审计的自监督路线 0. 简介

GPT-6 Astra 作为具身策略候选,已经可以在视觉、语言、状态和工具接口之间组织复杂任务,但“完成一次操作”和“从连续失败中形成新能力”属于两个层级的问题。本文把自监督学习限定为冻结模型权重之后的系统改进:让 ManiSkill 的 TurnFaucet 生成可重置交互,让环境评价变成客观收据,再用 RoboICL 式记忆、Self-Harness 式运行时演化、Code as Policies 式受限程序和 PhysicalRSI 式真实反馈把失败转成下一轮实验。文章重点不在宣传某个单一项目,而在给出一条从观测、动作、归因、验证到影子部署的完整实现路径。

读完之后,读者应当能够回答四个实际问题:机械臂一次动作需要记录哪些事实,失败发生后如何判断责任落在感知、抓取还是控制,哪些改动可以被安全地自动试验,以及什么时候必须停止自监督循环。文章还把这些问题落实到收据字段、受限工具、记忆检索、候选补丁和影子模式的具体接口,读者可以据此搭建最小实验闭环,再逐步接入真实设备与外部低层策略。

1. 自监督的边界:更新运行时,而不是偷换模型 1.1 冻结权重仍然可以产生学习曲线

在本文的定义里,GPT-6 Astra 的参数、视觉编码器和基础推理能力在一轮实验内保持不变,改变的是围绕模型的运行时系统。系统可以增加一条经过验证的经验、调整观测摘要的顺序、修改工具的字段约束、加入恢复技能,或者替换一个更保守的动作过滤器。只要这些变化都能通过版本控制、轨迹回放和同样的评测协议复核,它们就构成了可测量的系统学习;如果只保留“这次看起来成功”的视频,没有状态、回执和对照实验,就还谈不上自监督。这里的冻结模型并不意味着系统停止变化,而是把变化集中到可以审查的 harness、记忆和安全规则上,让每一次改动都能被定位、比较和撤回。

1.2 三种结果必须分开写入日志

一次执行至少会产生三种结果:模型认为自己提出了什么,宿主程序允许了什么,环境最终判定了什么。语言模型可能提出一个语义上合理但坐标越界的位姿,安全层会拒绝它,环境因而没有发生动作;也可能动作通过检查却没有形成有效接触,任务评价仍然失败。三者混写会造成错误归因,所以每条记录都要保留decision、admission和outcome三个层级,并把拒绝当成有效的边界样本保存下来。

自监督循环可以被写成一个外部状态更新问题。这里的状态是 harness、经验库和评测协议的组合,不是模型参数本身;运行时学习要求每一轮都留下可重放的输入、动作和结果,而不是只保存一段看起来顺利的视频。记录边界还要覆盖版本、随机种子、失败标签和安全事件,只有这样,下一轮实验才知道自己究竟改变了哪一个条件:

其中 表示第 轮运行时配置, 是带环境回执的轨迹集合, 代表诊断、候选生成和回归门禁, 是 GPT-6 Astra 的冻结参数。换句话说,系统学习的对象从“神经网络内部权重”变成“可审查的外部决策条件”;这会牺牲一部分表达自由,却换来更清楚的回滚路径和安全边界。


2. 四份契约:让模型、环境和安全层说同一种语言 2.1 观测契约决定模型到底看见什么

观测契约不仅包括图像和关节角度,还要说明时间戳、相机身份、坐标系、缺失字段和数据新鲜度。两路相机的画面如果没有设备标识,模型无法判断视角变化来自机器人运动还是相机被替换;关节角度如果没有单位,0.2可能被解释成弧度、角度或归一化增量。建议为每次观测生成不可复用的observation_id,并把图像序列号、状态采样时间和坐标变换版本写进同一条记录,让后续的动作和反馈可以准确关联。

2.2 动作契约决定模型能提出哪些事情

动作契约应当把高层意图压缩成少数几个经过验证的原语,例如观察、检查路径、移动末端、设置夹爪和请求恢复。每个原语都需要列出输入单位、允许范围、前置条件、执行后回执和失败类型。对机械臂来说,move_eef不能只接受一段自然语言,而要明确位置坐标系、姿态表示、开度单位、最大步长和目标保持时间。工具越少,模型可表达的策略越窄;工具越多,组合错误越难审计,设计时要按任务需要逐步开放。

2.3 结果契约决定什么叫成功

结果契约由环境或控制器生成,模型只能读取,不能自行覆盖。它应当同时提供任务成功、阶段指标、终止原因和安全事件。例如水龙头任务需要区分“已经接近把手”“已经形成接触”“角度开始增加”和“达到目标旋转角”;真实 Piper 还要记录反馈是否新鲜、跟踪误差是否超限、是否触发软件预算。这里的关键是把过程证据和最终判定分开,让系统能够解释为什么一条轨迹接近成功却不能计入成功样本。

2.4 版本契约决定改动能否回滚

每条 receipt 都应当带有模型版本、harness 版本、工具 schema 版本、仿真器版本和随机种子。这样做不是为了让日志变得复杂,而是为了回答“某次成功究竟来自哪个变化”。如果只记录最终成功率,提示模板、经验检索和环境参数可能在同一轮一起变化,任何提升都无法归因。版本契约还应当把候选改动保存在独立分支,只有通过固定回放和留出测试,才允许把候选合并到当前运行时。

3. TurnFaucet:把接触任务拆成可以反复验证的阶段 3.1 水龙头操作为什么是合适的起点

ManiSkill 的TurnFaucet-v1把一个人类直觉上很简单的动作拆成连续的几何与接触约束:找到把手,调整末端姿态,闭合夹爪,沿正确方向施加旋转,并保持到环境确认目标角度。它同时考验视觉定位、姿态选择、夹持稳定性和时序控制,失败又可以在固定随机种子下重放。与真实设备相比,仿真环境可以批量重置、保存状态、改变摩擦与相机扰动,因此很适合先验证冻结模型能否读取反馈,再讨论外部策略训练。

3.2evaluate()是客观教师信号

在 ManiSkill 任务中,任务类的evaluate()会根据当前状态计算成功标志和阶段指标。自监督 harness 不应让 GPT-6 Astra 通过图像描述猜测“水龙头已经打开”,而应把evaluate()的结构化结果转换成 receipt。至少需要保存把手相对位姿、夹爪接触状态、旋转角度进展、距离变化、是否超时以及任务是否终止;这些字段共同构成下一步决策的反馈,也构成后续失败聚类的输入。环境评价优先于模型自评,因为只有环境掌握真实状态,才能区分“看起来靠近”与“已经建立有效接触”这两个经常被混淆的阶段。

下面的骨架对应 ManiSkill 常见的 reset、step、evaluate 调用关系,展示的是数据记录边界。实际运行时仍应依据当前版本任务源码确认观测键名和动作空间,不能把示例字段直接当作所有版本的稳定 API。结构化调用是回放接口,它让每次动作都能和同一时刻的观测、奖励、阶段指标以及终止原因对齐:

# mani_skill/envs/tasks/tabletop/turn_faucet.py: harness-side collection sketch


def rollout(env, policy, seed, horizon=160):
obs, info = env.reset(seed=seed)
trace = []
for t in range(horizon):
action = policy.act(obs, context=trace[-3:])
next_obs, reward, terminated, truncated, info = env.step(action)
metrics = env.unwrapped.evaluate()
trace.append({
"t": t,
"action": to_jsonable(action),
"reward": float(reward),
"metrics": to_jsonable(metrics),
"terminated": bool(terminated),
"truncated": bool(truncated),
})
obs = next_obs
if terminated or truncated:
break
return {"seed": seed, "trace": trace, "final_metrics": trace[-1]["metrics"]}

这段代码最重要的地方不是for循环,而是环境评价紧跟在动作之后。模型负责提出动作,环境负责报告状态,收据负责保存两者之间的关系。进一步看,reward可以帮助排序轨迹,metrics可以帮助解释阶段,terminated和truncated可以区分成功终止、失败终止与时间耗尽;它们不能被一个模糊的自然语言总结替代。

3.3 阶段信号如何指导恢复

水龙头任务适合展示一个常被忽略的问题:距离变小不代表接触已经建立,接触建立也不代表把手沿正确方向旋转。可以把任务划成靠近、对齐、夹持、旋转和确认五个阶段,每个阶段都拥有进入条件、退出条件和最大停留步数。若连续若干步距离改善但角度没有变化,系统应当判断为“接触或方向错误”,触发退回、换姿态或重新观察,而不是继续发送同一种动作。

过程奖励可以写成阶段变化与最终成功的组合,但最终成功仍由环境判定。这里的关键是让奖励解释轨迹变化,而不是替代任务定义;只有当阶段指标和终止条件同时保留,后续诊断才不会把局部进展误报成完成。工程实现中还应把每个阶段的阈值、采样周期和异常处理写入版本契约,避免同一公式在不同实验里被不同方式解释:

其中 是轨迹长度, 是距离改善, 是旋转进展, 表示接触是否成立, 表示越界或超时惩罚, 是最终成功。直观理解是,过程奖励告诉系统“哪一步开始变好”,最终成功告诉系统“任务是否真的完成”;把两者分开,才能避免模型停在把手附近却被误判为会开水龙头。


4. 从图像到动作:给模型一条可检查的控制通道 4.1 观测摘要不等于图像描述

模型需要的是能够改变下一步决策的信息,而不是把画面里所有物体逐一复述。一个有效摘要应当包含目标候选、相对方向、遮挡状态、末端当前姿态、最近一次动作、动作结果和剩余预算。对接触任务,还要明确哪些信息只是视觉猜测,哪些信息来自环境状态或控制器确认。摘要生成器最好保持字段稳定,让模型学会比较同类状态,而不是每轮面对不同句式重新猜测数据结构。

4.2 动作空间要从连续控制压缩成原语

冻结语言模型不适合直接输出高频关节电流,因此需要一个中间动作空间。末端位姿、有限长度的路径块和夹爪开度是比较容易解释的原语;高频轨迹跟踪交给规划器或外部控制器。每个原语都要有明确的拒绝条件,例如位姿不可达、姿态变化过大、路径穿过禁区、反馈过期或当前任务阶段不允许闭合夹爪。把这些约束写进工具 schema,模型才会逐渐形成“什么动作在当前状态可用”的运行时经验。

4.3 受限调用比长文本更容易回放

工具调用应当使用严格 JSON 或函数 schema,文本说明只能作为审计备注。模型输出的动作需要先经过类型检查、单位检查、限位检查和路径检查,再交给执行器或仿真环境。动作被拒绝时,回执必须给出可诊断的原因,例如stale_observation、out_of_workspace、invalid_quaternion或phase_not_allowed。这比返回一句“动作失败”更有价值,因为下一轮候选改动可以针对具体错误进行验证。

下面的结构体现了一个最小但完整的决策接口。它来自本地 Piper 影子适配器所采用的责任划分:模型只提出观察或提案,宿主负责检查和记录,执行能力由独立模块决定。动作提案必须可拒绝、可追踪、可回放,这样运行时学习才不会把自然语言中的模糊意图直接变成不可逆的硬件动作:

{
"name": "propose_joint_step",
"arguments": {
"observation_id": "obs-0184",
"joint_delta_deg": [0.0, -2.0, 0.0, 0.0, 0.0, 0.0],
"note": "Move only after both camera frames advance and the target remains visible."
}
}

这里的关键是observation_id。它阻止模型把旧图像上的动作重放到新状态,也让审计人员可以从一条提案回溯到具体相机帧。对真实设备,还要把动作模式、执行可用性和安全预算放入回执;只要适配器处于 shadow mode,accepted只能说明软件检查通过,不能被写成机械臂已经移动。进一步看,经验卡片不是动作宏:它只能提示当前条件下应该检查什么,最终位姿仍必须根据最新观测重新计算并再次经过 guard。

5. 经验收据:从“失败了”追到第一处违反条件 5.1 一条 receipt 应该保存什么

一个可复用的经验至少包含任务名、随机种子、观测标识、动作参数、执行回执、环境评价、失败分类、版本号和下一观测标识。图像可以保存哈希和低分辨率预览,原始帧按实验需要归档;关键是未来能够知道模型当时看到的是什么、动作为什么被接受或拒绝、环境给出了什么判定。收据还应当保存父轨迹关系,让恢复动作能够指向它修复的那一次失败,而不是孤零零地出现在记忆库里。

# GPT6-Piper/policy_adapter.py: receipt normalization pattern


def normalize_transition(observation, decision, result, evaluation, version):
return {
"observation": {
"id": observation["observation_id"],
"camera_sequences": observation["camera_sequences"],
"state_hash": hash_state(observation["robot_state"]),
},
"decision": decision,
"admission": result.get("accepted", False),
"admission_reason": result.get("reason"),
"evaluation": evaluation,
"harness_version": version,
"failure_type": classify_failure(result, evaluation),
}

这段结构把模型输出、软件 admission 和环境评价分成三个字段,避免后续分析把安全拒绝当成控制失败。对于仿真任务,evaluation可以来自evaluate();对于 Piper 影子模式,评价只能写成“提案已记录、物理执行未发生”,不能伪造抓取或抬升成功。数据越接近真实部署,状态哈希、设备标识和时间戳越不能省略。

5.2 信用分配要寻找第一处失效

机械臂一条轨迹的最终失败往往发生在最后一步,但根因可能在更早的观测、姿态或夹持阶段。建议把任务写成一串条件链:目标可见、末端到位、夹爪接触、角度增加、目标达标。轨迹分析先找到第一处从满足变成不满足的条件,再决定候选改动属于观测摘要、动作过滤、恢复技能还是低层控制。这样可以避免“最后没成功就重写全部策略”的粗糙做法,也让每个候选修改都能对应到具体失败证据。


第一处失效可以用一个离散索引表达。第一处失效不是为了给轨迹贴上漂亮的解释,而是为了限定下一轮实验只修复一条最早违反的条件,避免把多个变量一起修改后失去因果线索。索引计算还应保留原始时间戳和观测编号,使人工复核能够回到触发条件的那一帧,而不是凭最终画面倒推原因:

其中 是第 个阶段条件, 是与该阶段对应的改动类别, 是轨迹中最早违反条件的位置。这个定义不要求模型解释所有事情,只要求系统优先修复最早、最可验证的缺口;如果观测已经丢失,后面的姿态和接触判断都不可靠,继续优化后段动作只会放大噪声。第一处失效可以类比车道偏离:车辆最后撞上护栏并不代表护栏是根因,真正需要修复的是最早发生的偏离和没有及时纠正的环节。

5.3 失败标签需要可操作

“视觉不好”“动作不对”这类标签无法指导实验。更实用的分类包括missing_target、stale_frame、pose_unreachable、grasp_not_closed、contact_stalled、wrong_rotation、timeout和safety_reject。标签生成可以先由确定性规则完成,再由 GPT-6 Astra 补充自然语言解释,最后检查解释是否引用了真实字段。标签的质量可以通过人工抽样和重复归类评估,不能因为语言描述流畅就默认分类正确。

6. RoboICL 式记忆:检索教训,不复制旧动作 6.1 记忆条目应该描述条件和边界

一条经验只有在说明适用条件时才有迁移价值。建议保存任务目标、场景关系、失败类型、关键状态变化、采取的恢复动作、结果和不可迁移条件。例如“接触后角度不变时先退回两厘米”只适用于某种把手几何、相机视角和末端速度范围;如果相机标定、夹爪或物体尺寸改变,记忆只能作为文字教训,不能直接变成动作。RoboICL 所体现的有界上下文思想,正好提醒我们控制系统必须限制检索数量和注入长度。

6.2 检索应当先过安全门

经验检索顺序应当是任务和失败类型筛选、场景条件检查、版本兼容检查、安全标签检查,最后才是语义相似度排序。这样做会牺牲一些表面上的相似样本,却能避免把一个旧相机坐标系下的成功动作重放到新工作台。检索结果还要标注来源是仿真、影子模式还是物理验证;不同证据等级不能在同一列表里被等价使用。

# RoboICL-style bounded retrieval with safety predicates


def retrieve(query, memory, k=3):
pool = memory.search(task=query.task, failure=query.failure, top_k=20)
safe = []
for item in pool:
if item["harness_major"] != query.harness_major:
continue
if not scene_matches(item["preconditions"], query.scene):
continue
if item["evidence_level"] == "shadow_only" and query.requires_physical:
continue
if not item["safety"]["portable"]:
continue
safe.append(item)
return rerank_by_embedding(safe, query.embedding)[:k]

这段代码把“相似”放在“可迁移”之后,体现了机械臂记忆和普通文本检索的差别。检索器不是为了给模型最多例子,而是为了给模型少量、条件清楚、证据等级透明的例子。换句话说,记忆库应该像维修手册,告诉系统在什么故障下采用什么检查步骤,而不是像录制宏一样把过去动作原封不动地播放出来。

直觉理解:经验库更像维修手册,而不是录像带。维修手册会说明故障出现的前提、检查顺序和不能套用的场景;录像带只会重复旧动作,却无法告诉系统为什么这次动作有效。
6.3 记忆更新也需要反例

如果只保存成功轨迹,模型会逐渐形成过度乐观的经验库。每条成功记忆都应当配一条相近但失败的对照,例如同一目标在不同夹爪高度、不同摩擦或不同遮挡下的结果。对照样本能帮助模型理解边界在哪里,也能在检索时提醒它不要把“看起来相似”误认为“动力学相同”。记忆条目的权重可以随验证次数、跨种子复现和安全事件动态调整,但不能只按语言模型的自评打分。

7. Self-Harness 与 Zetta:怎样提出最小改动 7.1 先挖掘弱点,再决定改哪里

Self-Harness 把自我改进拆成 Weakness Mining、Harness Proposal 和 Proposal Validation 三个阶段,这个拆分对机器人很有用。弱点挖掘从轨迹中找出模型特有的失败模式;提案阶段生成尽可能小的运行时修改;验证阶段用回归测试决定保留或丢弃。Zetta-Embodiment 的演化协议也强调从失败轨迹出发形成诊断、候选和验证循环。两者提供的是方法论参考,不能被表述成 GPT-6 Astra 已经自动具备了自我改写能力。

7.2 候选改动要有“影响面说明书”

每个候选都应当包含四项内容:它针对哪一类失败,改动哪些文件或字段,可能损害哪些旧任务,以及用什么指标判定接受。比如把观测摘要改成阶段化结构,可能改善水龙头任务的恢复,却增加上下文长度;把动作步长减半,可能减少碰撞,却造成任务超时;加入一个强制重新观察步骤,可能降低错误抓取,却增加模型调用成本。影响面说明书迫使系统在提交候选时同时思考收益和代价。

7.3 用最小差异保持可解释性

一次候选只改一个主要因素,才能从结果中判断它为什么有效。提示模板、经验检索、工具 schema 和控制参数同时变化时,即使成功率提升,也不知道是哪一层起作用。工程上可以把候选表示为 patch,自动检查变更行数、依赖范围和新增权限;候选越大,所需的验证任务越多。小差异并不保证一定安全,却让失败更容易定位,也让回滚只需要恢复一个版本。

候选接受可以用多目标约束表示。这里的候选是提示、记忆、工具约束或受限程序的一次小修改,接受条件必须同时覆盖目标任务、留出任务、安全事件和运行成本,不能只看单一成功率。还要明确每个指标的统计窗口、最低样本量和失败时的回滚动作,避免一次偶然波动被误判为稳定提升:

其中 是候选改动, 是成功率变化, 是安全事件变化, 是调用或执行成本变化, 与 是项目阈值。这里要厘清的是,候选不是在一个总分上竞争,而是在成功、泛化、安全和成本之间同时满足约束;只要安全事件上升,即使目标成功率提高,也不应自动合并。


8. Code as Policies:用受限程序表达恢复,而不是放开系统权限 8.1 时序逻辑适合写成小程序

“观察两次,确认目标移动后再接近;接触后角度连续两步不变,就退回并换姿态”是时序逻辑,长提示可以描述它,却不一定能稳定执行。Code as Policies 提供了一个有启发性的表达方式:让模型生成调用工具的程序,再由宿主执行。对机械臂场景,程序可以拥有有限循环、条件判断和受控工具调用,但不能访问网络、文件系统、任意 Python 模块或未登记的机器人 SDK。

8.2 AST 白名单是最低限度的隔离

策略代码首先经过 AST 检查,拒绝动态执行、未登记函数、无限循环和大对象分配,然后在沙箱中运行。每一个工具调用仍然要经过动作 schema 和安全 guard,代码只能决定调用顺序,不能修改限位、关闭急停或伪造环境评价。静态检查无法理解真实物体和摩擦,因此通过 AST 只代表程序可控,不代表物理动作安全。

# code-as-policies: restricted policy validator
ALLOWED = {"observe", "check_path", "move_eef_chunk", "set_gripper"}
MAX_ITERS = 10


def validate(tree):
for call in find_calls(tree):
if call.name not in ALLOWED:
raise ValueError(f"unapproved tool: {call.name}")
for name in find_names(tree):
if name in {"eval", "exec", "__import__", "open"}:
raise ValueError("dynamic execution and I/O are disabled")
if max_loop_iterations(tree) > MAX_ITERS:
raise ValueError("loop budget exceeded")
return compile_in_sandbox(tree)

这段代码的工程价值在于把模型的创造性限制在一个可以被测试的语言子集里。策略生成器可以尝试不同的恢复顺序,但每次动作都要产生 receipt,超过循环预算就必须停止。对真实设备,还应加入人工批准点:候选程序先在仿真环境运行,再进入影子模式,最后由操作员选择极少量、可中止的硬件试验。

9. 评测协议:把“学会了”拆成四个可复核的命题 9.1 同种子回放检查是否真正修复

候选首先在产生失败的同一批种子上重放。如果原来的失败在候选版本中消失,说明改动确实触及了目标轨迹;如果同种子结果都不稳定,说明候选本身还没有形成可靠行为。回放时要锁定模型版本、环境版本、随机种子和观察裁剪策略,不能让候选通过改变实验条件获得表面提升。

9.2 留出种子检查是否发生过拟合

同种子提升可能只是记住某些初始位姿,因此必须使用未参与诊断的种子和场景进行测试。留出集应当包含不同目标位置、相机扰动、摩擦系数和动作延迟,并按场景而不是按相邻帧随机切分。对小样本任务,应报告每个种子的结果和置信区间,不能只给一个平均百分比;平均值掩盖的失败模式往往正是下一轮最需要修复的部分。

9.3 相邻任务检查能力是否退化

自监督改动常常具有局部收益。一个专门针对旋转方向的规则可能改善水龙头,却让插入、堆叠或双臂传递任务出现更多拒绝。回归集合应当包含目标任务、相似任务、不同动作类型任务和安全边界任务,分别检查成功率、超时、拒绝、路径长度、模型调用次数和安全事件。若候选只改善一个任务而损害多个邻近任务,应退回重新拆分,而不是直接保留。

9.4 证据等级决定能否晋升

仿真成功、影子提案通过和真实物理成功属于三种证据等级。仿真可以支持大规模筛选,影子模式可以验证真实观测和安全链路,硬件试验才可以验证接触与执行,但硬件样本数量通常很少、成本很高且风险不可逆。报告必须在图表和文字中显式标注证据等级,不能把仿真成功率写成真实机械臂成功率。

10. 训练与推理成本:自监督不等于免费试错 10.1 模型调用预算要进入目标函数

每次观察都可能需要图像编码、模型请求和工具回执,过度追求恢复会把成本和延迟推高。系统可以把模型调用次数、轨迹长度、仿真步数和人工复核时间记录为成本项,并在候选门禁中设置上限。一个成功率略高但需要四倍调用的策略,是否值得采用,要看任务价值和失败代价;把成本从报告里删掉,会让系统优化方向产生偏差。

10.2 经验库增长会带来检索噪声

随着实验轮次增加,记忆库会包含相似但条件不同的轨迹。检索器需要去重、过期、冲突检测和证据等级筛选,不能无限堆叠上下文。建议保留原始 receipt 的不可变版本,同时生成小型的经验卡片;经验卡片可以被更新,原始证据不能被覆盖。对同一失败类型存在互相矛盾的恢复策略时,应优先回到环境指标和适用条件,而不是让语言模型凭语气强弱选择。

11. PhysicalRSI 视角:真实世界反馈如何回到循环 11.1 物理反馈不是仿真 reward 的替身

PhysicalRSI 所代表的研究方向,把机器人在物理世界中的交互、能力缺口发现和后续训练或评测串成递归过程。对 GPT-6 Astra 而言,真实反馈需要加入视觉之外的证据,例如触觉、力矩、夹爪电流、温度、通信状态和人工接管事件。相同的“没有成功”在物理世界可能意味着抓取滑移、物体卡住、相机遮挡、控制延迟或硬件故障,若不区分这些原因,系统会把设备问题错误地学习成动作规则。

工程价值:把真实机械臂留给确认实验,类似新车先在封闭场地测试刹车,再上公共道路。仿真承担大量可重复试验,影子模式检查传感器与软件链路,少量硬件试验只负责揭示仿真遗漏的物理因素。
11.2 真实实验应该只承担确认职责

高频数据生产优先放在仿真和影子模式,真实机械臂只承担少量候选确认和分布差异诊断。每次硬件试验前,先检查急停、工作区、限位、通信、相机和人工接管;试验中限制动作步长、速度、持续时间和尝试次数;试验后进行设备检查并把异常写入 receipt。真实反馈的价值在于揭示仿真遗漏的因素,不在于替代大规模仿真采样。

11.3 sim-to-real 需要记录不确定性

仿真可以随机化相机延迟、摩擦、质量、接触刚度和控制噪声,但仍然无法覆盖所有真实变化。候选从仿真晋升到影子模式时,应当附带不确定性说明:哪些变量已经测量,哪些仍是假设,哪些失败现象只在仿真出现。这样的记录让后续实验知道应该优先采集什么数据,也防止模型把仿真中的精确几何当成现实中的测量事实。


12. Piper 影子模式:在真实观测上练习拒绝 12.1 本地安全层能验证什么

本地 Piper 适配器通过只读接口获取相机和状态,模型输出的是 joint step 或 gripper proposal,ProposalGuard检查反馈新鲜度、相机身份、关节范围、步长和会话预算。它能够验证模型是否会读取最新观测、是否重复旧提案、是否在状态不完整时停止,也能够验证安全层是否稳定拒绝越界动作。它不能验证物体是否被抓起、接触力是否足够或真实轨迹是否完成,因此所有 receipt 都必须保留execution_available=false这样的状态。

12.2 影子数据如何进入自监督循环

影子模式的每个回合都可以经过同样的收据规范化、失败分类和候选评测,只是结果标签要写成“提案行为”而不是“物理成功”。例如模型在相机帧过期时主动请求观察,这是一个有价值的安全行为;模型提出了合法关节步,却没有真实执行,这不能作为抓取成功样本。把两类样本分开,既能训练运行时改进,也能防止经验库被虚假的硬件成功污染。

# GPT6-Piper/policy_runner.py: shadow-only decision boundary


def shadow_turn(adapter, model, previous=None):
obs = adapter.observe()
if not obs["proposal_ready"]:
return {"status": "blocked", "executed": False,
"blockers": obs["blockers"]}
decision = model.decide(adapter.agent_turn(obs, previous))
result = adapter.handle(decision)
return {
"status": "shadow_decision",
"executed": False,
"execution_available": False,
"observation_id": obs["observation_id"],
"decision": decision,
"result": result,
}

这段代码把“可以继续研究”和“可以驱动硬件”彻底分开。模型仍然可以看到真实视觉与状态,仍然可以被拒绝反馈纠正,但任何通过 guard 的提案都不会被包装成已经发生的动作。这里的关键是保留失败的上下文:如果模型在反馈不一致时停下来,下一轮 harness 应该把这种保守行为作为成功的安全证据,而不是只统计任务是否完成。

12.3 视觉反馈必须标注为弱证据

本地视觉反馈模块可以比较目标中心、表观大小和关节变化,帮助判断某次动作是否可能改变了观察,但它不能从 RGB 推断深度、接触力或抓取完成。对于自监督循环,视觉变化最多标记为weak_evidence,只有多视角一致、状态反馈合理且任务条件满足时,才升级为可复用的成功样本。这样的证据分级会降低数据量,却能减少错误自我强化。


13. 一轮实验如何从失败走到候选合并 13.1 第一步是冻结实验条件

先固定 GPT-6 Astra 的模型标识、系统指令、工具 schema、环境版本、随机种子集合和评价脚本,建立一个不可修改的基线。基线不需要很高的成功率,但必须能够完整保存观测、动作、回执和失败标签。没有基线,后续候选就没有参照;没有冻结条件,候选之间的差异就无法归因。

13.2 第二步是选择一个失败簇

从一批轨迹中选择数量足够、条件相近且证据完整的失败簇,例如“已经接触但角度连续不变”。不要同时修复视觉、抓取和规划三个问题,否则候选会变得过大。先检查失败簇内部是否来自多个真实原因,再选出最早违反条件的共同点。这个步骤需要人工抽样,因为自动聚类只能提供线索,不能代替对轨迹的理解。

13.3 第三步是提出并隔离候选

候选可以是一个新的阶段化观测摘要、一条带安全前置条件的记忆,或一个限制循环和动作步长的策略程序。候选必须写出预期改善指标、潜在回归任务、权限变化和回滚方式,然后在独立环境中运行静态检查。候选分支不得修改基线 receipt,也不得共享会改变结果的缓存;这样才能保证同种子比较真正公平。

13.4 第四步是逐级晋升

先同种子回放,再留出种子,再相邻任务回归,最后进入真实影子模式。如果候选在任何一层不满足门禁,就保留诊断结果并回滚。只有当真实影子模式也能保持观测新鲜、拒绝逻辑稳定、预算不超限,才值得安排极少量硬件确认。晋升是证据逐层增加的过程,不是一次发布按钮。


14. 结语:把“会改进”变成可追责的工程属性

让 GPT-6 Astra 完成自监督学习,核心工作不是寻找一条神秘的自我训练 API,而是把每个决策变成可以复核的事实,把每个失败归因到最早的失效条件,把每个候选改动放进同种子和留出种子的回归门禁,再以影子模式连接真实观测。ManiSkill 给出可重置的接触任务,RoboICL 给出有边界的经验检索,Code as Policies 给出受限时序程序,Self-Harness 和 Zetta 给出运行时演化协议,PhysicalRSI 给出物理反馈递归的长期方向;GPT-6 Astra 在这套系统中承担语义判断和候选策略生成。只要模型、harness、环境和安全层的责任边界始终清楚,系统才可能在不掩盖失败的前提下逐步提高控制能力。

15. 参考资料与延伸阅读

  • • ManiSkillTurnFaucet-v1:https://github.com/mani-skill/ManiSkill/blob/main/mani_skill/envs/tasks/tabletop/turn_faucet.py

  • • Zetta-Embodiment:https://github.com/air-embodied-brain/Zetta-Embodiment

  • • Self-Harness:https://arxiv.org/abs/2606.09498

  • • PhysicalRSI:https://mmlab.hk/research/PhysicalRSI

  • • RoboICL:https://github.com/Mosi-AI/RoboICL

  • • Code as Policies:https://code-as-policies.github.io/

  • • GPT-6 Astra 具身评测:https://arxiv.org/html/2609.38537v1

  • • 中文圆桌参考:https://m.aitntnews.com/newDetail.html?newId=29360

  • • GPT-Policy 项目:https://cheng-haha.github.io/GPT-Policy/

  • • RoboDojo 代码:https://github.com/RoboProbe/RoboProbe

更多ROS、具身智能相关内容,请关注古月居

关注我们,发现更多有深度的自动驾驶/具身智能/GitHub 内容!

Mbot具身智能实验室

让尖端科技触手可及,人人皆可探索未来


Mbot基础交流群等你加入,下方扫码联系

具身-杰西

Mbot具身-小助手

Mbot-视频号

Mbot-公众号

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
比实体店关店更恐怖的是:中国正在失控的商铺空置潮持续扩大

比实体店关店更恐怖的是:中国正在失控的商铺空置潮持续扩大

说故事的阿袭
2026-11-13 12:03:15
取消特权,全民赞成!退休金设计者郑秉文,55年出生,他会怎样?

取消特权,全民赞成!退休金设计者郑秉文,55年出生,他会怎样?

棠棣分享
2026-11-07 00:22:19
我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

我表弟有幸,跟黄乐在上海的投资公司当过同事,他说:黄乐最让人着迷的根本不是她的外貌,而且网上那些照片,也不如本人好看

一盅情怀
2026-11-11 15:52:58
日本尝到屈辱外交了,高市1天内两次“呲牙”,对方连道歉都没给

日本尝到屈辱外交了,高市1天内两次“呲牙”,对方连道歉都没给

锅锅爱历史
2026-10-06 17:27:18
入冬后洗澡禁忌!建议大家:这 5 个时间段别洗,很多人不当回事

入冬后洗澡禁忌!建议大家:这 5 个时间段别洗,很多人不当回事

Home范
2026-11-18 12:16:56
巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

巨亏百亿!小米汽车销量“赢麻了”,生意咋亏麻了?

大厂财经社
2026-11-16 11:14:16
当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

当着全世界的面!日本给赖清德“当头一棒”,祖国统一众望所归

阿器谈史
2026-10-18 16:00:56
钱永健在俄勒冈骑行途中猝然离世,一辈子留在美国深耕科研,走到生命终点,他或许读懂伯父钱学森归国抉择里,时代裹挟的万般无奈

钱永健在俄勒冈骑行途中猝然离世,一辈子留在美国深耕科研,走到生命终点,他或许读懂伯父钱学森归国抉择里,时代裹挟的万般无奈

磊子讲史
2026-11-18 17:13:05
从确诊到去世仅15天,“央视最帅主持人”的遭遇为人们敲响警钟

从确诊到去世仅15天,“央视最帅主持人”的遭遇为人们敲响警钟

银河史记
2025-11-03 19:31:33
郭正亮:黄岩岛是美国底线!若中国敢填海,美国将直接炸毁

郭正亮:黄岩岛是美国底线!若中国敢填海,美国将直接炸毁

阿芒娱乐说
2026-11-18 14:06:05
广东建立蚊子工厂,用羊血喂养,每月释放3000万只,目的竟是要以蚊治蚊?靠谱吗?

广东建立蚊子工厂,用羊血喂养,每月释放3000万只,目的竟是要以蚊治蚊?靠谱吗?

狸猫之一的动物圈
2026-11-18 09:00:39
派出所、民政部门联合入户排查,上门主要核查这五项内容

派出所、民政部门联合入户排查,上门主要核查这五项内容

江启
2026-11-17 10:57:26
票房担当!王楚钦以12号种子参加香港总决赛,同时登上WTT首页头条,兼项搭档孙颖莎冲混双冠军

票房担当!王楚钦以12号种子参加香港总决赛,同时登上WTT首页头条,兼项搭档孙颖莎冲混双冠军

詹妹侃体育
2026-11-18 19:36:16
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
黄仁勋事件,美国政府突然回过味来

黄仁勋事件,美国政府突然回过味来

牛弹琴
2026-11-18 07:40:33
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
干得漂亮!央视切断开拓者比赛信号,开拓者外网官推被冲,球迷要求解雇诺里,杨瀚森有人为你出头了

干得漂亮!央视切断开拓者比赛信号,开拓者外网官推被冲,球迷要求解雇诺里,杨瀚森有人为你出头了

詹妹侃体育
2026-11-18 17:40:55
黄仁勋离开英伟达后,他的儿子、女儿、女婿也会被赶走吗?

黄仁勋离开英伟达后,他的儿子、女儿、女婿也会被赶走吗?

新商业派
2026-11-18 19:51:07
性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

性生活是不是人的刚需?网友说:男性性生活是刚需,女性不是!

黯泉
2026-11-09 17:39:59
李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

李宗伟现状:瘦到快脱相,吃饭都很痛苦,已是马来西亚羽总主席

青梅侃史啊
2026-09-26 16:37:23
2026-11-18 20:48:49
杰西讲具身 incentive-icons
杰西讲具身
一名分享AI前沿的分享官,专注具身智能前沿知识
183文章数 1关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
教育
健康
家居
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

医生眼里"很伤腰"的椅子,很多人天天坐

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版