一条指令换个说法,机器人就抓瞎了。研究者让机器人「启动烹饪设备的热源」,原始策略却伸手去拿盘子,执行300步仍未完成任务。换上修改后的权重,同一个场景、同一条指令、同一个随机种子,机器人在第78步完成了任务。
![]()
完成这次修复的,是GPT-6 Astra。它被放在调试器的位置上,负责检查和修改机器人策略的权重。整个编辑过程没有做梯度更新,也没有新增机器人示范数据。
这项研究由Jusheng Zhang、Keze Wang和Liang Lin共同完成,论文题为《Can LLMs Debug Robots by Editing Their Weights?》。研究关心的是一个具体问题:机器人已经具备的操作能力,能否通过局部权重修改,被不同的语言表达更可靠地调用?
65行改在语言进入模型的地方
一条指令进入模型后,会先被拆成词元(token)。词元不一定等于完整英文单词。随后,模型按词元ID从嵌入表中取出对应的一行向量,后续网络处理的就是这些数值表征。
Astra最终保留的修改,集中在这张嵌入表上。它选出一部分词元,把向量移向更常见的任务表达,例如 cooker→stove、basin→bowl、fermented→wine。有些行采用目标向量,有些保留一部分原向量;遇到歧义,也可以使用多个目标向量的均值。
开场炉灶指令里的 cooking 就是一个具体例子。对应词元的嵌入被改为25%的原向量,加上75%的 stove 向量。输入给机器人的文字仍然包含 cooking,但进入后续网络的数值表示发生了变化。这一行属于整份65行修改,研究没有单独评估它的效果。
其余案例也保留了可检查的对应关系:酒瓶指令中的 fermented、grapes 被移向 wine;取碗指令中的 rounded 被移向 bowl,uppermost 被移向 top。完整词元映射和配对录像均已公开。
65行共改变132,768个参数值,占导出检查点的0.00367%。这里的「行」是嵌入表的行数,并非65个参数,也不是65行代码。
765条留出指令:48次修复,4次退化
一例成功视频还不能回答修改是否可靠。研究从同一个原始检查点分别开始三次编辑。候选确定后,再在同一组765条留出改写指令上与原始策略配对比较。
效果最好的C,将成功数从660提高到704:48个原本失败的回合成功了,同时有4个原本成功的回合失败,净增加44次成功。整体成功率从86.3%升至92.0%,提升5.8个百分点,精确配对检验 p=1.31×10⁻¹⁰。
把指令按是否读到被修改的嵌入行分开,变化的位置更清楚:
- 包含被改词元的335个回合,成功数从249增至293,对应74.3%→87.5%;
- 不包含这些词元的430个回合,成败结果逐一不变。
这种局部性有一个直接解释:如果指令没有读取被改动的行,查表得到的文本向量就相同。在相机观察、采样噪声等输入固定时,其余未改动的网络得到的计算输入也相同。但包含这些词元的其他新语境仍可能受到影响,不能据此保证模型在所有任务上都没有副作用。
取碗任务中,指令用「darkcolored rounded container」和「uppermost storage compartment」描述目标及位置。相同场景下,原始策略在220步超时,编辑后的策略在138步成功。酒瓶任务把目标描述为装着「fermented grapes」的玻璃容器,原始策略在300步超时,编辑后在90步成功。上述效果来自整份65行修改,未对单个词元分别做消融评估。
换一组同义词,就能做到吗?
一个自然的问题是:收益来自Astra找到了有意义的词汇对应关系,还是随便做一点参数扰动也能改善结果?研究对相同的65个源行做了两种对照。
第一种沿随机方向移动,移动距离与原修改匹配。第二种沿用Astra找到的词汇对应关系,把源嵌入完整替换为目标嵌入,也保留多目标均值的设置。这里比较的是嵌入值的完整替换,输入字符串没有被改写。
这次随机方向对照没有带来提升。完整替换则已经解释了相当一部分收益:成功率达到90.5%。这意味着,找到哪些词元需要改、应该移向哪里,本身就是修复的重要部分。
Astra编辑C的成功率为92.0%,点估计更高,退化也更少;但它与完整替换在763个有效配对上的直接比较 p=0.0614,尚未达到0.05的显著性标准。因此,现有结果没有确认「部分混合显著优于完整替换」,也没有证明它优于独立编制的人工词表、提示词改写或微调方法。
公开的16次机器人实验,还覆盖了相机视角、背景、语言扰动、指令后缀,以及LIBERO-RECOVER失败恢复和LIBERO-PRO鲁棒性搜索。按论文的最终决定统计,三次语言修复全部保留,且都有显著留出收益;其余13次搜索中有12次放弃候选,唯一计为保留的后缀跟进也没有显著留出收益,p=0.542。
失败恢复实验很能说明区别。一份修改让机器人空抓后更经常重新张开夹爪,但在一组练习评测中,真正完成任务的次数反而从213/352降到208/352。某个内部信号按预期变化,整个任务却没有变好。
论文标题问的是:LLM能靠修改权重调试机器人吗?这组实验对一类词汇理解失败给出了肯定结果:少量直接权重修改,让一批留出指令更可靠地调用了策略已有的操作行为。语言到动作的完整因果通路,目前还没有逐层定位。
验证范围也有明确边界。主留出测试使用同一随机种子;早期200条留出子集未检出显著提升,随后是在既有完整留出划分上评测同一候选。补充的多种子检查来自练习集,收益不均匀。所有已公开结果均来自仿真,尚未验证真机迁移或新运动技能的获得。
当前开源的是第一版(v1),第二版研究和真机实验正在进行。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.