KAIST与微软亚洲研究院如何让机械手臂从失误中自我修正

这项由韩国科学技术院（KAIST）与微软亚洲研究院（东京）联合开展的研究，于2026年6月17日以预印本形式发布，编号为arXiv:2606.18953，感兴趣的读者可通过该编号检索完整论文。

你有没有见过一个厨师在厨房里表演到一半突然卡壳的样子？他平时什么菜都能做，但今天就是差那么一点点火候，汤勺举在半空，就是放不到正确的位置。这种"明明会但偏偏做不好"的尴尬，正是当前机器人领域最棘手的难题之一。

现代的机械臂系统有一种叫做"视觉-语言-动作模型"（VLA，可以理解为机器人的"大脑"）的东西。这个大脑是靠学人类的操作视频来学会干活的，就像徒弟看师父示范。问题在于，人类操作从来都不是百分之百精准的，而机器人在执行任务时，一点小偏差就会像滚雪球一样越滚越大，最终让整个任务彻底失败。

KAIST和微软亚洲研究院的研究团队注意到了这个问题，并提出了一种聪明的解决方案：与其让机器人大脑从头开始重新训练（既费钱又危险），不如给它配一个专门"纠错"的小助手——而且这个助手只需要在电脑里的虚拟世界中练习，就能直接搬到真实机械臂上使用，完全不需要适应期。研究团队在一台真实的Franka Research 3机械臂上验证了这套方案，让任务成功率从42%跃升至76%，这一结果令人印象深刻。

一、从"会做"到"做好"——机器人为什么会卡壳

要理解这套方案究竟解决了什么问题，先要搞清楚机器人的大脑是怎么出错的。

机器人大脑的学习方式，和人类看菜谱学做菜非常相似。研究人员让人类操作员拿着机械臂做示范，机器人把这些示范记下来，之后就照着模仿。这种方法叫"模仿学习"，好处是不需要手把手编程，坏处是机器人只会模仿，不会随机应变。

一旦现实环境和示范时的环境有哪怕一点点不同——桌子上的碗放歪了一厘米，光线角度不对，物体表面反光方式变了——机器人就会越来越迷糊，然后一步错步步错，最终整个任务都失败了。就像一个学生把答题步骤背得滚瓜烂熟，但题目稍微换了个说法，他就完全不会了。

面对这个问题，研究人员自然会想到用强化学习（RL）来解决——这是一种让机器人通过不断尝试、犯错、调整来提升技能的训练方式，类似于人类通过反复练习来掌握骑自行车。但是，直接对现代VLA大脑做强化学习训练有一个大麻烦：这些大脑通常用一种叫"扩散模型"或"流匹配"的方式来生成动作，这类方式在数学上不适合直接用强化学习来改造，就像你想给一台精密仪器换零件，但发现螺丝口根本对不上。

在真实机器人上做强化学习还有另一层风险——机器人在"摸索"阶段会做出各种奇怪的动作，可能损坏设备，也可能伤人，成本和安全隐患都很高。

二、三条老路都走不通，那就另辟蹊径

在这项研究之前，行业里已经有三条解决思路，但每一条都有致命缺陷，就像三条通向目的地的路，每条都有一段绕不过去的坑。

第一条路叫"蒸馏法"：在虚拟世界里用拥有所有秘密信息（比如精确的物体位置、接触力等）的"老师"来训练一个精确的纠错策略，然后把这个策略"压缩"传授给只能看摄像头图像的"学生"策略，再搬到真实机器人上。问题是，这种"知识压缩"过程会有损耗，就像把高清视频压缩成低画质版本，细节不可避免地丢失了。

第二条路是直接用摄像头图像训练纠错策略。但虚拟世界里的图像和真实世界的图像差得太远——虚拟世界里的光影、材质、背景都是程序生成的，而真实世界里有灰尘、反光、复杂背景。这种差距叫"视觉域间差异"，让在虚拟世界练出来的策略根本认不出真实世界里的东西。

第三条路是直接在真实机器人上做强化学习训练。这样自然不存在虚拟和现实的差距，但成本极高，而且每次机器人"探索"失败都有损坏设备或发生事故的风险，就像为了学会开车而直接在高速公路上闯荡。

三条路都走不通，研究团队换了一个角度想问题：与其想办法弥合虚拟和现实之间的差距，不如从一开始就选择一种在两个世界里都能保持一致的"语言"来描述世界。

三、物体的"位置和姿态"——两个世界通用的密码

研究团队发现，问题的根源在于纠错策略"看世界"的方式不对。如果用摄像头图像来看，虚拟和现实就是两个完全不同的世界；但如果用物体的空间位置和朝向（研究者称之为"6自由度物体姿态"，可以理解为物体在空间中的精确坐标加上它面朝哪个方向）来描述世界，那虚拟和现实之间的差距就几乎消失了。

无论是虚拟世界还是真实世界，一个红色方块放在桌子上，它的位置和朝向就是那么一个数字，描述方式是一致的。就像无论你是在地图APP上还是现实中，北京天安门广场的经纬度坐标永远不变。

更妙的是，现实中确实存在成熟的工具可以从摄像头图像中准确估计物体的位置和朝向。研究团队使用了一个叫FoundationPose的工具来追踪物体姿态，再加上SAM2来识别图像中的具体物体，就能从真实摄像头画面中实时提取出和虚拟世界完全对应的数字描述。

基于这个关键洞察，研究团队设计了一套三阶段的完整方案，他们将其称为"以物体为中心的残差强化学习框架"。

四、三个阶段，把两个世界的机器人连接起来

整个方案分为三个环环相扣的阶段，就像一个接力赛，每个阶段的成果都会传递给下一个阶段。

第一阶段的任务是打造一对"孪生大脑"。通常的做法是，让人类操控员操作真实机械臂示范任务，然后用这些数据训练真实机器人的大脑。研究团队在这个基础上多做了一步：把同样的操作数据在MuJoCo虚拟物理引擎中的模拟环境里重新"回放"一遍，再用回放数据训练一个虚拟世界里的大脑。这样就得到了两个用同样数据、只是分别生活在真实和虚拟世界里的"孪生大脑"。因为它们学的是同样的操作动作，所以它们的行为习惯——包括犯错的方式——也是高度相似的。

这个设计的精妙之处在于：虚拟世界不需要做得多真实、多好看。研究团队只需要把物体的几何尺寸量一量，在模拟器里用简单的几何形状搭出来就够了。虚拟世界里的机器人看起来和真实世界里的不一样，但它们的动作习惯几乎一致，这才是关键。

第二阶段是在虚拟世界里训练纠错助手。这个纠错助手叫做"残差策略"，它观察三类信息来做决策：第一类是物体的6自由度姿态，也就是任务中相关物体的空间位置和朝向；第二类是机械臂当前的状态，比如末端执行器（机械手）的位置和夹爪是否张开；第三类是主大脑当前正在执行的动作指令。纠错助手看着这三样东西，计算出一个"修正量"，叠加到主大脑的动作上，让最终的合成动作更准确。

纠错助手使用TD3算法（一种成熟稳健的强化学习算法）进行训练，通过在虚拟世界里反复尝试和错误来学习。每个任务都设计了分阶段的奖励信号：比如"搬起物体"任务会依次给"接近物体""抓住物体""举起物体"这几个步骤分别提供奖励，引导策略一步步学会完整流程。

为了让这个在虚拟世界练出来的纠错助手能直接用在真实机器人上，研究团队还做了两项专门的"抗干扰训练"。一项是在训练时给物体姿态数据加入随机噪声——每个时间步都对位置坐标加一个小随机偏移，对朝向角度也加一个小随机扰动，让策略习惯于在不完全精确的姿态数据下也能做出正确判断。这个噪声幅度的设计参考了Intel RealSense D435深度摄像头的真实测量误差范围（约2.5至5毫米）。另一项是以10%的概率直接把全部物体姿态数据清零，强迫纠错助手在看不到任何物体信息的情况下，也能靠机械臂状态和主大脑动作指令来做出合理的兜底行为。

第三阶段是零样本迁移部署。"零样本"的意思是，纠错助手在虚拟世界练好之后，直接搬到真实机器人上使用，中间没有任何针对真实世界的额外训练或调整。部署时，真实世界的主大脑接管了虚拟世界主大脑的位置，纠错助手则保持不变。每一帧摄像头画面都送入FoundationPose进行姿态追踪，当姿态估计的置信度分数低于阈值时，系统自动把姿态数据清零，触发纠错助手训练时学到的兜底策略。整个系统几乎没有额外的计算负担：纠错助手的前向推理只需不到1毫秒，姿态估计约18毫秒且是异步运行的，远比主大脑约140毫秒的推理时间快得多。

五、五个任务，全面验证方案有效性

研究团队在五个桌面操作任务上系统验证了这套方案，这五个任务覆盖了从简单到复杂的不同难度梯度。

第一个是"举起方块"：机械臂需要抓住桌上的一个方块并举高3厘米。这个任务难在精确对准和闭合夹爪的时机。第二个是"取放任务"：拿起一个方块放进旁边的碗里，需要精确的轨迹控制。第三个是"叠放方块"：把一个白色方块叠放到另一个绿色方块上，精度要求最高，因为两个方块的位置都需要追踪。第四个是"关抽屉"：把一个打开的柜子抽屉推回去，关闭到位。第五个是"扶正杯子"：把横躺在桌上的杯子抓起来竖立好，需要同时控制位置和朝向。

在这五个任务上，基础VLA大脑（使用的是NVIDIA发布的GR00T-N1.5开源模型，在每个任务上各用30条真人示范数据微调）在真实机器人上的平均成功率是42%——也就是说，有超过一半的时候会失败。加上纠错助手之后，平均成功率升至76%。具体来看，"举起方块"从35%升至85%，"取放任务"从45%升至80%，"叠放方块"从35%升至75%，"关抽屉"从70%升至100%，"扶正杯子"从25%升至40%。

值得关注的是，"扶正杯子"的改善幅度相对有限，从25%升至40%。这个任务最复杂，杯子在被握持过程中会遮挡自身，姿态追踪容易失效，这也侧面说明了方案目前的局限所在。

在虚拟世界的训练曲线上，五个任务的纠错助手都在约3万至5万步训练后收敛到高成功率，且训练结果在三次不同随机种子下的重复实验中都保持稳定，说明训练过程是可靠的而非偶然。

六、对比试验：为什么只有"物体姿态"这条路走得通

研究团队设计了一组对照实验，系统比较了三种不同的观察空间设计方案在真实机器人上的迁移效果。

以物体姿态为核心的方案在所有五个任务上都优于其他两种方案。基于图像的方案受到视觉域间差异的严重影响，它在虚拟世界里练习时看到的画面和真实世界里完全不同，导致策略无法有效迁移。基于蒸馏的方案虽然可以在虚拟世界里学到优秀的策略，但把知识从"特权信息老师"压缩给"只看图像的学生"这一步会造成明显的性能损耗，尤其在精度要求高的任务上损失更大。

在抗干扰训练的消融实验中，研究团队分别去掉姿态噪声注入和去掉姿态置零这两种训练方式来测试效果。结果发现，两种机制都有贡献，而姿态置零的作用更大——这说明真实世界里姿态追踪失效的情况确实经常发生，策略需要学会在没有姿态信息时也能合理行动。把两种机制都去掉之后，"关抽屉"任务的成功率从100%下降至80%，叠放方块从75%下降至45%，说明抗干扰训练对于成功的零样本迁移至关重要。

七、纠错助手到底在"修什么"

研究团队还仔细分析了纠错助手在实际部署中的行为模式，这部分分析颇具说服力。

通过计算纠错助手每一步的修正方向与"当前位置到目标位置"这个理想方向的余弦相似度，研究人员发现：当主大脑的动作方向与理想方向偏差较大时，纠错助手的修正量会显著增大，而当主大脑表现正常时，纠错助手的修正量则接近于零。换句话说，纠错助手不是不分青红皂白地一直在改，而是有选择性地在关键时刻出手。这种"选择性纠错"行为意味着它不会破坏本来就做得好的动作。

此外，加上纠错助手之后，五个任务的完成所需步骤数全部减少，减少幅度在9%至22%之间。机器人动作更果断，不再反复徘徊或调整，完成任务的路径更直接高效。

更有趣的是，研究团队还发现纠错助手在训练过程中自发习得了一些人类示范数据里完全没有的行为。比如在举起方块任务中，纠错助手会在机械手下降去抓方块之前，先给方块一个小推动让它转到更容易被抓住的朝向——这是人类示范员从未演示过的策略。在叠放方块任务中，如果主大脑的抓取动作对准不精确，纠错助手会引导夹爪主动"推"向方块来弥合偏差。在关抽屉任务中，纠错助手学会了在推抽屉的后期保持向下的接触力，避免主大脑有时会提前抬起的问题。这些涌现出的行为说明强化学习探索能够自发发现超越人类示范的解决策略。

八、让机器人用自己的经验教会自己

这套方案的价值不仅仅在于当下的任务成功率提升，研究团队还探索了一种"自我改进"的循环。

想一想这个场景：纠错助手帮助机器人成功完成了很多次任务，这些成功的完整操作过程被记录下来。这些由纠错助手辅助产生的高质量操作数据，可以被直接用来重新训练原本的主大脑VLA，就像一个徒弟在高水平助手的帮助下积累了更多成功经验，回头整理这些经验来提升自己的基本功。

实验结果证实了这个思路的有效性。用纠错助手辅助产生的成功轨迹重新训练主大脑之后，主大脑的独立成功率从42%提升至59%，而且完成任务所需的平均步骤数从275步减少到196步。相比之下，用未加纠错助手的普通成功轨迹来重训，只能把成功率提升至47%，改善幅度明显更小。这说明纠错助手产生的轨迹质量更高，给主大脑提供了更好的学习素材。

更实际的意义在于，由于五个不同任务的成功轨迹可以合并在一起训练同一个多任务主大脑，整个自我改进过程完全不需要人类重新进行任何额外的操作示范。这套系统可以靠自己积累的经验不断进化。

九、这套方案是否只对特定机器人大脑有效

一个合理的疑问是：这套纠错框架是否只适合与特定的主大脑大模型配合使用？为了回答这个问题，研究团队还用了另一个不同架构的VLA大脑——Physical Intelligence公司开发的π0.5——来测试方案的通用性。

在三个测试任务（关抽屉、举起方块、扶正杯子）上，π0.5本身已经是一个更强的基础大脑，但加上纠错助手之后仍然有稳定的提升。这说明以物体姿态为中心的观察接口与主大脑的内部架构无关，可以灵活搭配不同的基础模型使用。

当然，研究团队也坦诚地指出了方案目前存在的局限。物体被完全遮挡时（比如方块被完全握在夹爪里）或者场景特别杂乱时，姿态追踪可能失效；目前哪些物体需要被追踪需要人工指定，无法自动识别任务中的相关物体；虚拟和现实之间的物理特性差异（比如摩擦力、材质弹性）在接触密集的任务中仍可能导致修正不准确；以及对于精度要求达到毫米以下级别的任务，当前的姿态估计精度可能不够用。这些都是未来工作的方向。

说到底，这项研究用一种相当优雅的方式绕开了机器人领域长期以来的一道难题。过去大家都在绞尽脑汁想怎么把虚拟世界的图像弄得跟真实世界更像，或者怎么把"虚拟世界才有的信息"翻译给"只能看摄像头的策略"，但这项研究另辟蹊径，找到了一种在两个世界里天然通用的描述方式——物体的空间位置和朝向——并以此作为连接两个世界的桥梁。

这套思路也给更广泛的机器人应用带来了值得思考的启示：当直接弥合两个世界的差距非常困难时，换一种本质上就不存在差距的描述方式，也许才是真正的捷径。对于那些希望在不同环境中部署通用机器人助手的场景，无论是家庭服务还是工厂自动化，这套框架提供了一条在安全性和成本上都更可行的技术路径。

有兴趣深入了解技术细节的读者，可以通过arXiv编号2606.18953查询这篇论文，其中包含了完整的算法伪代码、超参数设置、奖励函数设计以及失败案例分析等丰富的补充内容。

Q&A

Q1：物体姿态估计失败了会怎么样，机器人会失控吗？

A：不会失控。研究团队专门设计了一种"姿态置零"的训练机制，以10%的概率在训练时把所有物体姿态数据清零，强迫纠错助手学会在没有姿态信息时也能依靠机械臂状态和主大脑指令做出合理动作。部署时，当FoundationPose的置信度低于阈值时，系统自动触发这种兜底模式，机器人会退回到主大脑独立控制的状态，虽然成功率会降低，但不会发生危险行为。

Q2：这套方案每个新任务都要重新在虚拟世界里训练一遍吗？

A：目前是的，每个任务需要单独训练一个纠错助手。不过训练成本相对较低：虚拟环境只需要测量真实物体尺寸后用简单几何形状搭建，不需要视觉逼真度；训练数据来自相同的人类示范回放；而且研究发现训练约3至5万步就能收敛。多个任务的纠错助手可以分别训练，产生的成功轨迹可以合并来训练同一个多任务主大脑，实现跨任务的自我改进。

Q3：残差强化学习和直接对VLA大脑做强化学习有什么区别，为什么不直接改VLA大脑本身？

A：直接对VLA大脑做强化学习有两个核心障碍。第一，现代VLA大脑通常用扩散模型或流匹配来生成动作，这类生成方式在数学结构上不适合直接套用标准的策略梯度强化学习算法，就像两种工具的接口不兼容。第二，VLA大脑参数量庞大，用强化学习更新需要极大的计算资源。残差方案完全绕开了这两个问题：主大脑冻结不动，只在旁边训练一个轻量级的两层MLP网络作为纠错助手，推理只需不到1毫秒，训练效率高且灵活。