亚马逊团队让人形机器人学会跑酷和搬重物

这项由亚马逊前沿AI与机器人团队（Amazon FAR）联合MIT、加州大学伯克利分校、斯坦福大学和卡内基梅隆大学的研究人员共同完成的突破性研究发表于2025年10月，论文标题为"OmniRetarget: Interaction-Preserving Data Generation for Humanoid Whole-Body Loco-Manipulation and Scene Interaction"。有兴趣深入了解的读者可以通过论文编号arXiv:2509.26633v2查询完整论文。

当我们看到波士顿动力的机器人灵活地跳跃和翻滚时，都会感到震撼。但你可能不知道的是，让机器人学会这些动作背后有一个巨大的难题：如何把人类的动作"翻译"给机器人理解？就好比你想教一个外国朋友包饺子，但你们说着不同的语言，身高体型也完全不同。你的手能轻松捏合饺子皮，但他的手可能太大或太小；你能弯腰的角度，他可能做不到。这就是机器人学习人类动作时面临的"身体差异"问题。

现在，亚马逊的研究团队找到了一个巧妙的解决方案，他们开发了一个叫做OmniRetarget的系统，就像一个超级翻译官，不仅能把人类动作翻译给机器人，还能保证机器人在与物体和环境互动时不会出现穿模、滑步等奇怪现象。更令人兴奋的是，这个系统训练出的机器人不仅能在虚拟世界中完美表现，还能零调整地直接在真实世界中工作。

一、传统方法的困境：像蹩脚的动作模仿

以往让机器人学习人类动作就像让一个身材完全不同的人模仿你的舞蹈。你身高1米7，但模仿者身高2米；你胳膊长60厘米，但他的胳膊长80厘米。如果只是简单地按比例放大缩小动作，结果往往是灾难性的。

更糟糕的是，大多数现有方法就像只看录像学跳舞，却忽略了舞者与舞台、道具之间的关系。比如你在跳舞时需要踩到特定的台阶上，或者要抱起一个箱子，但机器人学习时只看到了你手脚的位置，却不知道台阶在哪里，箱子有多重。结果就是机器人可能会"踩空"、"抱空气"，或者做出一些物理上不可能的动作，比如脚在地面下滑行，或者身体穿过了本该抱在怀里的箱子。

以前的解决方案通常有两种思路。第一种是让人类操作员实时控制机器人，就像遥控车一样。这种方法虽然能保证动作的准确性，但需要人一直在旁边操控，既累人又无法大规模应用。第二种是离线处理，预先把人类动作转换成机器人能理解的指令，但现有的转换方法往往无法处理复杂的互动关系，经常产生各种物理上说不通的动作。

二、OmniRetarget的核心创新：像拼图一样保持关系

OmniRetarget的创新就像从简单的拼图游戏中获得灵感。当你拼拼图时，不是看每个拼图块的具体形状和颜色，而是看它们之间的相对关系：这块拼图的左边应该连着那块拼图的右边，上边应该对齐另一块拼图的下边。

研究团队创造了一个叫做"交互网格"的概念，这就像给整个场景织了一张无形的网。这张网不仅连接了机器人身体的各个部位，还连接了机器人要接触的物体和环境。比如当人类要爬上一个台阶时，这张网会记录下脚与台阶边缘的距离关系、手与扶手的相对位置、身体重心与支撑点的空间关系等等。

当系统要把这个动作"翻译"给形状不同的机器人时，它不是简单地缩放每个身体部位的位置，而是尽可能保持这张关系网的完整性。就像拉伸一张橡皮网，虽然整体形状会改变，但网格中各点之间的相对关系依然保持着原有的比例和连接。

更巧妙的是，这个系统还加入了严格的物理约束。就像拼图游戏中每个拼图块都有固定的形状不能随意变形一样，机器人的每个关节都有活动范围限制，不能做出超出物理极限的动作。系统会确保转换后的动作不仅看起来自然，而且在物理上完全可行。

三、数据增强的魔法：一个动作变出千种玩法

传统方法就像只会照搬食谱的厨师，每道菜都需要完全按照教程来。但OmniRetarget更像一个创意十足的大厨，能够从一个基础食谱衍生出无数种变化。

当系统学会了一个"搬箱子"的动作后，它能自动创造出搬不同大小箱子、不同重量箱子、放在不同位置箱子的动作变化。这就像你学会了基础的搬东西动作后，自然就能搬书、搬水果、搬衣服，而不需要每种物品都专门学一遍。

这种能力来自于交互网格的灵活性。当箱子的大小改变时，系统会重新计算手与箱子表面的接触关系，自动调整抓握方式。当箱子的位置改变时，系统会重新规划身体的运动轨迹，确保机器人能稳定地到达新位置。整个过程就像有一个智能助手在不断地微调动作细节，让机器人能适应各种变化。

研究团队特别针对三种变化进行了优化。第一种是地形变化，比如台阶的高低、斜坡的角度等。第二种是物体的空间配置，比如箱子放在左边还是右边、桌子的高度等。第三种是物体的形状变化，比如箱子是长方形还是正方形、杯子是大是小等。

四、极简化的训练方案：只用五个奖励就搞定

让机器人学会复杂动作通常需要设计复杂的奖励机制，就像训练宠物时需要准备各种不同的零食和惩罚措施。以往的方法往往需要几十个不同的奖励项目，比如"脚不能滑动"、"身体不能倾斜太多"、"手要抓紧物体"等等，每个项目还要仔细调整权重。这个过程既繁琐又容易出错，就像同时玩转很多个转盘，稍有不慎就会失控。

但OmniRetarget因为提供了高质量的参考动作，所以只需要五个简单的奖励就够了。这就像有了一个好的舞蹈老师做示范，学生只需要专注于跟上节拍、保持平衡等基本要素，而不需要担心每个手势的细节。

这五个奖励分别关注身体追踪（确保机器人的姿态跟上参考动作）、物体追踪（确保拿着的东西不掉）、动作平滑（避免突然的动作变化）、关节保护（不超出机器人的活动范围）和碰撞避免（不要撞到自己）。每个奖励都很直观，不需要复杂的调参过程。

更令人惊喜的是，这套简单的训练方案在各种不同的任务中都能通用。无论是爬台阶、搬箱子、还是跑酷动作，都用同一套奖励机制，就像一把万能钥匙能开各种不同的锁。

五、惊人的实验结果：从虚拟到现实的完美转换

研究团队在Unitree G1人形机器人上进行了广泛的测试，结果令人印象深刻。机器人不仅学会了基础的搬运动作，还掌握了一些相当高难度的技能。

最引人注目的是一个长达30秒的复杂动作序列，机器人需要搬着一张4.6公斤的椅子走到高台前，把椅子放在合适的位置，踩着椅子爬上高台，然后从高台跳下并做一个翻滚动作来缓冲落地冲击。这个动作序列就像体操运动员的自由体操表演，需要精确的时机掌控和流畅的动作衔接。

除了这个"明星表演"，机器人还展示了其他多项技能。它能够在斜坡上爬行，这需要持续调整身体姿态来适应倾斜的地面。它能够快速攀爬高度达到自身70%的平台，这相当于一个成年人攀爬1.2米高的障碍物。它还能够灵活地搬运各种不同大小和重量的物体，展现出很强的适应性。

更令人惊叹的是一个高动态的墙面翻转动作。机器人以约3.5米每秒的速度冲向墙面，在墙上蹬一脚完成空中翻转，整个动作在0.5秒内完成，峰值角速度达到15弧度每秒。这种动作的难度不亚于极限运动员的表演，需要精确的时机控制和强大的动态平衡能力。

六、与传统方法的对比：质量差异一目了然

为了证明OmniRetarget的优势，研究团队将其与三种主流的动作转换方法进行了详细对比：PHC、GMR和VideoMimic。这就像举办一场厨艺比赛，看谁能做出最接近原版的菜品。

在物理可行性方面，OmniRetarget表现得最为出色。传统方法经常出现"穿模"现象，就像游戏中的角色穿过了墙壁一样，机器人的身体部位会穿透应该接触的物体或地面。它们还经常出现"滑步"问题，就像溜冰一样，机器人的脚在地面上滑动而不是正常的抬起落下。

在接触关系的保持方面，差异更加明显。传统方法就像蹩脚的魔术师，经常出现"抓空气"的尴尬场面：机器人做着抓取的动作，但手里什么都没有；或者明明应该踩在台阶上，脚却悬在半空中。OmniRetarget则能精确保持这些重要的接触关系，确保机器人真正与环境产生合理的物理互动。

在下游任务的成功率上，差异同样明显。使用OmniRetarget训练的机器人成功率普遍超过82%，而使用传统方法的成功率往往只有50-70%。更重要的是，OmniRetarget的结果稳定性更好，不同动作之间的成功率差异较小，而传统方法往往在某些动作上完全失败。

七、真实世界的验证：从仿真到现实的无缝转换

最具说服力的测试是机器人在真实环境中的表现。研究团队没有对仿真训练的参数做任何调整，直接将训练好的控制策略部署到真实的Unitree G1机器人上。这就像一个从未离开过模拟驾驶舱的飞行员直接驾驶真实飞机，难度可想而知。

但结果令人惊喜。机器人在真实环境中的表现与仿真中几乎没有差异。它能够准确地抓取和搬运真实的物体，能够应对真实地面的摩擦和不平整，能够处理真实物理环境中的各种突发情况。

这种"零调整转换"能力的实现得益于OmniRetarget生成的高质量参考动作。由于参考动作本身就是物理可行的，并且准确保持了与环境的互动关系，机器人在学习时就建立了正确的物理直觉。当它从虚拟世界转移到真实世界时，这些物理直觉依然适用。

研究团队还测试了数据增强的效果。使用单一参考动作增强生成的多样化数据集训练的机器人，在面对不同尺寸、不同位置的物体时成功率达到79.1%，与使用原始动作训练的82.2%相比仅有轻微下降。这意味着一个动作真的可以"一举多得"，大大提高了数据利用效率。

八、技术细节：巧妙的优化策略

OmniRetarget的技术实现就像精密的钟表机制，每个齿轮都恰到好处地配合工作。系统采用了序列二次锥规划的优化方法，这听起来很复杂，但可以理解为一种特别聪明的试错策略。

具体来说，系统不是一次性处理整个动作序列，而是逐帧进行优化。每一帧都像解一个复杂的拼图游戏，需要在满足各种物理约束的前提下，尽可能保持交互网格的形状。这种逐帧优化的好处是能够利用前一帧的结果作为下一帧的起点，就像走台阶时每一步都为下一步提供支撑。

为了处理机器人四元数表示的复杂旋转，系统使用了Drake框架的自动微分功能。这就像有了一个超级计算器，能够自动处理复杂的数学运算，确保旋转计算的准确性。

在约束处理方面，系统采用了硬约束而非软约束。软约束就像弹性规则，可以稍微违反但会受到惩罚；硬约束则像铁律，绝对不能违反。这种设计确保了生成的动作在物理上完全可行，不会出现关节超限、碰撞穿透等问题。

九、广泛的应用前景：机器人的新时代

这项研究的意义远远超出了让机器人做几个酷炫动作。它实际上为人形机器人的实用化开辟了一条新路径。

在工业应用中，这种技术能让机器人快速学会各种搬运和装配任务。传统上，为每个新任务编程都需要大量时间，但现在只需要让人类演示一遍，机器人就能学会并适应各种变化。这就像有了一个超级学徒，能够一次学会就终身受用。

在家庭服务中，这种技术能让家用机器人更加实用。它们能够帮助搬运家具、整理物品、甚至协助行动不便的老人进行一些日常活动。由于能够适应不同的物体和环境，同一个机器人能够胜任多种不同的家务工作。

在救援和探索领域，这种技术的价值更加明显。救援机器人需要在复杂多变的环境中快速适应，传统的预编程方法很难应对所有可能的情况。但有了这种学习能力，机器人能够根据现场情况灵活调整动作，大大提高救援效率。

更令人兴奋的是，这种技术为机器人的"创造性"奠定了基础。当机器人能够理解动作的本质关系而不仅仅是表面形式时，它们就有可能组合不同的动作元素，创造出全新的解决方案。

十、开源贡献：推动整个领域发展

研究团队做出了一个重要决定：将整个OmniRetarget系统开源，包括完整的代码、生成的数据集和训练好的控制策略。这就像把一个秘密配方公开分享，让全世界的研究者都能在此基础上继续创新。

开源的数据集包含超过8小时的高质量动作轨迹，涵盖了搬运、攀爬、跑酷等多种类型的动作。这些数据不仅质量高，而且多样性丰富，为其他研究者提供了宝贵的训练素材。

这种开放的态度对整个机器人领域具有重要意义。它降低了研究门槛，让更多团队能够参与到人形机器人的研发中来。同时，它也建立了一个公共的评测标准，让不同方法之间的比较更加公平和客观。

结论部分

说到底，OmniRetarget解决的是一个看似简单但实际上极其复杂的问题：如何让机器人真正理解和模仿人类的动作。这不仅仅是动作的表面模仿，更是对动作本质的深层理解。

这项研究的突破在于它不再把动作转换看作简单的坐标变换，而是将其视为关系保持问题。通过巧妙的交互网格设计和严格的物理约束，系统能够生成既自然又可行的机器人动作。更重要的是，这种方法具有很强的泛化能力，一个动作可以适应多种不同的情况。

从更广阔的视角来看，这项研究代表了机器人学习方式的根本性转变。从传统的任务特定编程转向通用的模仿学习，从简单的动作复制转向智能的适应性调整。这种转变不仅提高了机器人的能力，也大大降低了部署和维护的成本。

对于普通人而言，这意味着我们可能很快就会看到更加灵活和实用的人形机器人出现在我们的生活中。它们不再是只能执行预设程序的机械装置，而是能够观察学习、灵活适应的智能伙伴。

当然，这项技术也提出了一些值得思考的问题。当机器人能够如此精确地模仿人类动作时，我们需要重新审视人机交互的边界和伦理问题。但无论如何，这项研究都为我们展示了一个充满可能性的未来。

有兴趣深入了解技术细节的读者，可以通过论文编号arXiv:2509.26633v2查询完整的研究论文，其中包含了详细的数学公式、实验数据和实现细节。

Q&A

Q1：OmniRetarget技术是什么？它能解决什么问题？

A：OmniRetarget是亚马逊研究团队开发的一个动作转换系统，专门解决人形机器人学习人类动作时的"身体差异"问题。它就像一个超级翻译官，不仅能把人类动作翻译给不同形状的机器人，还能保证机器人在与物体和环境互动时不会出现穿模、滑步等物理上不可能的现象。

Q2：这个技术训练出来的机器人能做什么动作？

A：使用OmniRetarget训练的机器人能够完成很多复杂动作，包括30秒的连续跑酷表演（搬椅子、踩椅子爬高台、跳跃翻滚）、高速墙面翻转、斜坡爬行、平台攀爬、各种物体搬运等。最令人惊叹的是机器人能以3.5米每秒的速度完成墙面翻转，峰值角速度达到15弧度每秒。

Q3：OmniRetarget相比传统方法有什么优势？

A：OmniRetarget的最大优势是生成的动作质量极高，物理上完全可行。传统方法经常出现"穿模"和"滑步"问题，成功率只有50-70%，而OmniRetarget的成功率超过82%。更重要的是，它只需要5个简单的奖励项目就能训练，而传统方法需要几十个复杂的奖励调参，大大简化了使用难度。