北京AI研究院：机器人实现视频动作学习完成复杂任务能力提升

这项由北京人工智能研究院（BAAI）主导完成的研究，以预印本形式于2026年4月30日发布在arXiv平台，论文编号为arXiv:2604.27711。研究成果被命名为"ExoActor"，代表着一种让人形机器人无需收集真实世界操作数据，仅凭"想象执行视频"就能完成各类复杂任务的全新框架。

你有没有想过，如果一个人从来没有练习过某个动作，只是看了一段别人做这个动作的视频，他能不能就此学会并亲自完成？这个问题对人类来说有些勉强，但对机器人领域的研究者来说，恰恰触及了当前一个最核心的难题：如何让人形机器人在没有大量专项训练数据的情况下，照样完成各式各样复杂的现实任务？

过去几年，人形机器人技术飞速发展，各类学习型控制系统层出不穷。然而，当研究者真正希望机器人能在真实家庭或工作环境中与物体、环境流畅互动时，障碍就出现了——要同时理解空间位置、动作时序、任务意图，还要能随机应变，对现有系统来说实在太难了。更麻烦的是，每换一个场景或任务，就需要重新收集大量真实数据来"补课"，代价极高，效率极低。

北京人工智能研究院的团队给出了一个思路清奇的解法：既然大规模视频生成模型已经能够根据文字描述，生成非常逼真的人类活动视频，那何不让机器人先"想象"自己如何完成一项任务——生成一段对应的第三人称视角视频，然后再从这段视频里提取动作信息，最终驱动机器人真正去完成这个任务？

这套系统的核心概念，就像是给机器人装上了一个"脑海中的排练室"。在真正上场之前，机器人先在脑子里把整个动作流程演练一遍，把演练画面"拍"成视频，再把视频里的人体动作解析成机器人能直接执行的运动指令。整个过程不依赖任何任务专属的真实操作数据，完全由生成式AI的想象力驱动，由通用运动控制器负责落地执行。

一、从"想象"到"行动"：ExoActor的三步走流程

要理解ExoActor如何运作，可以把整个系统比作一位专业导演在拍摄一部动作短片的过程。导演拿到剧本（任务指令），先观察一下拍摄现场（初始场景图像），接着创作出一段完整的动作视频（视频生成阶段），然后把视频里演员的每一个动作都精确测量记录下来（动作估计阶段），最后把这些测量数据交给真正的演员——也就是机器人——去现场还原（运动执行阶段）。

第一步是生成视频，这是整个框架最具创意的部分。给定一个任务描述和当前场景的第三人称图像，系统需要生成一段展示任务执行过程的视频。然而，直接让视频生成模型去生成机器人完成任务的画面，往往会出现大量奇怪的伪影——机器人的身体变形、动作断断续续、画面前后不连贯——因为这类模型几乎所有的训练数据都是真实人类的活动画面，对机器人外形完全不熟悉。

为了解决这个"语言不通"的问题，团队设计了一个巧妙的预处理步骤：把场景图像里的机器人，先用AI图像编辑工具"伪装"成一个真人。这位"替身演员"穿着紧身运动服，保持机器人原本的姿势、位置和面朝方向，身体比例也特意参照了机器人的特征——身形较矮，腰部纤细，四肢修长。整个场景的背景、光线、摆设一律保持原样不变，只是把金属机器人换成了看起来像真人的图像。这个过程通过Gemini 3.1 Pro的图像编辑功能完成，提示词中严格要求保持姿势一致性。

完成"机器人变人"的替换之后，系统还需要把高层次的任务指令分解成一系列具体可执行的中间步骤。举个例子，"把你面前的棕色箱子捡起来然后站直"这样的指令，会被GPT-5.4 Thinking分解为：走近箱子、弯腰、抓住箱子、抬起箱子、恢复站立姿势——每一个步骤都是肉眼可见、物理上可实现的独立动作。这些分解后的步骤结合场景描述，构成一段详尽的视频生成提示词，明确指定了摄像机视角固定、场景不变、动作自然连贯、任务完成状态清晰等要求。视频生成则主要采用了Kling 3，这是一款在稳定性和视觉一致性方面表现最优的商用视频生成API，对比测试中另外两款模型Veo 3.1和Wan 2.6都因运动漂移、物体交互不自然等问题而表现逊色。

第二步是从生成的视频里提取动作数据。这一步相当于把视频里那位"替身演员"的每一帧动作都精确扫描成三维数字模型，然后记录下完整的运动轨迹。技术上，团队使用了GENMO这一扩散模型，它不是简单地逐帧预测姿势，而是把整段视频的特征和二维关键点作为条件信号，生成在时间上连贯、物理上合理的三维人体运动序列，并用SMPL人体模型参数（包括各关节旋转角度和全局位置）来表示。对于视频中遮挡帧，模型还会自动进行时间插值填补，确保运动轨迹平滑。

仅有全身动作还不够，机器人要拿起和放下物体，还需要精确的手部动作数据。团队额外使用了WiLoR这一工具，对生成视频逐帧分析，恢复双手的三维姿态。每帧视频产生一组手部数据，包括左右手各自的姿势描述，以及对应的交互状态：完全张开、半张开还是握紧。这个信息随后被转化为机器人末端执行器（即机械手）的控制指令。值得一提的是，针对镜头里人物正面朝向摄像机还是背对摄像机这两种情况，手部左右的识别逻辑是不同的，这样设计是为了避免"左右手认错"的问题。

第三步是让机器人真正去执行这些提取出来的动作。这里的难点在于，从视频中估计出的运动轨迹只是一堆几何数据，并不包含力的信息——它不知道机器人的关节最大能转多少度，也不知道保持平衡需要怎样协调重心。团队采用了SONIC这一通用运动跟踪控制器来解决这个问题。SONIC的作用，类似于一个经验丰富的"动作翻译官"：它接收参考运动轨迹，同时感知机器人当前的身体状态，在满足物理约束的前提下，尽可能忠实地还原参考动作。即使参考轨迹里有一些不太自然的跳跃或抖动，SONIC也能在不让机器人失去平衡的情况下稳定执行。团队经过测试发现，在视频估计动作和真实机器人执行之间加入额外的动作重定向步骤（即尝试将人体比例的动作精确地映射到机器人骨架比例上），反而会带来明显的空间偏差——机器人走路步幅变了，整体轨迹也偏了。于是最终方案是直接把估计动作喂给SONIC，让SONIC自行处理细节，这样在精度上反而更好。

二、不同难度关卡的实战检验

为了验证ExoActor的实际能力，研究团队专门设计了一套由易到难的任务体系，分为B级（简单）、A级（中等）和S级（困难）三个难度档。这套体系就像游戏里的关卡设计，每升一级，机器人需要处理的交互复杂度就会显著提升。

B级任务主要考验基础导航能力，机器人只需要走到指定地点或绕开简单障碍，比如"走到白色桌子前面的篮子旁边停下"，或者"从椅子左侧绕出去"。这类任务的核心是检验系统能否把生成视频里的行走轨迹准确转化为稳定的机器人步行动作，同时准确到达目标位置。实验结果表明，机器人在这类任务上表现稳定，可以可靠地向目标物体靠近并完成定位。

A级任务在导航基础上增加了粗粒度的物体交互，不要求精确的抓握，但需要协调全身动作。团队测试了多种场景，包括把桌上的瓶子拨到垃圾桶里、走到椅子旁坐下、弯腰捡起箱子然后站起来、低头钻过警戒线、跨过障碍物，以及用布擦桌子等。这些任务要求机器人把行走和全身动作协调起来，同时与周围物体或环境发生有意义的接触。系统在这个难度档展示出了一定的多步行为执行能力，体现了视频生成中对长时程交互场景的理解和表达。

S级任务是整个框架面临的最大挑战，需要精细操控和多步骤的手眼协调。具体任务包括：从黑色椅子上捡起绿色瓶子并竖立放到桌上、从白色架子上拿起黑色雨伞放入桌上的篮子、把瓶子竖直放入篮子、从桌上拿起瓶子扔进垃圾桶等。这些任务既要走到合适位置，又要用手精确地抓住特定物体并准确放置。实验中，机器人总体上能完成这类任务，但存在一个明显的局限：由于运动估计对手部高度的判断存在误差，机器人有时无法准确地抓到目标物体。团队为此采取了一个权宜之计，在目标物体下方垫上小支撑台，让物体稍微抬高一些，以补偿这个高度偏差。

三、哪些环节容易出问题

任何系统都不可能完美无缺，ExoActor也不例外。研究团队非常坦诚地记录了系统在三个主要阶段分别可能出现的典型失败案例。

视频生成阶段，最常见的问题是模型"发挥过度"——它会凭空生成原本不存在的物体，或者让原有物体的尺寸发生离谱的变化。论文中举了一个具体例子：原本场景里只有一把小雨伞，视频生成模型却把它想象成了一把大雨伞，导致后续动作估计和执行都出现严重偏差。除此之外，动作序列前后逻辑矛盾、场景配置不合常理、最终姿态物理上根本站不住等问题也时有发生。团队发现，精心设计提示词结构和对任务进行步骤分解，可以显著降低这类问题的出现频率。

运动估计阶段，最突出的痛点是手部动作细节的准确性。当手应该保持某种特定方向抓握物体时——比如竖握一个瓶子——估计结果往往给出一个横向的腕部朝向。这是因为在单目视频（只有一个摄像机视角，没有深度信息）中，细微的腕部旋转提供的视觉线索非常微弱，模型难以准确还原。此外，当视频里人物的某些身体部位被桌子、椅子等场景物体遮挡时，对应的三维运动估计就会出现缺失或错误。从后方视角拍摄的场景也会让估计精度明显下降，因为背对摄像机时的自我遮挡问题尤为严重。

执行阶段，误差主要来自运动数据与机器人物理约束之间的不匹配。最常见的表现就是手部高度对不准——机器人伸手的位置略高或略低，无法正确接触目标物体。此外在需要精确走到特定位置的任务中，运动距离的偏差也会影响任务完成。这些问题在需要精准接触或抓握的S级任务中尤为明显。

四、系统运行效率的真实情况

ExoActor目前是一套离线流水线系统，也就是说，机器人在开始实际行动之前，需要等所有上游处理步骤全部完成。研究团队对每个模块的平均耗时进行了详细测量，呈现了一张非常直观的数据图景。

机器人变人的图像转换步骤，每次请求平均需要约10.7秒。任务分解和提示词构建则非常快，每次请求仅需约2.5秒。视频生成是整个流程中最耗时的瓶颈环节，每生成1秒钟的视频需要花费约13.2秒的处理时间，也就是说生成一段10秒的行动视频大约需要2分多钟。全身运动估计相对高效，处理每秒视频约需2.9秒。手部运动估计则是第二大耗时环节，处理每秒视频需要约16.4秒，比全身估计慢了约五倍多。

这组数据说明，在当前版本的ExoActor中，如果要执行一个10秒的任务，光是"想象"和"解析"这个任务就需要花费数分钟的准备时间，然后才能真正开始执行。这对于需要实时响应环境变化的场景来说是明显的限制，但对于那些可以提前规划、场景相对稳定的应用场景而言，这个代价在当前阶段是可以接受的。

五、这套方法还能怎么进化

研究团队在论文中详细讨论了当前实现的多项局限，以及未来可以改进的具体方向，这部分内容反映了他们对整个研究路线的深度思考。

最核心的一个问题是：当前系统是完全开环的，机器人在执行过程中不会感知周围环境的变化，只是机械地播放预先生成的动作轨迹。一旦场景里出现了意外情况——比如物体被碰歪了、地面有个障碍——机器人完全感知不到，也无法调整。未来的改进方向是建立闭环的、具备场景感知能力的全身控制机制，让机器人在执行时能持续观察环境，用生成视频提供的参考轨迹作为高层次的行为指引，同时根据实时传感器数据随时微调脚步位置、身体姿态和手部动作。

另一个重要方向是让视频生成本身更"懂物理"。当前模型擅长生成看起来很真实的画面，但并不真正理解物理规律——物体会穿模、接触关系不合理、动作违反运动学约束等问题时有发生。研究团队认为，未来需要把物体永恒性（物体不会凭空消失）、接触动力学、几何一致性和运动约束等物理知识更深入地融入视频生成模型的训练中，同时评估指标也应该转向物理可行性和可执行性，而不仅仅是视觉质量。

从离线批处理迈向在线流式处理，也是一个值得期待的改进方向。未来的系统可以不再等整段视频生成完毕再开始执行，而是在机器人行动的同时，持续生成短时间窗口内的下一步预测视频，实现"边想边做"的动态规划，让机器人能够应对环境的实时变化。

此外，当前系统要求必须有第三人称视角的外部摄像机来拍摄初始场景，这在很多实际环境里并不容易满足。研究团队指出，未来一个重要方向是训练能够从机器人自身携带的第一人称摄像头视角，重建或推断出第三人称视角画面的模型，从而摆脱对外部固定摄像机的依赖。

研究团队还提出了"以机器人为中心的视频生成"这一长远构想。目前的方案先把机器人"伪装"成人再生成视频，这个绕路做法带来了额外的不一致性。理想情况下，视频生成模型应该能够直接以机器人本身为主角生成高质量的动作视频，同时保持动作的流畅性和物理合理性，而不是套用人类外形生成后再反向适配。

最后，研究团队呼吁建立统一的视频驱动人形机器人控制基准测试集。目前这个领域的评估十分分散——有的只测视频生成质量，有的只测运动估计精度，有的只测机器人控制效果，缺乏从头到尾综合评估整个流程的标准。建立这样的基准，对于衡量不同方法之间的真正差异、推动整个领域快速进步至关重要。

归根结底，ExoActor做的这件事，是把"大脑里的排练"和"真实的行动"之间搭了一座桥。这座桥目前还有很多颠簸之处——有时候视频里出现了不该出现的大雨伞，有时候机器人的手高了几厘米没抓到东西——但它的存在本身就已经意义重大。它证明了一件过去看起来有些离奇的事情：一台从未见过某个任务的机器人，只需要让AI"想象"一遍这个任务，再把想象的画面解析成动作指令，就能真正走上去、弯腰、伸手、把东西放进篮子里。

这对整个人形机器人领域的意义在于，我们或许不再需要为每一个新任务、每一个新场景都去费力收集大量真实操作数据了。互联网上海量的人类活动视频，加上持续进化的视频生成模型，可能就是机器人"学习"如何完成各类任务的最大数据来源。至于这条路最终能走多远，能不能让机器人在真实家庭里灵活应对日常的各种突发情况，则是留给未来研究者去继续探索的开放问题。如果你对技术细节有更深的兴趣，可以在arXiv上通过编号2604.27711查阅完整论文。

Q&A

Q1：ExoActor框架为什么要把机器人图像替换成人的图像再生成视频，而不是直接让AI生成机器人动作视频？

A：现有的视频生成模型几乎所有训练数据都是人类活动画面，对机器人外形非常不熟悉，直接输入机器人图像会导致生成的视频出现身体变形、动作断续、画面前后不一致等大量问题。把机器人替换成穿紧身服的人形图像，相当于把"外语输入"转换成模型熟悉的"母语输入"，能让视频生成更稳定，后续从视频中提取的人体动作数据质量也更高。

Q2：ExoActor系统在S级复杂操作任务中失败的主要原因是什么？

A：主要原因是运动估计阶段对手部高度的判断存在误差。视频生成模型生成的画面在视觉上看起来合理，但从单目视频（只有一个摄像机，没有深度感知）中还原精确的三维手部位置时，高度信息容易出现偏差。这导致机器人实际伸手的位置比目标物体略高或略低，无法成功抓握。目前的临时解决方案是在目标物体下方垫高支撑台，后续需要从算法层面改进腕部姿态的估计精度。

Q3：ExoActor完成一个任务需要多长时间准备？

A：目前ExoActor是离线流水线系统，在机器人真正开始行动之前需要依次完成图像转换（约10.7秒）、任务分解（约2.5秒）、视频生成（每秒视频约13.2秒处理时间，10秒视频约需2分多钟）、全身运动估计（每秒视频约2.9秒）和手部运动估计（每秒视频约16.4秒）等步骤，总准备时间从几分钟到更长不等，目前尚不支持实时响应。