把机器人塞进人类视频：一个让机器人学会干活的偷懒办法

先说一件挺让人挠头的事。

想训练一个机器人干活，比如让它自己捡苹果、叠杯子、把泡面递给你，你得先给它看足够多的"人怎么做这件事"的例子。传统做法是找一个真机器人，让人一遍遍地遥控它做同样的动作，录下每一次的画面和关节数据。这个过程慢、贵、还枯燥，一个机器人一天能录的数据可能就几十条。

但人类每天在拍视频。做饭、整理房间、修东西，各种第一视角的手部动作视频，网上和实验室里已经攒了成千上万个小时。这些视频里全是"手怎么抓东西、怎么移动、怎么完成一个任务"的信息,理论上是训练机器人的绝佳素材。问题是,人的手不是机器人的爪子,人的视角也不是机器人摄像头的视角。你直接把这些视频喂给机器人的学习算法,它会一脸懵:这些手指头是什么东西?我又没有五个手指还能这么灵活地弯曲。

这就是所谓的**具身差距**

具身差距:指的是人类身体和机器人身体在外形、关节自由度、运动方式上的根本不同,导致人类的动作视频无法直接被机器人"看懂"或"学会"

这篇论文要解决的,就是怎么把海量的人类视频,改造成机器人能直接学习的样子。

这事到底难在哪

在这篇工作之前,已经有不少团队尝试过"人类视频改机器人视频"这条路,但基本都卡在两个方向的取舍上。

一种做法是只改画面,不改动作。比如把视频里人的手抠掉,渲染一个机器人手臂叠上去,让画面看起来像机器人在干活。这样做的好处是简单,但坏处是动作信息全丢了,机器人学到的只是"画面里应该有个机器人手臂",而不是"手臂具体怎么移动才能完成任务"。这类工作,比如论文里提到的 H2R,用改造后的数据去预训练视觉编码器,本质上还是在做视觉层面的迁移,没有涉及真正的动作监督。

另一种做法是只改动作,不改画面。研究者从人类视频里恢复出手部的三维运动轨迹,把它转换成机器人的动作指令,但画面还是原来的人类视频画面。这样机器人确实学到了"动作应该怎么走",但它看到的场景里全是人手而不是机器人爪子,等真正部署到机器人身上,它面对的画面和训练时看到的完全不一样,这种视觉上的错位会拖累实际表现。

还有一批工作,把画面和动作都改对了,但是只在"人类视频和机器人任务高度匹配"的场景下做。也就是说,研究者专门为某个具体任务收集人类演示视频,再针对这个任务做改造。这种做法精度高,但没法规模化,因为你不可能为每一个可能的机器人任务都单独去拍一批匹配的人类视频。

这篇论文的团队想问的问题是:能不能找一套通用流程,把网上现成的、五花八门的人类视频,不管拍的是做饭、修东西还是随便什么日常活动,统一改造成机器人能学的画面加动作数据,而且规模要足够大,大到能真正撬动机器人策略的学习效果?

这个问题的答案,他们给出的名字叫 HuRo。

HuRo 的三步走:标注、转动作、换皮肤

整个改造流程分三步,论文里画得挺清楚,我尽量说得通俗一点。

第一步是给人类视频"打标签"。原始视频只是一堆像素,机器人学不到任何结构化信息。研究者需要从视频里挖出三类东西:摄像机到底在空间里怎么移动的、手在三维空间里的位置和姿态是什么样、以及这段视频到底在做什么事(用一句话描述,比如"把汤倒进碗里")。

这里面用到了一连串的技术工具。摄像机参数的估计用了 droidcalib 和 AnyCalib

droidcalib 和 AnyCalib:两种从视频画面自动推算摄像机内部参数(比如焦距、畸变)的算法,前者靠摄像机运动信息估算,后者在摄像机几乎不动时作为备选方案

手部检测和追踪用了 100DoH 配合 BOT-SORT,前者负责在每一帧里框出手的位置,后者负责在时间上把左右手跟踪稳,不要一会儿把左手认成右手。真正估计手指关节三维姿态的是 HAWOR,它输出的是一种叫 MANO 的手部模型参数

MANO:一种用少量参数就能描述人手全部关节姿态和形状的数学模型,业内常用它作为手部姿态估计的标准输出格式

摄像机在空间里怎么移动,用的是遮住手部区域后运行的 DROID-SLAM,再靠 MoGe-2 把相对尺度换算成真实世界的米制单位,最后用 GeoCalib 把整个坐标系和重力方向对齐,这样才有一个稳定统一的参考框架。

这一整套组合下来,你会发现研究者其实是在做一件很朴素的事:把视频里"看不见"的三维信息,一点点从二维画面里抠出来。这就像你看一段老电影里演员挥手的画面,想知道他手在真实空间里到底怎么移动的,你没法直接量出来,只能靠各种间接线索去反推,比如手在画面里变大变小说明前后移动,阴影角度变化说明光源和相机的相对位置。如果没有这一整套反推流程,后面所有的转换都无从谈起,因为你连"手在哪、怎么动"这个最基本的信息都没抓到。

标注完之后,视频会被切成一个个短片段,每个片段配一句由大语言模型生成的任务描述,这里用的是 Qwen3.5

Qwen3.5:一种能同时理解图像和文字的多模态大语言模型,这里被用来看视频画面并生成描述这段动作在做什么的文字说明

第二步是把手的动作换算成机器人的动作,这一步叫动作转换。人的手指结构和机器人的手指结构完全不同,你不能指望机器人复制人手指的每一个弯曲角度,而是要保留"这个动作想达成的效果",比如指尖最终落在哪个位置、手大致呈现什么形态。这个转换过程用了一个叫 PyRoKi 的工具

PyRoKi:一个专门做机器人运动学优化的工具包,能根据给定的目标(比如指尖要到达某个位置)反推出机器人各个关节应该转到什么角度

这一步是分两阶段做的。先在稀疏抽样的几个时间点上,同时解出人类坐标系到机器人坐标系的对齐关系,以及机器人在这些时间点上大致该摆出什么姿势。等这个对齐关系定下来之后,再针对整段视频的每一帧,细致地优化出机器人完整的关节轨迹,这次还加入了时间上的平滑约束,防止机器人的动作忽快忽慢显得很怪异。

这个两阶段的设计其实藏着一个很实际的考量。如果一开始就针对每一帧同时求解对齐关系和关节角度,计算量会爆炸,而且容易在某几帧上求出一个奇怪的、和整体轨迹不搭调的解。这就好比你要把一段外语讲话翻译成手语,如果你逐字逐句地翻,翻到中间可能会发现前面几个词的翻译方式和后面接不上,整体看起来很割裂。更好的办法是先通篇理解一下这段话大致在讲什么、语气基调是什么,定下一个总体框子,再逐句精细打磨。研究者这里就是先定下一个"大致对齐"的框子,再去精细求解每一帧。

有了机器人的关节轨迹之后,机器人的状态序列就出来了,而"动作"这个监督信号,论文里直接定义为下一时刻的状态,也就是说,如果第 5 步机器人手腕应该在某个位置,那第 4 步的"动作目标"就是那个位置。这个设计挺讨巧,因为人类视频原本根本没有"动作标签"这个东西,人只是在做动作,没有人告诉你"这一步的动作指令是什么"。用下一状态直接当作当前的动作目标,相当于绕开了这个空白,直接从连续的状态轨迹里挖出隐含的动作信息。

第三步是换画面,专业说法叫视觉转换。这一步要做的是把视频里的人手抠掉,填补上背景,再在干净的背景上叠加一个渲染出来的机器人。抠人手用的是 SAM2

SAM2:一种通用的图像和视频分割模型,能够根据提示精确地把画面中特定物体(这里是人的手臂)的轮廓抠出来

配合 Detectron2 提供辅助的人体区域提示。抠掉之后留下的空洞,用 ProPainter 做视频修复填补,让背景看起来天衣无缝,好像那里原本就没有手臂存在过。最后,用 Isaac Sim 这个仿真渲染引擎,把上一步算好的机器人姿态渲染出来,叠加到修复好的背景上,而且叠加时用的摄像机视角是经过对齐的,保证机器人手臂出现的位置和原来人手的运动轨迹是吻合的。

整个视觉转换环节,做的其实是一场"数字换脸术",只不过换的不是脸,是整条手臂,而且换上去的手臂动作必须和背后那套精心计算出来的关节轨迹严丝合缝地对应上。如果这一步做得潦草,比如机器人手臂的位置和实际抓取的物体位置对不上,那机器人学到的画面和动作就是两套互相矛盾的信息,后果比完全不做视觉转换还糟糕。这有点像给一段配音配错了口型,观众看着会觉得哪里不对,却又说不清具体哪里出了问题,机器人策略学习起来大概也是类似的困惑状态。

这一整套流程跑完,一段原始的人类视频就变成了一个"HuRo 数据集片段",里面同时包含了改造后的画面、机器人状态、机器人动作目标,还有那句任务描述。

数据规模有多大,以及规模到底管不管用

研究团队把这套流程应用在了五个人类视频来源上,包括 Ego4D、EPIC-Kitchens、EgoDex、EgoVerse 和 Ego10K,这些都是学术界常用的第一视角人类活动视频数据集,内容涵盖了实验室场景、日常生活场景和一些偏工业操作的场景。最终攒出来的 HuRo 数据集,有超过 63 万条改造后的片段,处理过的画面帧数达到 1.42 亿帧,按 30 帧每秒来算,相当于 1317 个小时的视频内容。这个规模比此前同类工作,比如前面提到的 H2R 和另一个叫 Masquerade 的方法所用的数据量,大了一个数量级以上。

光有数据不够,还得看这些数据能不能真的让机器人策略变强。研究者用一个基于 GR00T-N1.6-3B 架构的视觉语言动作模型

视觉语言动作模型(VLA):一类能同时处理视觉画面、语言指令,并直接输出机器人动作指令的模型,是目前机器人学习领域的主流框架

先在不同比例的 HuRo 数据上做预训练,然后再拿真实机器人的少量演示数据做微调,最后在真实世界里跑四个任务:捡苹果放进容器、叠杯子、递泡面上架子、开关微波炉放东西。评测分两种情况,一种是分布内评测,场景和微调时见过的差不多,另一种是分布外评测,故意换了摆放位置或者换了桌布颜色这类视觉干扰,专门用来检验机器人是不是真的学到了本领,而不是死记硬背了训练时见过的场景。

结果是这样的:完全不用 HuRo 预训练的时候,综合完成度是 51.5%,分布外完成度只有 34.9%。随着预训练用的 HuRo 数据从 10% 逐步加到 100%,综合完成度一路涨到 80.3%,分布外完成度涨到 72.2%。这个曲线挺陡的,说明数据量确实是实打实地在起作用,不是加了数据没啥变化的那种敷衍结果。

以叠杯子这个任务为具体例子看会更有体感。这个任务需要机器人反复抓取、双手配合完成叠放,分布外测试还专门换了摆放位置,并且铺了一张格子桌布来干扰视觉。只用 10% 的 HuRo 数据预训练时,分布外完成度是 60.4%,加到 100% 的数据之后,涨到了 79.2%。研究者观察到,数据量少的时候,机器人抓杯子经常抓偏、抓不稳,遇到桌布干扰或者杯子位置变了就更容易出问题,一到叠放阶段就容易失手打滑。数据量上去之后,机器人抓取的动作明显更稳、更准。

这里有个细节值得多说一句。全量 100% 数据训练出来的模型,在分布内和分布外的评测上,都超过了两个业界现成的参考模型,一个是 π0.5,一个是 GR00T N1.6 本身。这两个模型都是直接用官方发布的预训练权重去微调的,没有用 HuRo 数据。这说明单靠原厂预训练加上少量真机数据微调,效果是不如"先用海量改造后的人类视频打底,再微调"这条路的。

换皮肤这一步到底有没有用

前面提到,视觉转换这一步的工作量不小,涉及抠图、修复、渲染叠加一整套流程。有没有可能这一步其实没那么重要,直接用原始的人类视频画面(不换成机器人画面),只靠动作监督也能训练出差不多的效果?

研究者专门做了个对比实验来回答这个问题,搞了一个"不叠加机器人皮肤"的版本,这个版本用的动作监督数据完全一样,唯一区别是画面里保留的是原始人类手臂,而不是渲染出来的机器人手臂。

结果挺有意思。这个不换皮肤的版本,在分布内评测上表现居然还不错,89.4% 对比全量 HuRo 的 88.4%,基本打平,甚至略高一点。但是到了分布外评测,差距就拉开了,不换皮肤版本只有 55.7%,而全量 HuRo 是 72.2%,差了 16.5 个百分点。更夸张的是,这个用了全部数据、却没换皮肤的版本,分布外表现甚至比只用了 10% 数据但换了皮肤的版本(59.5%)还要差。

这个结果说明了什么?说明视觉转换这一步真正的价值,不在于让机器人"看起来更像在正常工作",而在于让机器人在面对陌生场景变化的时候更稳。

打个比方,这就好比学开车。如果你一直在同一条熟悉的路上练车,考试那天也考同一条路,那你闭着眼睛都能过。但真正的驾照考试是要在没见过的路况下开的。如果你训练时看到的画面里全是"人手在开车",到了真正上路(机器人实际部署)那天,方向盘却变成了机器人的机械爪子,你会发现训练时学的那套"看到这个画面该怎么反应"的直觉,很大一部分是配着人手的画面学的,一旦画面换了主体,这套直觉就打折了。视觉转换做的事,就是让训练时看到的画面和实际部署时看到的画面尽可能一致,这样学到的反应机制才能原样搬过去用,尤其是在场景发生变化(比如换了桌布)的时候,这种一致性带来的稳定性优势才会显现出来。

只换画面不够,动作监督才是硬通货

还有一个问题需要回答:如果只是用改造后的机器人画面去预训练视觉部分,动作预测那部分完全重新初始化、从零开始学,效果会怎么样?这其实是在问,之前那些只做"视觉预训练"的工作(比如前面提到的 H2R 和 Masquerade),这条路线到底有没有用武之地,还是说必须把动作监督也端到端地一起训练才行。

研究者为此专门设计了一个"多样化抓取放置"任务,机器人要连续抓取两个抓取方式完全不同的物体放进篮子里,比如一个刷子需要从手柄处抓,一个带把手的杯子需要手指穿过把手抓,抓取方式不对就不给分。测试分三种设置:完全不用 HuRo 预训练、只用预训练好的视觉部分但动作头重新初始化、以及视觉和动作都用预训练权重的完整版本。

结果非常清楚。只做视觉预训练相比完全不预训练,提升很有限,分布内从 25.0% 涨到 31.9%,分布外从 13.9% 涨到 22.2%,涨幅不算大。但视觉加动作一起预训练的版本,分布内直接冲到 61.1%,分布外也到了 50.0%,提升幅度远远超过只做视觉预训练那一档。

这个差距背后的原因,通过具体的抓取动作可以看得更明白。完全不预训练或者只预训练视觉的机器人,面对那个需要从手柄抓的刷子,经常会直接从上方一把抓下去,这种抓法虽然可能也能拿起来,但和示范里"从手柄抓"这个精细动作要求不匹配。而完整预训练版本的机器人,会准确地按照手柄的方向去抓。面对一个训练时没见过的新杯子(分布外测试),只预训练视觉的版本能靠近杯子,但手指伸不进把手里,完整预训练版本却能准确完成这个精细动作。

这说明一件事:光靠改造后的画面去学视觉表征,机器人学到的更多是"这个场景大概长什么样",但没学到"面对这种物体,手指具体该怎么摆放才对"。这种精细的动作知识,只有通过端到端的动作监督才能真正传递进去。这就好比你看了一百遍别人组装家具的视频,你能记住家具组装完是什么样子,但真到你自己动手拧螺丝的时候,手指该用多大力、螺丝刀该拿什么角度,这些细节光靠"看"是学不会的,你得真的练那个动作才能内化成本能反应。

和 AI 生成视频的方法比,谁更划算

除了和人类视频的其他改造方法比,论文还专门拿 HuRo 去对比了另一条完全不同的路子,就是用 AI 视频生成模型直接生成机器人操作画面。

这条对比路线叫 I2V + IDM,思路是先用一个图到视频的生成模型(针对目标机器人做过适配),凭空生成一段机器人操作视频,再用一个逆动力学模型从生成的画面里反推出可能对应的动作指令。这个组合参考了 DreamGen 和 RoboCurate 两项此前的工作。

两边在相同的预训练数据量(70万、350万、700万帧)、相同的训练设置下打了个擂台。结果是 HuRo 在每一个数据量档位上都领先,而且领先幅度还挺大。最夸张的一点是,HuRo 只用 70 万帧就已经超过了 I2V + IDM 用 700 万帧的表现,这个差距接近十倍的数据量差。

更值得注意的是两条曲线的走势不一样。I2V + IDM 从 350 万帧涨到 700 万帧的过程中,分布外表现几乎没有再提升,曲线走平了。而 HuRo 在同样的区间里还在继续往上走。这意味着靠 AI 生成视频这条路子,可能存在某种质量天花板,生成的视频再多,如果本身携带的信息不够丰富、不够真实,堆再多数据也没用。而 HuRo 因为源头是真实的人类动作,信息密度更高,规模效应更明显。

这有点像用两种方式囤积柴火过冬。一种是自己去山里砍真的树枝,虽然一趟能砍的量有限,但每根柴火都实打实能烧;另一种是找人代画一堆"看起来像柴火"的图片,数量可以无限印刷,但这些图片终究烧不出火来。数据量堆得再高,如果内容本身缺乏真实世界的物理约束和细节,增长曲线迟早会走平。

这个方法也不是完美的

论文自己也坦率地列出了几处没解决的问题,这点我觉得挺难得,值得专门说一下。

第一个问题是画面改造的精细程度还有提升空间。目前的机器人叠加渲染,没有专门处理机器人和场景之间的遮挡关系,比如机器人手臂伸到桌子后面这种情况可能处理得不够自然,画面修复也可能留下一些细微的瑕疵。这些视觉上的瑕疵到底会不会影响机器人策略的学习效果,论文里说这是一个还没系统研究清楚的问题。

第二个问题更实际。HuRo 数据集提供的是画面信息和运动学层面的动作信息,但完全没有涉及力觉和触觉。对于捡苹果这种任务可能问题不大,但对于需要精细控制接触力度的任务,比如拧一个易碎的瓶盖,光有"手往哪移动"这个信息是不够的,你还需要知道"手应该用多大力气去接触"。

第三个问题是运动学转换本身没有考虑自我碰撞和物理接触的建模。研究者专门做了个抽查,在五个数据来源里随机检查轨迹,发现只有 55.2% 的轨迹完全没有检测到"非抓取类"的自我接触问题,也就是说接近一半的轨迹里,机器人的手臂或手指之间可能存在一些不太合理的接触。这个数字说明,这些改造出来的轨迹,更适合当作预训练阶段的一种"粗略但海量"的监督信号,不能直接当成可以在真实机器人上一板一眼执行的精确演示。

这三个坦白挺重要,它提醒我们,这套流程解决的是"从零到能用"的问题,不是"从能用到完美"的问题。数据规模上去了,但数据的精细程度和物理真实性,还有很长的路要走。

写在后面

读完这篇论文,最让我意外的一点其实是"换皮肤"和"改动作"这两件事分开做和一起做的差距。很多人(包括我一开始)会本能地觉得,只要动作对了,画面像不像机器人应该是次要问题,毕竟机器人最后是靠动作序列去执行任务的。但实验数据摆在那,分布外场景下,不换皮肤会拖累接近 17 个百分点。这提示我们,视觉观测本身携带的信息,远比"背景装饰"重的多,它其实是机器人判断"我现在该怎么反应"的第一道输入关口,输入关口如果和真实部署时不一致,后面学到的所有反应逻辑都会打折。

另一个让我反复想的地方,是那个自我碰撞的抽查数据,55.2% 这个数字。研究者没有回避这个问题,直接把它写进了论文的局限性部分,坦白说这套流程产出的东西,严格来讲不算是"能直接执行的演示",而更接近一种粗糙但海量的预训练素材。这种坦诚在我看来比某些论文一味强调数据规模和跑分要实在得多,毕竟数据质量和数据数量从来不是同一件事,把两者混为一谈是很容易踩的坑。

还有一个问题我个人比较好奇,但论文没有细谈:如果把这套改造流程用到更极端的场景,比如高速运动的体育动作、或者双人协作的复杂互动视频,会不会遇到完全不同的挑战?毕竟目前测试的都是相对静态、单人操作物体的场景。这条路能走多远,可能还得看后续有没有团队接着往这个方向探索。

Q&A

Q1：HuRo数据集是什么？

A：HuRo是一个由人类活动视频改造而成的机器人训练数据集，包含约63万条改造后的操作片段和1.42亿处理过的画面帧，来自Ego4D、EPIC-Kitchens、EgoDex、EgoVerse和Ego10K五个人类视频来源，经过画面换成机器人、动作换算成机器人关节轨迹的处理后可直接用于训练机器人策略。

Q2：为什么不能直接用人类视频训练机器人？

A：因为人类身体和机器人身体存在具身差距，人的手指结构、运动方式和视角与机器人完全不同，直接把人类视频喂给机器人学习算法，机器人无法理解画面中的人手动作该如何对应到自己的机械结构上，必须经过画面和动作的双重改造才能被机器人学习。

Q3：视觉画面改造对机器人训练效果影响大吗？

A：影响很大，尤其在场景发生变化时。实验显示，如果不把画面里的人手换成机器人手臂，分布内表现基本不受影响，但面对陌生场景（比如换了桌布或物体摆放位置）时，完成度会从72.2%下降到55.7%，差距超过16个百分点。