机器人看视频学操作！伯克利首次打通互联网视频到灵巧手真机部署链路

新智元报道

【新智元导读】只用单目RGB视频，Do as I Do将日常人类操作转化为 Sharpa Wave 可执行轨迹，补上类人灵巧操作从视频到机器人数据的关键链路。

人类学习灵巧操作，往往是从「看」开始的。

孩子看别人打蛋、倒水、钉钉子，慢慢就能通过模仿学会这些动作。但机器人不一样。今天的机器人学习，更多还是靠「做」，比如成本较高的遥操作、大量仿真执行，或是在精心布置的场景中采集真机数据。

事实上，可供机器人「看」的数据早已存在。YouTube、第一视角数据集以及生成式视频中，已经包含了海量人手与物体交互的素材。真正的瓶颈不在数据缺失，而在于是否能完成数据转换：如何把这些带有噪声的单目RGB视频，变成多指灵巧手能够执行的动作轨迹？

UC Berkeley团队提出的端到端流程旨在解决该问题，研究团队跑通了首条能够从网络视频生成真实灵巧手实机执行轨迹的完整链路：先从真实场景中的单目RGB视频中重建4D手-物交互过程，再将这些交互轨迹重定向到拥有22个自由度的Sharpa Wave灵巧手上。

论文链接：https://arxiv.org/abs/2606.19333

项目链接：https://do-as-i-do.com/

整条路径在20类操作动作中生成了500条经过验证的轨迹，并在双UR3e机械臂+双Sharpa Wave平台上，以50Hz部署10个真实任务。

问题：「看见」≠「会做」

要把灵巧机器人数据规模化，仍然绕不开三个结构性难题：

1. 单目RGB视频中的手-物交互仍难以稳定重建

真实场景视频往往存在运动模糊、遮挡、深度歧义等问题，物体种类也不固定。FoundationPose一类跟踪方法，在轻微模糊下就可能丢失位姿锁定。而一些联合重建方法则更依赖实验室环境，或只能处理预先设定好的物体类别。

如果没有稳定的4D手-物重建，人类视频就很难用在机器人学习中。

1. 带噪声的参考轨迹会让动作重定向失效

此前的动力学感知动作重定向方法，例如SPIDER或基于强化学习（RL）的跟踪方法，通常假设输入的是干净的MoCap真值数据。但事实上，从网络视频中重建出来的参考轨迹可能并不干净。它们可能存在时间上的不连续、接触关系错位，甚至包含物理上无法成立的初始状态。

这些问题会直接影响后续优化。论文实验显示，直接使用基于采样的优化方法，在这类带噪声参考轨迹上的失败率可达到75%。

1. 遥操作本身难以规模化

遥操作可以提供真实机器人数据，但成本很高。它依赖专业操作人员、专用设备，还需要围绕具体任务逐一采集。单靠遥操作，想覆盖一小时人类做饭视频里的丰富操作都很难，更不用说覆盖整个互联网中的海量人类视频。

所以，Do as I Do想回答的问题是：仅靠单目RGB视频，不预设抓取先验，也不限定刚性物体类别——机器人能不能从"看到"走向"做到"？

解决方案

Do as I Do的流程分为两个阶段：

阶段一：用引导式扩散稳定跟踪物体

SAM 3D可以为单帧图像生成物体网格。但如果把每一帧都独立处理，生成结果很容易漂移，也难以保持时间上的连续性。

所以Do as I Do尝试先选定一个锚定帧，并在这一帧中固定物体形状。在后续帧的流匹配去噪过程中，系统会让当前帧的位姿采样结果向上一帧的位姿靠拢，从而在保持物体形状一致的同时，得到更连续的位姿轨迹。同时，系统还会根据2D点跟踪估计出的物体旋转速度，自适应调整位姿。这样可以避免跟踪过于僵硬，也能减少错误翻转。

在150个真实场景视频的人工对比评估中，评估者在67%的样本里认为Do as I Do的跟踪结果好于FoundationPose。在不少样本中，多位评估者给出了一致判断。

阶段二：面向带噪声参考轨迹的稳健动作重定向

Do as I Do在SPIDER的采样 / MPPI优化框架基础上，进一步加入了三项设计，用来处理从网络视频中重建出的噪声参考轨迹：

综合这些改进后，Do as I Do在带噪声的真实场景参考轨迹上，将动作重定向成功率从25%提升到71%。

实验结果

重建能力基准测试（SOTA）

动作重定向基准测试

500条已验证轨迹的数据来源

该方法最终覆盖20类操作动作。这些动作并不是单一的拿取或放置，而是更贴近人类日常生活的复杂操作，包括放置、拿取、擦洗、涂抹、挤压、熨烫、刷涂、除尘、挖掘、擦除、倾倒、书写、搅打、搅拌、戳刺、压实、钻孔、锤击、切割和刷酱汁。

实机部署

这些轨迹不只停留在仿真里。研究团队从中选取了10项代表性动作，部署到双UR3e机械臂+双Sharpa Wave灵巧手平台上，以50Hz控制频率完成了实机执行。

部署的动作覆盖了不同物体形状和多种抓握方式，包括书写式三指抓握、力量抓握、掌侧抓握和平行伸展抓握。

Sharpa Wave拥有22个自由度，尺度接近人手，因此更适合作为人类手部动作迁移的目标本体。搅打、搅拌、锤击等动作都需要双手配合完成，而这些很难靠传统平行夹爪实现。Wave超过4Hz的手势切换频率和50N指尖力，撑得住这些动作的力度和速度要求。

从重建、仿真（MuJoCo Warp，200Hz）到真实部署，研究团队都将Sharpa Wave作为动作重定向的目标手型，把人类视频中的操作轨迹迁移到这一本体上。

EgoScale同样将人类手部关键点重定向到这一手型上，CAIP则在Dexmate Vega+双Wave平台上进行评估验证。因为目标手型更接近人手，系统在从人类动作迁移到机器人执行时，需要跨越的形态差异也更小。

筛选手册：为什么95%网络视频还不能直接用

对于希望规模化利用人类视频数据的团队来说，包括EgoScale这类方向的研究团队，Do as I Do 还给出了一个很实用的提醒：视频不是越多越好，能不能筛出可用数据同样重要。

研究团队分析了100DOH数据集中的2000个10秒视频片段（已经过手-物交互筛选）：

结果很直接：如果不先对原始视频进行预处理，直接把网络视频投入机器人学习，真正可用的数据可能只剩约二十分之一。因此，Do as I Do也总结出了一套数据筛选要点：检查手和物体是否始终在画面内，确认动作是否跨越镜头切换，排除相机运动过大的片段，并识别SAM 3D可能失败的情况。对任何希望在灵巧手上打通「人类视频到机器人执行」流程的团队来说，这套筛选流程将成为绕不开的基础环节。

结论：人类视频正在变成机器人数据

在过去很长一段时间里，「Do as I Do」更像是人工智能领域（AI）的一个理想：让机器人看懂人类示范，并把这些动作迁移到自己的身体上。而UC Berkeley的这个研究正在把这个理想变成现实：输入一条视频链接，系统可以重建其中的手-物交互过程，并将它转化为Sharpa Wave可执行的动作轨迹。

从某种意义上来说，世界上最大的操作数据集其实早已存在——它们就藏在每天被人们拍下、上传和分享的视频里。Do as I Do要做的，就是把这些视频转化成灵巧手能执行的22个自由度关节轨迹。

观看，重建，重定向，然后在真实机器人上执行。

参考资料：

https://do-as-i-do.com/

编辑：LRST