全球首创！AI看一眼视频就能「读出」双手，三个世界第一

新智元报道

【新智元导读】不教AI认手,而是从视频世界模型里直接「读」出双手:三大基准SOTA,让百万小时野生视频第一次能变成机器人的操作教材。

机器人圈有个老大难问题，卡了所有人好几年：手部动捕。

不是捕不了，是一到真实场景就崩——你端碗、拧瓶盖、从口袋掏手机，手一被挡住，最先进的检测器直接报废，后面的姿态重建全盘歇菜。

全世界最聪明的一群人，在这个问题上加检测器、加时序模块、加运动先验、加测试时优化……补丁摞补丁，还是扛不住遮挡。

结果，我们把视频生成模型换了个打开方式，顺手把这事儿办了。

近日，大晓机器人联合南洋理工大学与上海交大发布ACE-ViDiHand——全球首个用视频生成模型做4D手部动捕的方法。

在ARCTIC、HOT3D、HOI4D三大基准上，ARCTIC和HOT3D全部九项指标第一，HOI4D九项中八项第一。

最炸裂的一个数字：手被东西挡得严严实实的场景下，ACE-ViDiHand的帧准确率0.997，此前最强的WiLoR只有0.919。

什么概念？同样跑1000帧视频，WiLoR丢了81帧，ACE-ViDiHand只丢3帧——几乎一只手都不落。

这意味着，大规模、高质量的人手视频自动标注，第一次真正成为可能。

论文标题《The Surprising Effectiveness of Video Diffusion Models for Hand Motion Reconstruction》——带了个「Surprising」，应该是连作者自己都觉得效果好得离谱。该项目将于近期全面开源。

论文链接：https://arxiv.org/abs/2606.30308

项目主页：https://ACE-ViDiHand.github.io

同期工作Vision Banana刚刚证明：把图像生成模型拿来做视觉理解，效果比专门训练的判别式模型还强——会画画的AI，天然就会认东西。

ACE-ViDiHand把同样的逻辑从图像推到视频、从2D推到4D：会生成视频的AI，天然就懂手怎么动。

手部动捕为什么这么难？

手部动捕不只是个「挺难的技术问题」，它是具身智能的命门。

手部运动是人类操作意图最直接的表达。

抓、放、倒、拧、叠——每个灵巧操作的任务意图、动作过程、物体状态变化，全写在手部轨迹里。

机器人要从人类视频里学操作，手部轨迹就是最核心的监督信号。这份「教材」的质量，直接决定了机器人策略学习能到什么水平。

但这也是最难自动提取的数据。两个字：遮挡。

你端碗吃饭，手被碗挡住大半；你拧瓶盖，十根手指叠成一团；你从包里掏手机，整只手消失。

人看一眼就知道手在干什么，机器不行。

目前主流两条路。图像路线（HaMeR、WiLoR、Hamba等），检测器先框手、再估姿态，手一被挡就全崩。

视频路线（OmniHands、Dyn-HaMR等），靠跨帧注意力和运动先验从前后帧里找补，但时序模块是拿稀缺的手部标注数据训出来的，认手都勉强，「猜」被挡住的部分根本学不会。

而且运动先验只建模了手本身，跟物体、场景完全脱钩——手伸进抽屉那一刻，先验和现实就对不上了。

两条路都是死胡同。卡了这么多年，不是没人使劲，是方向不对——所有人都在「手」上做文章，没人想过换个出发点。

会画手的AI，不用再教它认手

这个逻辑很符合直觉，视频生成模型天天看互联网上的海量视频，它早就学会「脑补」被挡住的手了——只是此前没人从「手」的角度去挖掘。

想想Wan2.1这样的视频生成模型——要生成一段让人看不出破绽的视频，它必须在内部搞定三件事：

• 时空一致性——前一帧手在这里，后一帧不能瞬移到那里；

• 从2D推3D——手的透视、大小变化都得合理，这就得「理解」三维几何；

• 推理被遮挡的内容——手被杯子挡住了，但视频里的下一秒手又出来了，中间那段模型必须知道手还在那、在干什么。

这三样能力，恰恰是手部动捕这些年求而不得的东西——一个13亿参数的视频大模型在海量互联网视频上自然涌现出来的「世界先验」。

所以ACE-ViDiHand的思路是：不从零教AI认手，而是把手部姿态估计重新定义成——从视频世界模型里「读取」表征。

打个比方：一个画了十年画的人，他闭着眼都知道手怎么摆、怎么动。你不用再教他认手，只需要一支笔，让他把脑子里那只手直接画出来。

ACE-ViDiHand做的，就是递上这支笔。

怎么做到的？两步走

具体分两个阶段，可以概括为：先教模型「画手」，再从它脑子里「读手」。

第一步，教它盯手。让模型在原始视频每一帧上叠加一层半透明的手部渲染——包括手被完全遮挡的帧。

想让叠加连贯不穿帮，模型就必须在内部时刻维护每只手的3D状态，哪怕画面上根本看不见手。

这相当于逼模型在遮挡下持续「追踪」手，而不是简单补全可见像素。

训练分两步：先在大规模EgoDex数据上做关节骨架叠加打底，再切到MANO网格叠加做精对齐，全程不损失基座模型对场景和物体的理解能力。

第二步，读出来「手」。从DiT第15层（30层正中间）、去噪到约70%时的特征里，用双分支解码器直接读出手部姿态。

为什么是这一层？消融实验的答案很符合直觉：太浅还在盯像素，太深已经在想怎么「画」了，L15、τ≈0.7正好卡在「理解最深」的甜蜜点。

两条分支各管一摊——一条整合手的全局信息输出关节姿态，因为手指弯曲是牵一发动全身的事；一条逐关节定位输出2D坐标，因为「手指在画面哪」是个局部问题。

两条分支互相交换情报后，深度靠回归、平面位移靠闭式求解，一步出结果。

整条管线直接吃全帧视频——不用检测器、不用裁剪、不用运动补全、不用测试时优化，单次前向同时输出双手4D轨迹。

跑分有多猛？

三大基准恰好覆盖手部动捕最典型的三类噩梦场景：

ARCTIC——重度遮挡双手操作。双手操作铰接物体，手指、手掌、物体搅在一起。

关节误差PA-MPJPE-p降到9.8mm，8个基线里最好的也要11.9mm；2D端点误差EPE-p只有12.4像素，最好的基线50.5像素——直降4倍。

手部召回率和F1（综合衡量「有没有找到手」「找得准不准」的检测得分）均达到99.9%，帧级准确率99.7%，帧级错误率相比最强基线下降超过96%——即使在严重遮挡下也几乎不丢手。

抖动3.18，此前最平滑的方法12.8——低了近4倍。而且人家的平滑是靠外挂运动补全模块和SLAM优化硬磨出来的，ACE-ViDiHand天生就这么稳，零后处理。

HOT3D——鱼眼畸变 + 高动态光照。广角鱼眼镜头、忽明忽暗的光线、快速甩头甩手，每一样都是检测器的噩梦。

F1（综合检测得分）达到0.983，全面第一；3D关节误差PA-MPJPE-p较此前最佳结果降低43%。

HOI4D——训练时完全没见过的数据集。纯泛化测试，所有对比方法同样没在这上面训练，双向公平。

9项指标拿下8项第一。抖动4.0，第二名17.4——约为其四分之一。EPE-p从第二名的41.6像素降到24.5像素。

这说明ACE-ViDiHand的优势不是靠「刷题」刷出来的，是底层表征够硬，换个场景照样能打。

总体来看，三个数据集上的轨迹抖动较此前最佳方法降低约4.0至4.8倍。

这表明，视频世界模型从大规模视频中习得的时序一致性、遮挡推理能力、空间几何与手物交互的结构化知识，能够为手部运动重建提供强大的表征支撑。

范式转移

从「专用补丁」到「继承世界模型」

机器人学操作，最好的教材就是海量第一视角人类视频，手部轨迹就是最核心的监督信号。

但真实操作视频里，几乎每一帧的手都被东西挡着——人类灵巧操作天然伴随遮挡。

业界甚至有公司专门雇人把设备绑脑门上、按小时计费采手部数据，就为了凑高质量标注。

ACE-ViDiHand给出了一条全新的路：直接从视频里把手的4D轨迹读出来，不靠检测器、不怕遮挡——大规模人手视频的自动标注，第一次有了可靠的技术底座。

当你能从百万小时的互联网视频里稳定提取手部运动，把「野生视频」变成可学习、可扩展的具身数据资产——具身智能的数据飞轮，才算真正开始转。

论文作者把话挑明了：这是4D手部重建的范式转移。

过去是补丁摞补丁——检测器不行换更好的检测器，抖动大了加平滑模块，遮挡扛不住加运动补全。工程量越来越大，天花板越来越低。

ACE-ViDiHand反过来：直接继承视频大模型已经学会的时序一致性、遮挡推理、空间几何，与其从零造轮子，不如站在巨人肩膀上。

从「看见手」到「理解手」，从「识别动作」到「读取运动」——当视频生成模型的内部表征从生成工具变成可读取的感知基座，具身AI才算拿到了真正可规模化的数据入口。

大晓开发者社群，开门了！

我们的开悟世界模型，不复刻世界，只锚定动作。

如果你也关注 PhysicalAI/ 具身智能 / 世界模型，是时候，一起开悟了