网易首页 > 网易号 > 正文 申请入驻

NVIDIA提出4D-HOF:以条件流匹配实现快速4D手物交互重建

0
分享至

当前,从单目视频重建手与物体的四维交互是机器人学习、增强现实和人机交互的重要基础。然而,该任务通常面临手指遮挡、物体尺度歧义,以及手与物体在三维空间中难以对齐等挑战,现有方法通常需要逐序列进行拟合,计算代价高且对初始化参数非常敏感。后面出现的生成式方法虽然能够更好的学习交互先验,但是大多从随机噪声出发,难以保留视频中实例特定的物体几何与姿态线索。

本文介绍一篇 NVIDIA 的最新工作 4D-HOF。4D-HOF将重建问题表述为一种条件流匹配过程,以视觉基础模型输出的粗略但具有信息量的手物状态作为源分布,学习一条连续传输路径,将其引导至物理合理的交互流形中,从而以前馈方式来联合校正平移、旋转与手物对齐。在 HO3D-v3 数据集上的实验结果表明,4D-HOF 的手-物相对 Chamfer 距离()仅有 5.98 cm²,并且处理一段约 200 帧视频仅需 24 分钟,其中生成式细化阶段仅需要 1 分钟,在精度与效率之间取得了较好的平衡。


论文题目:
4D-HOF: Hand-Object Flow Matching for Feed-Forward 4D Interaction Reconstruction
文章链接:
https://arxiv.org/abs/2610.08782
项目主页:
https://tamu-visual-ai.github.io/4D-HOF/


一、研究背景

单目4D手与物体交互重建需要从连续 RGB 视频中恢复物体的三维几何与六自由度姿态,同时估计手部姿态及其与物体的时序关系。由于单目视频只能提供二维投影,且手部容易对物体造成频繁遮挡,从而导致手与物体的空间关系错配(如手指悬空、穿透物体等现象)。


上图展示了4D-HOF在四类具有代表性的单目手物交互场景(耳机、水壶、柱状物体与相机四类场景)中的定性重建结果。上方为输入RGB帧,下方为重建的手物交互渲染效果。整体结果表明,4D-HOF能够生成符合物理常识且时序稳定的4D交互序列。

二、本文方法

本文方法的核心目标是将一段 帧单目 RGB 视频转化为共享坐标系中的手物交互序列,输出包括一个物体网格 、物体六自由度姿态,以及由 MANO 参数描述的手形状和逐帧姿态。整体流程先由基础模型构建一个粗略的手物状态,再通过条件流匹配模型细化整体的交互序列,具体流程如下图所示。


2.1 将 4D 交互重建表示为条件流匹配任务

设输入的 帧单目 RGB 视频序列为。目标是恢复规范物体网格、物体六自由度姿态,以及由 MANO 参数描述的手部形状与逐帧姿态。对于手物重建,如果源分布只有随机噪声,模型就需要在单目观测阶段中出现的大量三维解中搜索具体实例。为此,作者采用流匹配 [1] 形式,来连接任意源分布与目标分布 :

其中, 是待学习的速度场, 控制流匹配中的随机性, 为布朗运动。本文给出的常见布朗桥形式为 ,当 时,这一形式退化为确定性流匹配。4D-HOF 的关键选择是在推理时以基础模型产生的粗略手物状态作为起点,将目标分布设为物理上合理的手物交互,而不是要求模型从纯噪声中重建整段视频。

2.2 使用视觉基础模型对几何形态进行初始化

本文将第 帧初始交互状态记为 。初始化阶段先进行上下文场景解析,由视觉语言模型定位交互对象,分割模型输出逐帧物体掩码 ,MoGe-3 模型估计深度 与相机参数。手部由 WiLoR模型[2]预测逐帧 MANO 参数与二维关键点。物体侧则选取视角互补的关键帧,经预训练多视图生成模型来重建网格 ,再基于深度信息与改进的 FoundationPose模型 [3] 来对齐场景并估计逐帧姿态 。这些基础模型输出虽然保留了实例几何与姿态线索,但由于各模块之间是独立估计的,非常容易造成误差积累。

2.3 用条件流联合修正手物状态

经过上述阶段得到初始序列 后,4D-HOF 就可以将其传递到交互状态 。其中,条件速度场不仅接收中间状态 和流时间 ,还接收物体网格 、手形状 与视频 。物体表面采样点和 MANO 手部顶点共同构成显式的三维输入,由 Point Transformer V3 模型提取手物空间关系。DINOv2 模型提供逐帧图像特征,多帧特征再送入到 DiT 进行时序推理和速度预测,本文的条件流匹配目标为:


由于网络的输出是速度而不是最终姿态,本文进一步从生成轨迹中恢复终点估计,并对其施加三维位置监督。该损失分别对 MANO 关节、变换后的物体点云以及物体点与手部关节之间的相对欧氏距离来进行约束:


2.4 在推理阶段加入测试时引导策略

在条件流匹配过程中,模型可以在推理阶段直接修正中间状态,而无需在重建完成后再进行后优化。测试时引导 由物体轮廓、手物交互与时间平滑三部分组成,状态更新公式如下:

为了缓解手部的遮挡干扰,4D-HOF将物体掩码与膨胀后的手部掩码合并为。然后目标函数会同时惩罚落在 之外及画面外的投影点,并鼓励投影覆盖可见的物体边界:


其中, 、 、 分别衡量到允许区域、画面外及最近投影点的距离。交互引导 会进一步强化训练阶段抑制手物穿透的约束。时间引导 则进一步约束手与物体状态的一阶与二阶时间差分:

其中,平移增量取相邻帧的位置差,旋转增量以相邻帧相对旋转的轴角向量表示,再对增量计算二阶差分。

三、实验结果

本文在 HO3D-v3 和 DexYCB 两个benchmark上评估了4D-HOF方法的性能:前者以复杂交互和严重遮挡为特点,后者侧重多主体的桌面抓取任务。实验分别选取 18 段 HO3D-v3 和 20 段 DexYCB 序列,并与 HOLD、MagicHOI、AGILE、CHOIR 四个基线方法进行对比。评价指标主要分为五个方面:手部精度用关节位置误差(MPJPE,mm)来衡量。物体精度用双向 Chamfer 距离(CD,cm²)和 F-score(F5/F10,%)来评估。交互一致性用手物相对 Chamfer 距离(CDh,cm²)、穿模体积(IV,cm³)和接触准确率(CA,%)评估。时序稳定性用手部关节轨迹抖动幅度(JM,m/s³)衡量,数值越低越平滑。鲁棒性则用序列成功率(SR,%)表示。

3.1 定量实验结果


上表展示了在 HO3D-v3 数据集上,4D-HOF 与 HOLD、MagicHOI、AGILE、CHOIR 方法在交互一致性、手部/物体重建精度及鲁棒性方面的对比结果。4D-HOF方法在手物相对Chamfer距离降至5.98 cm²,穿模体积为13.44 cm³,接触准确率达97.27%,成功率为100%。其时序抖动为1.61 m/s³,显著低于HOLD、MagicHOI与AGILE,虽略高于CHOIR,但整体交互质量更优。


上表展示了 DexYCB 数据集上的实验结果,其中条件流匹配以点云显式编码手物空间关系,融合DINOv2外观特征与时序注意力,联合修正几何、位姿、尺度与对齐。因此,4D-HOF在DexYCB上实现了更好的手部精度、物体重建与交互质量,并保持高鲁棒性。


上表展示了不同方法在约200帧序列上的计算成本对比。4D-HOF方法预处理约23分钟、生成式细化约1分钟,总计约24分钟。HOLD总耗时约25.1小时,MagicHOI约2.4小时,AGILE约2.1~2.2小时,CHOIR约30分钟。结果表明,4D-HOF以条件流匹配实现前馈式细化,将传统逐序列优化从数小时或数十分钟压缩至约1分钟,在保持竞争性重建质量的同时显著提升推理效率,并优于除CHOIR外的大多数对比方法。

3.2 定性实验结果


上图在HO3D-v3与DexYCB数据集上给出了定性对比,展示输入帧、真值、4D-HOF及HOLD、MagicHOI、CHOIR等基线的重建结果。整体来看,4D-HOF的重建手物构型与GT最为接近:物体几何保持更完整,手部姿态与接触关系更合理,跨帧轨迹也更稳定。相比之下,HOLD与MagicHOI在遮挡、复杂抓握等挑战性序列中出现了明显的几何失真、手物错位或接触错误现象,部分序列甚至失败。CHOIR虽有一定改善,但仍存在一定的问题。

3.3 消融实验结果


上表通过消融实验验证了不同的视觉基础模型初始化策略对最终重建的影响。如果以单图 SAM3D 来代替多视图物体重建, 会退化到 262.19 cm²,接触准确率降至 64.40%。若退回 FoundationPose 默认的跟踪模型, 会提升到 15646.78 cm²,表明在遮挡情况下会发生严重漂移的情况。仅使用基础模型初始状态时, 为 46.58 cm²、接触准确率 78.07%;即使加入了测试时引导策略, 仍为 41.75 cm²、接触准确率 81.53%。这说明高质量初始化与学习到的流匹配交互先验都非常重要,测试时引导无法替代生成式细化。


上表进一步通过消融实验验证了流匹配模型设计的有效性。在去除时间建模后, 升至 18.93 cm², 增至 4.26 m/s³,说明时序建模对轨迹的稳定性至关重要。

四、总结

4D-HOF将单目手物重建从传统的逐视频优化范式,转变为一种可控的流匹配模式,并在统一模型中联合建模手、物体及其时序轨迹。4D-HOF先由视觉基础模型构建一个粗略的手物初始状态,并将其作为生成过程的源分布,然后再学习条件流匹配,将初始状态沿连续路径细化到符合物理常识的交互流形中。模型在统一框架中处理手、物体及其时序轨迹,条件速度场融合手物三维几何、视频外观特征与时间信息,从而联合校正几何、位姿和尺度等细节信息。模型的训练以流匹配为主,并加入了三维位置、接触/穿透和手部正则等约束。并且在推理时引入了轮廓、交互与时间平滑引导,以一种轻量的方式完成来前馈细化。

参考

[1] Michael Albergo, Nicholas M Boffi, and Eric Vanden-Eijnden. Stochastic interpolants: A unifying framework for flows and diffusions. Journal of Machine Learning Research, 26(209):1–80, 2025.

[2] Rolandos Alexandros Potamias, Jinglei Zhang, Jiankang Deng, and Stefanos Zafeiriou. Wilor: End-to-end 3d hand localization and reconstruction in-the-wild. In Proceedings of the Computer Vision and Pattern Recognition Conference, pp. 12242–12254, 2025.

[3] Bowen Wen, Wei Yang, Jan Kautz, and Stan Birchfield. Foundationpose: Unified 6d pose estimation and tracking of novel objects. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, pp. 17868–17879, 2024.

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

不准中国接俄,也不准中国收台,更不准管制稀土。七国集团曾明确指出,中国不能援助俄罗斯,不能以武力改变台海现状,也不能限制稀土出口

扶苏聊历史
2026-11-18 15:55:59
全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

全球95%的人都携带的病毒,竟可能是100%红斑狼疮的根源!

徐德文科学频道
2026-11-20 15:21:42
年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

年会中了四十万的奔驰E300L,直接提车还是税后折现三十五万,这道题摆在普通中年夫妻面前,往往会吵出两种委屈

可读
2026-11-21 00:13:14
中国股市失控信号亮起:这次可能真的不是玩笑

中国股市失控信号亮起:这次可能真的不是玩笑

星语者056
2026-11-20 08:56:23
CBA杯赛小组赛最终排名!山东北京等8队晋级,淘汰赛对阵时间出炉,辽篮再遇老对手

CBA杯赛小组赛最终排名!山东北京等8队晋级,淘汰赛对阵时间出炉,辽篮再遇老对手

老吴说体育
2026-11-20 23:31:30
中国最大饺子店,要上市了!

中国最大饺子店,要上市了!

先锋新闻
2026-11-21 06:54:25
广东半场落后香港金牛3分!徐杰轰5+5+4,焦泊乔7分,周鹏3分

广东半场落后香港金牛3分!徐杰轰5+5+4,焦泊乔7分,周鹏3分

多特体育说
2026-11-21 21:01:17
浙江啤酒消亡史:曾经有上百个地方品牌,如今只剩一棵独苗!

浙江啤酒消亡史:曾经有上百个地方品牌,如今只剩一棵独苗!

云霄纪史观
2026-11-21 03:57:38
日本发布了最新中日关系民意调研结果!出乎人意料

日本发布了最新中日关系民意调研结果!出乎人意料

荆楚寰宇文枢
2026-11-20 22:39:50
王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

王石再次预言楼市!2026年12月之后,中国房价或迎来4大转变

巢客HOME
2026-11-19 11:00:09
不敌nbl球队,上海男篮下半场全华班出战,偰李永炜21+8,拉塞尔仍未找到状态

不敌nbl球队,上海男篮下半场全华班出战,偰李永炜21+8,拉塞尔仍未找到状态

替补席看球
2026-11-21 21:59:38
“AI检出率”致作者陷自证困局:论文改到“学生作文水平”才达标,却没了学术性

“AI检出率”致作者陷自证困局:论文改到“学生作文水平”才达标,却没了学术性

澎湃新闻
2026-11-21 09:32:42
紧身短裤,是跑步最尴尬的装备

紧身短裤,是跑步最尴尬的装备

跑者排球视角
2026-11-20 06:59:54
为啥有时候大便之前的体重和大便之后的体重一样?难道排泄物没重量吗?

为啥有时候大便之前的体重和大便之后的体重一样?难道排泄物没重量吗?

向航说
2026-11-20 22:10:04
最新曝光!特朗普,买入英伟达、SpaceX

最新曝光!特朗普,买入英伟达、SpaceX

证券时报
2026-11-21 16:16:08
凌空抽射扳平比分,安德森对阵富勒姆收获曼城生涯英超首球

凌空抽射扳平比分,安德森对阵富勒姆收获曼城生涯英超首球

懂球帝
2026-11-21 22:08:12
央视本周继续停播西甲!皇马主席:印度球迷可免费观看皇马的比赛

央视本周继续停播西甲!皇马主席:印度球迷可免费观看皇马的比赛

风过乡
2026-11-21 21:57:47
CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

体育大学僧
2026-11-21 11:40:50
红果热播榜杀疯了!《持械入宋》跌至第4,第一名8958万登顶榜首

红果热播榜杀疯了!《持械入宋》跌至第4,第一名8958万登顶榜首

可乐谈情感
2026-11-21 09:09:38
别被《瓦尔特保卫萨拉热窝》忽悠:南斯拉夫游击队真实战力复盘

别被《瓦尔特保卫萨拉热窝》忽悠:南斯拉夫游击队真实战力复盘

民宿体验志
2026-11-20 18:37:19
2026-11-21 22:43:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2545文章数 597关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

家居
教育
本地
健康
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

医生眼里"很伤腰"的椅子,很多人天天坐

军事要闻

俄乌炸桥冲突升级 相关谈判设想被放弃

无障碍浏览 进入关怀版