银河通用&清华推出DexNDM，用神经动力学重塑灵巧操作

DexNDM 成果第一作者为清华大学交叉信息研究院博士生刘雪怡，通讯作者为清华大学交叉信息研究院助理教授、上海期智研究院 PI 弋力，研发指导团队还包括北京大学助理教授王鹤与北京银河通用有限公司

机器人使用灵巧手帮人类在工厂里拧螺丝，在家里切菜做饭的一天何时可以到来？为了实现这一愿景，旨在解决灵巧操作技能 sim-to-real 难题的 DexNDM 应运而生。

• 论文标题：DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model
• 论文链接：https://arxiv.org/abs/2510.08556
• 项目网站：https://meowuu7.github.io/DexNDM/
• YouTube 视频：https://www.youtube.com/watch?v=tU2Mv8vWftU

背景 – 高灵巧性复杂工具遥操作

实现高灵巧性的复杂工具遥操作，例如控制机械手使用螺丝刀或锤子，是机器人领域一个长期存在的核心挑战。传统的直接映射遥操方案，即由人手直接控制机械手，其能力通常局限于简单的抓取与放置任务，无法胜任需要精细指尖协调的复杂操控。

为了突破这一瓶颈，我们主张采用一种半自主遥操作的范式。其核心思想是将复杂的遥操任务分解为一系列机器人可以自主执行的、稳定可靠的原子技能。操作者仅需下达高层指令，由机器人底层控制器精准地完成具体操作，从而将人的意图与机器人的高精度执行力完美结合。

在众多原子技能中，手内物体旋转是一项至关重要、同时又极具挑战的基础能力。它不仅是灵巧手 “灵巧性” 的集中体现，也是使用绝大多数工具的前提。然而，手内旋转涉及到复杂且快速变化的接触动态，这带来了巨大的仿真与现实鸿沟（Sim-to-Real Gap）。以往的研究因此常常局限于特定场景，如简单的物体几何形状、受限的物体尺寸或特定的手腕姿态，难以形成通用的解决方案。

为此，我们提出了DexNDM，一个旨在学习通用、稳定底层原子技能的新方法。DexNDM 旨在突破现有工作的局限，它能够让灵巧手掌握沿着多种转轴、在多样的手腕朝向下、稳定旋转各类物体的技能，覆盖了包括具有挑战性的长条状物体和微小物体在内的广泛场景。

基于 DexNDM 所提供的强大且稳定的旋转原子技能，我们最终构建了一个高灵巧性、高鲁棒性的半自主遥操系统。在该系统中，操作者可以轻松地引导灵巧手完成此前无法实现的高难度任务，例如使用螺丝刀拧紧螺丝、用锤子敲击钉子等手 - 工具 - 物体交互的复杂工具操作，甚至可以完成对系统鲁棒性有极高要求的长程家具装配任务。这充分证明了我们所提出的 “原子技能赋能复杂遥操” 路径的有效性。

前所未有的灵巧性

【亮点 1】全场景物体覆盖：从微小到超长，从简单到复杂，皆可精准驾驭

1. 首次攻克极端挑战下的持续旋转

DexNDM 突破了现有手内旋转技术的天花板，首次实现了在手掌朝下、侧向等极具挑战性的腕部姿态下，对长条状物体（如棍、笔）沿长轴的持续稳定旋转，以及对微小物体沿多轴的灵巧转动。这是以往工作中从未实现过的能力。

图 1：旋转小物体和长物体

2. 极广物体覆盖，完美驾驭复杂几何体

图 2：极广物体覆盖

DexNDM 在可操作物体的多样性方面取得了显著突破，实现了对从微小到细长、从简单到复杂几何体的全面覆盖，其广度远超以往任何工作（如图 2 所示）。

为了量化这一优势，我们将其与此前在复杂几何体旋转方面表现最佳的工作 Visual Dexterity 进行了直接比较。结果显示，即便 DexNDM 采用的是比 Visual Dexterity 所用的定制化 D’Claw 机械手更小、更通用的 Leap Hand，它在旋转相同物体时依然表现出相当甚至更优的性能。这证明了我们算法的卓越性，即用更通用的硬件实现了更强的能力。

更进一步，DexNDM 开创了一项前所未有的能力。我们首次展示了使用 Allegro、Leap Hand 这类通用型机械手，在手掌朝下等具有挑战性的腕部姿态下，稳定旋转多种表面凹凸不平的复杂几何体（如图 3 所示）。这一高难度场景下的操控能力是所有先前工作都未能企及的。

图 3：旋转复杂几何体

【亮点 2】全姿态精准操控：任意腕部姿态，多样旋转轴，皆可随心而动

除了在物体种类上的卓越通用性，DexNDM 的另一大特色在于其对腕部姿态和旋转轴向的强大适应性。无论机械手处于何种朝向，也无论任务要求物体沿哪个轴旋转，DexNDM 都能稳定、精确地完成指令，展现了其策略的高度灵活性和泛化能力（图 4）。

图 4：多样的手腕朝向

【亮点 3】高「灵巧性」、高鲁棒性灵巧手遥操系统，驾驭多种工具，胜任长程装配任务

我们将 DexNDM 强大的手内旋转能力作为一项 “原子技能”，构建了一套灵巧性远超传统方案的遥操作系统。在该系统中，操作者仅需通过手臂控制机械臂的位姿，并通过简单指令下达期望的物体旋转轴向，DexNDM 便能自适应地规划并执行精细的手指运动，从而稳定地旋转手中的物体。基于此，我们成功实现了多种复杂的工具使用任务，如使用螺丝刀拧螺丝，使用刀切香蕉，使用锤子锤钉子，使用笔写字等。

更进一步，DexNDM 策略的超强鲁棒性，使得遥操作系统能够胜任对稳定性要求极高的长程（Long-horizon）装配任务。例如，我们成功完成了为一张桌子安装全部四条桌腿的完整装配流程，整个过程流畅稳定，不会因策略失效或遭遇未见场景而中断。

图 5：高 「灵巧性」高鲁棒的灵巧手遥操作

技术突破

DexNDM 所实现的真实世界中强大的物体旋转能力得益于其在 sim-to-real 方法上的创新（图 6）。

具体而言，本文方法的核心是一种关节级动力学模型，它通过有效拟合少量真实世界采集的数据，并据此相应地调整仿真策略的动作，从而弥合仿真和现实之间的动力学偏差。该模型具有很高的数据效率，并能在不同的手 - 物交互分布间实现良好的泛化：它对手 - 物交互的动力学进行逐关节的分解，将系统级影响压缩为低维变量，并根据每个关节自身的动力学特性学习其演化过程，从而隐式地捕获这些耦合效应。

作者配套采用了一套全自动的数据采集策略，以最少的人为干预收集多样化的真实世界交互数据。DexNDM 所提出的逐关节动力学建模和全自动数据采集策略为真实世界中复杂的交互动力学建模提供了新的思路，并为真实世界中交互数据采集困难昂贵的问题提出了一个巧妙地行之有效的解法。

基于训练得到的真实世界中灵巧手逐关节动力学模型，作者在原 policy 的基础上训练了一个残差策略网络，旨在根据原策略网络的指令输出来输出一个修正项，从而弥补仿真和真实世界之间的动力学偏差。

图 6：方法概述

1. 关节级神经动力学模型

与较为直接的建模整手和物体的交互动力学不同，关节级神经动力学模型将复杂的交互动力学在每个关节进行分解，通过从单关节的历史信息中独立预测其自身的下一个时刻的状态，完成全手的状态转移预测。这样做的两个好处是增加了模型的数据利用效率并同时提高了模型对手 - 物交互数据分布变化的泛化能力。

作者通过理论分析和实验验证了关节级神经动力学模型的三个关键性质，即高表现力、高数据利用效率和强可泛化性。这样的泛化能力使得作者可以仅在和目标任务有所不同的数据上训练该动力学模型，并将其泛化到目标任务上来。这也使得本文廉价的全自动的数据采集方案成为了可能。

2. 自动化数据采集系统

基于四个宗旨，即 (i) 采集到的数据与策略网络的转移分布相关，(ii) 有物体的负载，(iii) 分布覆盖全面，(iv) 容易扩展，作者构建了一个自动化的数据采集系统，称为「混乱之盒」。

实现方法很简单：将机器人手放入一个装有软球的容器中。然后作者以开环方式重放来自仿真基础策略的动作，它提供了一个粗粒度的分布先验（i）。手与这些球的相互作用会施加丰富、随机化的载荷（ii-iii）。以 50% 的概率，作者为每个动作添加高斯噪声（σ=0.01），以扩大覆盖范围（iii）。整个过程完全自动化、对硬件安全，且无需人工复位（iv）。下图可以支持本文模型和数据设计的合理性：单个关节的输入 / 输出（I/O）历史能够覆盖与任务相关的分布，而整只手的历史则不能。

图 7：关节级动力学建模在有偏数据分布时的优势

3. 残差策略的训练

结语

DexNDM 在 Sim-to-Real 这一机器人学的核心难题上迈出了坚实而重要的一步。它解决了在灵巧操控中学习可靠真实世界动力学模型的难题，并从 0 到 1 实现了前所未有的灵巧操作技能 —— 这些技能对于传统遥操作方案而言几乎是无法想象的，这恰恰彰显了先进 Sim-to-Real 方法的魅力与无限潜力。

诚然，DexNDM 尚有其局限之处。作者相信，这只是一个开始，灵巧手作为人形机器人的皇冠，是注定的未来，也必定会大放异彩。