利用 NVIDIA Isaac 和动作捕捉构建具身智能数据工厂

案例简介

在本案例中，借助 NVIDIA Isaac Sim & Isaac Lab 平台开放度极高的系统架构以及提供的丰富资产与数据生态，北京诺亦腾科技有限公司与机器人领域的多家企业和研究机构一起打通动作捕捉/运动测量系统与机器人虚拟本体/真实本体之间的工作回路，打造出一个真正意义上的 HITL 解决方案。

利用 NVIDIA Isaac 和动作捕捉

打造标准化

Human-in-the-loop 解决方案

北京诺亦腾科技有限公司（www.noitom.com）自成立以来，致力于利用动作捕捉与高精度追踪技术，推动包括机器人在内的各应用领域创新发展。自 2023 年起，诺亦腾收到大量具身智能领域相关需求，客户通过动作捕捉和高精度追踪驱动/操作机械臂、灵巧手，人形机器人的需求飞速增长，市场需要标准化的具身智能机器人 Human-in-the-loop（HITL）解决方案。

智元远征 A2 机器人采用 诺亦腾动作捕捉系统进行遥操作控制

*图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾

千寻智能机器人采用 诺亦腾动作捕捉系统进行遥操作控制

*图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾

MIT 媒体实验室主任 Marco Tempest

利用诺亦腾动作捕捉系统

实现无人机编队的人机交互控制

（youtu.be/B4xtsH6pzoM）

*图片与视频来源于诺亦腾，若您有任何疑问或需要使用本文中图片与视频，请联系诺亦腾

经过长时间的调研与实验后，诺亦腾选择了成熟、易用且被行业广泛接受的 NVIDIA Isaac 作为动作捕捉与机器人之间的桥接平台。

借助 NVIDIA Isaac Sim & Isaac Lab 平台开放度极高的系统架构以及提供的丰富资产与数据生态，诺亦腾与机器人领域的多家企业/研究机构一起，以极高的开发效率，打通动作捕捉/运动测量系统与机器人虚拟本体/真实本体之间的工作回路，打造出一个真正意义上的 HITL 解决方案。该方案可以让包括科研工作者、企业级用户在内的各个级别开发者，高效、便捷地将实时动作捕捉和高精度实时追踪能力引入既有工作流。

通过诺亦腾动作捕捉系统遥操作 NVIDIA Isaac Sim 中的 智元远征 A2 机器人虚拟本体

为用户工作流引入

动作捕捉与实时追踪

诺亦腾专注于动作捕捉与高精度追踪技术，是少数能够提供全谱系动作捕捉与运动测量产品的技术企业之一。在解决方案中，诺亦腾提供基于惯性传感器的 PN Studio 动作捕捉套装以及基于光学惯性混合追踪技术的 HybridTrack 光学运动测量系统，以适应不同级别用户的需求。前者具有部署成本低、环境适应性强、方便易用的特点；后者优势则在于更高追踪精度以及更强的鲁棒性。

NVIDIA Isaac Sim 是一套应用 AI 与仿真工具/平台，允许开发者在基于物理的虚拟环境中设计、仿真、测试和训练基于 AI 的机器人和自主机器。NVIDIA Isaac Sim 提供虚拟环境、各类机器人以及自主机器的物理精确的 SimReady 3D 资产，这些资产建立在高度逼真的物理仿真基础之上，可以模拟真实环境下存在的力矩、摩擦、空间干扰以及自干扰等因素，使开发者可以在虚拟环境中加速机器人算法的开发和测试过程。

基于自定义的 MocapApi 接口，诺亦腾实现了动作捕捉系统与 NVIDIA Isaac Sim 的数据联通，从而基于现有算法，快速接入动作捕捉和高精度追踪数据流，实时驱动仿真环境下的虚拟机器人本体或者真实的机器人本体，用遥操作的模式完成任务，采集数据。除此之外，还可以在机器人自主任务完成的过程中实现快速人工干预覆盖失败场景。

动作捕捉数据到 NVIDIA Isaac 及具身智能机器人本体/数据集产出

*图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾

同时，高精度的人体动作数据采集和大空间的高精度追踪记录了整个实验环境的过程，为后期的算法调优、复盘、量化评估等环节带来了更多可能性。

联合业界探索

「Sim2Real2Sim」路径

基于数据，特别是通过动作捕捉获取的真实人类动作数据，对机器人控制基础模型进行训练，并通过遥操作收集真实训练数据集，从而提升具身智能算法，已成为具身智能机器人学界与业界的重要科研共识。

具身智能机器人的数据采集与算法训练，可通过“基于真实本体”“基于虚拟本体”或“完全基于人体动作捕捉”等方式实现。其中基于真实本体方式能够最大程度反映真实世界的物理特性，其余方式虽然成本可控，但均存在一定程度上的 Domain Gap。

基于真实本体的数据集生产 - 手部动作捕捉遥操作智元远征 A2 机器人灵巧手

*图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾

直接基于人体的数据集生产 - 动作捕捉记录真人任务执行过程

基于虚拟本体的数据集生产 - 动作捕捉遥操作基于 Isaac Sim 的虚拟本体

*以上图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾

诺亦腾基于 NVIDIA Isaac 以及动作捕捉/高精度追踪技术构建出 HITL 解决方案，携手业界合作伙伴智元机器人，共同探索提升算法的「Sim2Real2Sim」路径。

智元 A2 机器人可以通过诺亦腾动作捕捉系统在真实物理世界与虚拟空间中进行遥操作采集数据集，用于训练策略/控制规则（Policy）。NVIDIA Isaac 提供了多样化的场景以及高度拟真的物理环境，让虚拟本体在其中不断优化 Policy，使其能够快速进行针对不同场景的迁移和微调，从而采取最佳行动，实现特定目标。

经过优化的 Policy 将被迁移回到真实环境中的本体，实现智能算法的提升。这样的算法优化路径，既能在最大程度上消除 Real2Sim Gap，同时也将 Sim2Real Gap 尽量保留在可控的视觉部分，以获得更佳的训练效果。

快速构建大规模

具身智能数据工厂

结合了动作捕捉/高精度追踪硬件设备和 NVIDIA Isaac 平台的 HITL 解决方案易于搭建，可高效运转，具备快速构建大规模具身智能数据工厂的能力。

基于 NVIDIA Isaac 平台的丰富生态与标准化接口，该解决方案能够快速打通各类具身智能机器人本体和自主机器之间的数据障碍，实现快速部署和扩展，从而帮助用户搭建大规模具身智能数据集生产流水线。

大规模具身智能机器人训练数据集 生产工厂（Data Factory）示意图

*图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾

目前诺亦腾已经与智元机器人、千寻智能、深圳鹏行智能研究有限公司、深圳市人工智能与机器人研究院（AIRS）开展合作，帮助客户实现机器人智能算法、服务能力以及本体性能等多方面的提升。诺亦腾未来更将面向更多客户，提供易用、可快速落地、可扩展的解决方案。

诺亦腾联合深圳市人工智能与机器人研究院 （AIRS）构建数据工厂示意图

*图片来源于诺亦腾，若您有任何疑问或需要使用本文中图片，请联系诺亦腾