黄仁勋之女与光轮智能对话：如何缩小机器人在虚拟与现实之间的差距 【经纬低调分享】

上周，被誉为"AI行业风向标"的英伟达 GTC 2025刚刚落幕，这次活动吸引全球上万名AI从业者参加，空前火爆。

黄仁勋在长达两小时的Keynote中宣布了英伟达在6G通信、量子计算、AI超算、仿真等板块的重磅布局。其中最引人注目的，是压轴登场的Newton物理引擎——通过迪士尼机器人Blue的demo，黄仁勋展示了Newton如何让机器人在物理精准的虚拟环境中学习，这是Physical AI的关键基础设施。

而支撑Newton乃至整个仿真生态的底层力量，正是黄仁勋称为"公司宝藏"的CUDA-X库。黄仁勋称其为横跨30年积累的"公司宝藏"，包含350个库，覆盖从芯片设计到AI训练的所有行业。为了展示CUDA-X的威力，黄仁勋播放了一段震撼的纯视频demo，在具身智能部分，Boston Dynamics、Apptronik、Agility Robotics、Sanctuary AI等国际机器人巨头悉数登场。

然而在这份"全明星阵容"中，出现了一家仿真公司——光轮智能(Lightwheel)。与其他展示机器人本体的公司不同，展示的是光轮和英伟达Newton合作——机械臂精准叠衣服的高保真物理仿真场景。这不是简单的客户案例展示，而是作为Newton平台能力的一部分被呈现。Newton本身是英伟达将CUDA-X这一"公司宝藏"转化为Physical AI生产力的关键平台，它把机器人研发从耗时数月的"手工作坊"升级为只需数天的"超级工厂"，能同时运行数百万个高保真仿真环境。但这座超级工厂要高效运转，需要一个前提：海量、高保真的仿真合成数据。

光轮智能不仅为Newton提供大规模仿真合成数据，是早期采用者与核心验证者，深度参与Newton底层物理引擎的优化，形成深度共同开发关系。此外，光轮作为Omniverse和Isaac Sim的战略合作伙伴，提供高保真SimReady仿真合成数据，还共同开发策略训练框架，并与英伟达联合打造Isaac Lab Arena下一代策略评估平台。

这场深度合作早有伏笔。

就在上月初，英伟达Omniverse & Physical AI产品营销高级总监、黄仁勋之女Madison Huang的直播首秀，对话嘉宾正是光轮智能创始人兼CEO谢晨，两人围绕如何通过高保真SimReady仿真合成数据缩小Sim-to-Real鸿沟、推动机器人从仿真走向落地展开深入对话。而耐人寻味的是，就在这场直播的前一天，斯坦福李飞飞教授与英伟达Jim Fan在BEHAVIOR Challenge直播中亦谈到仿真的挑战，李飞飞直言："仿真与现实之间存在真实鸿沟，需要从仿真端缩小这一鸿沟。"

学术之问，产业作答。在Madison与谢晨一个半小时的访谈中，干货满满，梳理了以下重要观点：

• 当前，具身智能发展的最根本瓶颈正是高质量物理交互数据的极端稀缺。现实世界的数据采集成本高昂、效率低下且难以规模化，这严重限制了机器人学习复杂操作技能的能力。

• 面对现实数据的瓶颈，仿真合成数据是唯一能提供近乎无限规模、且自带精确标注的训练数据的解决方案。它通过仿真模拟来生成数据，是突破数据供给瓶颈的核心路径。

• 仿真合成数据要发挥作用，必须解决“仿真到现实”的迁移难题。其核心在于仿真世界必须严格遵循真实世界的物理规律，确保在仿真中学到的技能在现实中同样有效，而不仅仅是视觉逼真。

• 英伟达的终极目标是成为“物理AI”时代的基础设施。其核心需求是打造一个基于OpenUSD和高性能求解器（如Newton）的“数字物理世界”，作为生成高保真仿真合成数据的终极工厂。

• 光轮智能已攻克线缆操作等"圣杯级"技术难题。这一技术突破与商业验证的双重成就，共同印证了仿真合成数据方案的可行性与成熟度。

以下是整理出的对话实录节选，Enjoy：

01

仿真到现实的鸿沟是核心瓶颈

主持人Edmar：Madison，能跟我们稍微透露一下，英伟达和光轮智能的合作是怎么开始的吗？

Madison：通常来说，就算你从英伟达离职了，我们也会想办法“找回来”，让你继续和英伟达合作——我觉得我们的合作大概就是这么开始的。

其实英伟达内部有很多项目，从根本上就需要光轮智能的支持。比如我们的 GEAR Lab 实验室，正在开发 GR00T 端到端模型；还有西雅图机器人实验室，他们在做很多“接触密集型装配”和大量精密抓取任务。这些工作都需要海量数据。而我常常听到我们物理 AI 机器人团队的同事们抱怨：“大语言模型（LLM）的研发人员太‘幸运’了，因为他们有整个互联网的海量数据可以用来预训练模型，但机器人领域的研发人员只能手动采集数据。所以英伟达需要一个解决方案，而我们坚信仿真技术就是答案。我们需要一个“仿真合成数据工厂”，也需要能和英伟达在“Open USD 作为仿真资产数据基础”这一愿景上达成共识的伙伴。所以光轮智能的出现，可以说是“恰逢其时”——就在英伟达最需要这样一个合作伙伴的时候，你们创立了公司。

谢晨：2023年的时候，我们怀着“解决机器人领域更宏大问题”的想法创立了光轮智能。当时和自动驾驶部门的同事有过合作。之后，光轮又开始和 GEAR Lab 实验室，以及Omniverse团队展开合作。现在，我们还和 Cosmos 团队有合作。所以感觉现在光轮几乎和英伟达的各个相关团队都有协作。

Madison：感觉你们现在差不多是“遍布英伟达”了，相当于又“回”英伟达工作了。

谢晨：完全可以这么说。

主持人Edmar：在机器人领域，我们具体要解决哪些问题？尤其是“仿真到现实”相关的问题？

谢晨：“仿真到现实”（Sim-to-Real）的核心，就是让机器人在仿真环境中学习到的能力，能够直接部署到现实世界中——但正如Madison所说，这其实是一件非常困难的事。有意思的是，自动驾驶仿真反而是相对容易解决的，因为它主要依赖视觉数据；但对于机器人来说，一切都和“物理接触”有关，核心是“操作能力”。所以机器人领域的问题要复杂得多。而现在，机器人领域的核心挑战转向了“物理层面”，物理求解器（physics solver）成了关键。但有意思的是，很多人提到仿真时，只会想到“求解器”，却忽略了“仿真场景与设备”的重要性。如果“原材料”（即仿真合成资产数据）不对，也无法生成高质量的数据。

Madison：自动驾驶汽车是自主机器人的首个具象化产物。自动驾驶汽车的核心任务，本质上是“不触碰任何物体”；但对于其他类型的机器人来说，它们的任务恰恰是“触碰各类物体”。所以我觉得，现在仿真技术的重要性比以往任何时候都更高。

02

仿真资产的关键在物理属性

谢晨：（展示冰箱仿真案例）它的关键不在于“看起来真实”，而在于“物理属性与现实高度一致”。比如冰箱门的合页、关节结构、磁吸闭合装置——当你拉开冰箱门时，能感受到磁吸的作用力；抽屉滑动时，还能模拟出不同的摩擦力。这些物理属性都经过了精准还原。我们实际上使用了大量物理设备采集真实物体的物理参数，再将这些参数植入“仿真资产”中，同时还会通过特定方法对比现实与仿真环境中的作用力，确保两者尽可能匹配。另外，这些仿真设备不仅要“精准”，还要“计算高效”。比如碰撞检测——我们做了大量优化，能极大提升计算效率，让单块 GPU 就能同时运行成百上千个仿真环境。

主持人Edmar：你们不久前在温哥华 SIGGRAPH 上就展示过这个，对吧？那次观众反应很有意思——现场聚集了全球最顶尖的图形仿真研究人员，但他们大多专注于媒体娱乐、游戏、内容创作和视觉特效领域。我特别欣赏光轮在 Siggraph 展台上开创性地展示机器人仿真技术，你们真的震撼了那些 VFX 专家。我看到很多人在你们展台前驻足很久，体验你们在笔记本电脑上运行的多个 Isaac Sim 实例——那真的令人印象深刻。

谢晨：完全同意。我也非常感谢英伟达正在将 SIGGRAPH 这样的盛会引向 Physical AI 领域。

Mustafa：我想补充一下，你可以看到上图这个微波炉的物理参数曲线图——通过仿真，我们能确保仿真合成数据与真实世界高度匹配，Sim-to-Real 差距可以缩到非常小。当然永远不会完美，但可以做到非常接近。

谢晨：完全同意，光轮会用物理设备采集现实物体在不同方向、不同位置的作用力数据，同时在仿真环境中设置对应的传感器采集作用力数据；之后通过大量随机采样和对比，确保两者的曲线趋势一致。如前所述，我们不需要曲线完全重合，因为我们要的是“数字同类体(Digital Cousins)”而非（严格意义的）“数字孪生 (Digital Twins)”，我们需要通过“仿真资产”的多样性生成海量数据。

03

谢晨：我们坚信“数据金字塔”（Data Pyramid）模型。要让物理 AI 真正落地到现实世界，需要消耗海量数据——甚至比大语言模型所需的数据量还要大，而“数据瓶颈”是当前最大的障碍。现实世界的数据无法完全突破这一瓶颈。所以我们必须依赖仿真合成数据——仿真合成数据将成为突破物理 AI 数据瓶颈的最重要、最核心的数据来源。

Madison：我完全同意。我们经常提到“数据金字塔”，但现在越来越多的人意识到，仿真合成数据在所有数据中的占比将达到极高的水平。因为强化学习（reinforcement learning）和各类后续训练过程，都将大量依赖仿真合成数据。目前，人类已有的知识大多已数字化并存储在互联网上；但未来，仿真合成数据的规模必将远超现有互联网数据。

谢晨：完全认同。尤其是你提到的强化学习——仿真技术在这一领域将发挥至关重要的作用。现实世界的数据很难形成“闭环”，无法支持大规模强化学习；但仿真环境中的仿真合成数据，可以成为大规模强化学习的核心数据来源。同时，如果我们进一步细分仿真合成数据的类型。我将仿真合成数据分为两大类：

第一类是"物理仿真驱动的仿真合成数据"（Physics Simulation Driven Synthetic Data）——这类数据最接近物理世界，物理精度最高，但相对来说多样性有限、规模较小。这就是通过物理仿真器生成的仿真合成数据。

第二类是"世界模型驱动的仿真合成数据"（World Model Driven Synthetic Data）——比如 Cosmos。这类数据的多样性要大得多，可扩展性也强得多。它的输入可以是物理仿真驱动的仿真合成数据，也可以是真实世界数据，然后通过世界模型增强生成更大规模的仿真合成数据集。

我们发现，利用 Cosmos 来增强物理仿真合成数据，能够生成更多高质量数据，为客户提供更好的预训练支持。一个很好的案例就是 GR00T——英伟达的 Gear 基础模型，它同时利用了真实世界数据集、光轮的仿真合成数据，以及 Cosmos 增强后的数据，最终训练出了一个顶尖的基础模型。这充分展示了世界模型在满足仿真合成数据愿景中的强大能力。

04

技术协同生态与典型案例

谢晨：电缆仿真是个难点，因为电缆既具有“可变形性”，又在一定程度上具备“刚体属性”。我们做了大量研发，确保能精准模拟电缆的物理状态。我们与 Newton 团队共同开发了电缆仿真的求解器，同时研发了对应的“仿真资产”。

Madison：这对英伟达来说也尤为重要，因为我们的制造流程非常复杂——比如每台 NVL72 服务器机架都需要 2 英里长的铜线电缆。这类工作对人类来说既枯燥又有风险，我们希望让机器人来完成，所以电线、电缆的仿真可以说是机器人领域的“圣杯”级难题。

谢晨：完全同意。而且电缆仿真还需要结合触觉传感器——比如有些电缆插入插头的操作，需要触觉反馈才能实现更精准的操控。如上图这个“衣物折叠”的案例：左侧是物理求解器的效果，右侧是 Newton 求解器的效果。我经常听到有人说“仿真无法模拟衣物折叠”，但实际上我们的系统已经能模拟大量衣物，并为客户采集了海量衣物折叠的训练数据——这也是目前所有机器人公司都在攻克的难题。

目前，公司客户大致分为三类：第一类是教育机构和实验室，专注具身智能前沿研发；第二类是大型科技公司，引领机器人基础模型研发；第三类是工业场景企业，有大量应用场景并自主研发机器人系统。

Madison：我想补充一句：光轮智能能和这些行业顶尖企业合作 —— 比如Figure、银河通用、智元机器人、比亚迪还有Deepmind——这本身就证明了你们的工作质量和前瞻性，尤其是在 “仿真资产” 和 “仿真合成数据普及” 方面的开创性工作。

05

主持人Edmar：目前制作一个仿真资产需要多长时间？主要的痛点和瓶颈是什么？

谢晨：借助英伟达的技术和我们自己的研发流程，光轮智能已经实现了“仿真资产”制作流程的工业化——比如制作一个冰箱的仿真资产，只需要 20 分钟。这么快的原因在于，我们的核心思路是“将现有数字设备转化为仿真资产”，而不是“从零开始制作”。目前全球已经有大量数字设备，只是这些设备不具备“仿真就绪”的属性。我们通过工业化流程，快速将这些现有设备转化为物理属性精准的仿真资产。

Madison：这是个好问题，我们其实已经开始和一些设备制造商合作了。我们坚信，未来每一家制造商在交付实体设备时，都应该同步提供对应的数字设备——因为未来所有工厂都会有自己的“数字孪生 （Digital Twins）”，每一家生产实体产品的工厂，都会配套建设“AI 工厂”，而“数字孪生”就运行在“AI 工厂”中。

谢晨：目前我们正与英伟达的Isaac Sim团队合作，开发Isaac Lab Arena——这是下一代基准测试、评估、数据采集和大规模强化学习的框架与平台。

06

主持人Edmar：在直播结束前，我想请两位各用一句话总结：你们最希望观众记住的是什么？

谢晨："We have reached a moment",现在仿真技术已经足够成熟，可以实现很多事情。很多人可能对仿真还有疑虑，觉得精度不够、能力有限——但实际上，我们已经向客户和全世界证明，通过仿真器配合高质量的仿真资产，我们能够支持全球前五名的机器人基础模型完成训练并部署到真实世界。所以我希望大家对仿真技术有信心，它已经解决了很多问题。我们需要所有人一起努力，让仿真技术更加成功，从而真正突破物理 AI 的数据瓶颈。

Mustafa：我们经常收到的一个问题是："应该用哪个仿真器或框架？" 我的建议是：从你要解决的问题出发，反向推导——看哪个框架和仿真器最适合这个任务。如果现有工具无法完美满足需求，由于很多仿真引擎和求解器都是开源的，你完全可以自己开发插件或改进求解器。即使编程技能有限，花些时间也能实现目标。