AI教母李飞飞的新赌注：给机器人造一所“学校””|播客实录

出品 | 网易智能

作者 | 小小

编辑 | 王凤枝

李飞飞也做机器人了，但她不造机器人，而是给机器人造一个训练用的"数字道场"。

近日，李飞飞创办的World Labs宣布收购机器人仿真公司SceniX。

为什么一家做"空间智能"的AI公司，会收购一家机器人仿真企业？

在a16z合伙人马丁·卡萨多（Martin Casado）主持的访谈中，李飞飞与SceniX联合创始人李昀烛给出了答案：

未来机器人最大的瓶颈，可能不是制造更强的硬件，而是让机器获得足够的训练经验，学会如何理解和行动于真实世界。

在她看来，语言模型只是AI的一部分。未来的AI不仅要处理文字和图像，还要能生成、理解、推理并与空间互动，这就是她说的"空间智能"（spatial intelligence）。

这也是World Labs押注SceniX的原因：不是制造一台机器人，而是构建一个让机器人学习、训练和评估的数字世界。

过去几年，AI的发展主要发生在数字空间。大模型通过互联网文本获得能力，但机器人面对的是完全不同的问题：它需要理解三维环境，需要预测物体变化，需要在行动前进行大量试错。

李飞飞的判断是，下一阶段AI竞争的重要方向，不只是让模型更聪明，而是让机器真正进入物理世界。

以下为李飞飞、李昀烛专访全文（有删减）：

01空间智能：不只是造机器人，而是给它一个能"脑补"的世界

卡萨多：很高兴两位能来。李飞飞，先给不熟悉的朋友介绍一下，World Labs在做什么？

李飞飞：World Labs成立两年了，定位是前沿模型实验室。我们在做的事，是构建AI的下一个前沿，"空间智能"。简单说，就是创造能生成、理解、推理并与空间互动的AI，无论是物理空间还是虚拟空间。实现它的一个关键路径，就是构建大型世界模型，这也是我们主攻的方向。

卡萨多：你一直在谈机器感知和推理空间的能力，但我总觉得"在空间中行动"是很遥远的事。现在你们收购了一家机器人公司，能谈谈这个时间点和意图吗？

李飞飞：在空间中行动，不一定非得是物理机器人。像视觉特效、游戏、设计这些创意领域，很多应用都发生在虚拟空间。我们的观点一直是，世界可以是多元宇宙，我们创造技术让人们能在不同空间里行动。但在物理世界中行动，无疑是最让人兴奋、也最重要的能力之一，这正是机器人技术做的事。World Labs一直相信，机器人是空间智能和世界模型的关键应用。SceniX团队的加入，是我们长期愿景的一部分，不是临时起意。

卡萨多：李昀烛，你是SceniX的联合创始人，给大家介绍一下你的背景和SceniX做的事情。

李昀烛：我的背景比较简单。在麻省理工读完博士，很幸运地成了李飞飞在斯坦福大学的博士后。我的目标一直很简单，就是帮助机器人更好地感知物理世界并与之交互。我是个务实的人，希望机器人能在真实环境里真正工作。

我们创立SceniX，是因为看到了通用机器人开发的一个巨大瓶颈，尤其是在训练和评估上。所以我们搞了一套叫"真实到仿真再到真实"的流水线。简单说，就是把真实环境高保真地映射到数字世界里，让数字世界里发生的事，能和真实世界一样。这样一来，我们就能用数字世界里可规模化生成的数据，替代那些必须从真实环境才能拿到的训练和评估数据。我们组建了一个很强的团队，专攻机器人学习、仿真和渲染，想用这个技术栈解决一些关键瓶颈。

卡萨多：两位的合作还有个有趣的故事。你们可能以为是师生间的交流，其实不是。SceniX最开始是以客户身份接触World Labs的。

李飞飞：确实。去年底我们发布了第一版生成模型，内部代号叫"Marble"，SceniX就注册试用了。我当时并不知道这是李昀烛的公司，后来发现才给他打了电话。从那以后，我们意识到双方有太多可以协同的地方。

卡萨多：李飞飞，简单描述一下Marble是什么。

李飞飞：Marble 是我们一直在迭代的基础模型代号。它目前对外公开的核心能力是，你给它一张图、几张图或者一段文字，它就能生成一个几何一致的三维世界，可以用高斯泼溅或者网格来呈现。

02没有仿真，机器人很难规模化

卡萨多：SceniX团队解决的是机器人领域一个特别难的问题，数据匮乏。训练数据缺，评估数据也缺。这跟语言模型不一样，互联网上有海量文本。要让机器人技术往前走，必须用上扩展定律的力量，但这力量从何而来？这是每个人都头疼的问题。两位觉得，这两支团队有多大程度是重叠，又在多大程度上是互补的？

李飞飞：事实上，双方互补性非常强，而且我们有共同的使命。李昀烛是三位技术联合创始人之一。另外两位，一位是张继，哥伦比亚大学教授，仿真领域的世界级专家，有视觉特效背景，曾在维塔数码和腾讯工作过。还有孙伟，一位很强的工程领导者，曾在一家被亚马逊收购的公司任职。

SceniX在几个方面跟我们特别搭。他们有从硬件到算法的全栈机器人思想领导力和技术实力，这是World Labs之前没有的。张继在仿真上的能力，正好能跟我们生成的世界衔接。而他们缺的生成模型和3D重建能力，又是World Labs的强项。两边一结合，整个版图就完整了。

卡萨多：李昀烛，你如何看待加入World Labs这个决定？

李昀烛：最初我们也在考虑是不是继续独立发展。但跟李飞飞聊完后，看到那些协同效应，觉得合力是更合理的选择。SceniX做的"真实到仿真再到真实"，核心是对环境的重建，要捕捉外观、几何和动力学特性，这个过程目前还挺重的。而World Labs在稀疏重建和生成方面积累很深。我们看到了很多机会，可以用Marble这些能力，非常高效地来做环境建模。

卡萨多：我们能看到World Labs推出一个机器人领域的基础模型吗？

李飞飞：我们正在构建基础模型。未来最激动人心的会是那些全能模型，接受多模态输入，也产出多模态输出。机器人基础模型应该是什么样？很可能要包含动作，除了描述世界状态，还得输出如何行动。我们肯定不会排除这个可能。

李昀烛：对，它本质上得是多模态的，要考虑图像帧、文本、深度等各种信息，而动作是其中很关键的一部分。如果模型输入是图像和动作，输出是对环境变化的预测，这就是个前向模拟器。如果输入是目标，输出是动作，这就是个策略模型。这种全能模型对机器人社区价值巨大，既能帮助理解如何建模环境，也能指导如何在环境中行动。它还可以作为一个骨干网络，让大家针对特定应用去微调。

03视频生成还不够，机器人需要一个保持一致的世界

卡萨多：李昀烛，我不太懂技术，问个外行问题。现在很多机器人公司都在用视频模型，那是主流。你们走3D和仿真这条路，非常不一样。能对比一下吗？

李昀烛：为了创造机器人可以学习的世界，必须能抓住问题的本质结构，其中一个必要条件就是一致性。这也是我们跟Marble能产生强烈协同的地方。我们要构建的世界，在空间、时间、不同视角、各种交互下都得保持一致。而Marble生成的世界也提供了机器人学习所必需的基础设施。想象一下，如果一个机器人往前推一个物体，结果物体在数字世界里直接消失了，这是很多视频预测模型存在的问题。那样机器人就得不到好的信号去判断对错。

当然，现在有很多研究在努力让视频模型变得更好。我们看到的路径是，我们构建的这种偏仿真的基础设施，可以作为启动数据飞轮的初始动力。从仿真驱动的模型开始，训练出策略模型，策略模型在真实环境里执行任务，收集新数据，数据再回来优化模型。这个模型不一定纯靠物理规则，也不一定纯靠数据学习，而是在中间某个位置，既能抓住问题结构，又能随着数据增加而扩展、变强。

卡萨多：李飞飞，我知道你一直有个"北极星"目标，你以前把它概括成3D之类的方向。李昀烛，你也有类似的哲学吗，还是更务实一些？

李昀烛：我的"北极星"就是让机器人在真实环境里真正工作。我是个非常务实的人，就是要它能干活。我们之前做研究时向公众发过问卷，问大家希望机器人做什么。收集到的上千个任务里，三分之一是关于清洁的。人们就是不想干这些脏活累活，这些场景我们真的希望有机器人方案去解决。

李飞飞：关于SceniX，我想补充一点。很多机器人公司都在做模型，但我特别喜欢李昀烛团队的一点是，他们非常务实。尤其是李昀烛和张继，虽然来自学术界，但他们第一直觉是去找行业里的设计伙伴和真实客户，不管是行业实验室、仓库，还是电子组装厂。这种做机器人的方式很不一样，也是我特别兴奋的原因。

04不追求完美，但要知道"够用"的边界在哪

卡萨多：我个人很好奇，做机器人需要相当精确，虽然不是完美，但得八九不离十。可World Labs做的很多创意用例，不必那么精确，有时候犯错反而是一种风格。从技术角度看，这两件事要怎么统一？还是说它们本来就统一不了，会一直是两条线？

李飞飞：长远看，肯定能统一。环境建模不必完美，模型在机器人里也不必完美。

李昀烛：可以这么解释。看机器人应用的历史，模型一直是重要基石。飞机、无人机、扫地机器人，再到四足和双足机器人，都是靠模型才能工作，才能从仿真迁移到现实。再看那些运动机器人，它们能在雪地、灌木丛里走，但你不必精确模拟每一片灌木和雪花。你需要的是一个能抓住问题本质结构的模拟，并在数字环境里做各种随机化。我们和World Labs一起研究的就是这个：我们需要什么级别的保真度来大规模建模，才能让训练好的机器人系统成功从仿真迁移回真实场景。

卡萨多：有些研究人员认为仿真最终总会偏离物理世界，真实世界数据收集绝对至关重要。你怎么看你们这种以仿真为基石的方法？

李昀烛：两者并不矛盾。仿真本质上是在预测动作带来的环境变化，是对世界的一种模型。它不必是纯物理的，可以是物理和学习的结合。我们也在收集真实数据，也会用这些数据。但在数据飞轮早期，我们可能更强调物理规则，确保有正确的一致性和结构。但随着跟客户合作积累越来越多数据，我们会朝更基于学习的方向去建模环境。这个转变和数据流，能让我们同时获得物理、几何一致性的好处，也能得到数据和规模计算的力量。

李飞飞：我想从更宏观的角度补充一下。这不是在仿真和没有仿真之间二选一，它们是共同起作用的。想想人类智能，我们的大脑会做大量模拟。为什么？因为模拟有一个真实数据无法替代的作用，反事实推理。你能推演那些还没发生、没法发生、或者数据不够的场景，在推演里学会怎么行动。人类一直在这么干。自动驾驶就是个现实例子。Waymo公开说过，他们用了数十亿小时的仿真数据，实际上比真实数据更倚重仿真。吴恩达也说过，汽车是最简单的机器人。

李昀烛：具体看，仿真能提供两个层面的好处：可靠性和效率。可靠性上，机器人要在真实环境里可靠地工作，你需要数据系统性覆盖所有可能遇到的状态和变化。在仿真里，你能系统性地随机化光照、摩擦、几何、物体类型这些参数，保证足够的状态空间覆盖，这才能带来鲁棒性。效率上，现在很多人做遥操作，数据收集速度比人完成任务还慢。但客户要的是比人更快。想让机器人更快，在真实世界不能简单加速。可在仿真里，你能系统性地加速机器人的行为进行训练。这两点，仿真都能提供独特价值。

05人形机器人不是全部，先从仓库干起最实在

卡萨多：你们谈了技术和平台，具体用它做什么？

李昀烛：主要有两个用例，训练和评估。先说评估，这是机器人领域大家经常忽视的事情。但你在调整机器人模型的时候，必须知道它表现怎么样，这是你迭代的唯一依据。

卡萨多：插一句，每个搞AI的人都懂评估是什么，但对非从业者来说可能不太一样。你具体解释一下。

李昀烛：我说的评估，就是你能不能知道在某个时间点，它是95%的时间能工作，还是99.9%的时间能工作。行业里有个很关键的指标：你得跑多久的测试，才能分清楚一个90%准确率的模型和一个92%准确率的模型。如果你只在真实环境里做这件事，区分它们需要的时间太长了。现在人们在真实环境里做机器人评估，迭代速度比语言模型慢好几个数量级。

卡萨多：确实。机器人任务种类繁多，而且物体真的得在空间里移动，物理定律绕不过去。你看那些机器人视频，基本都是八倍速、十倍速在放，因为实际动作太慢了。

李昀烛：确实如此。它不光慢，还危险且昂贵。所以我们的一些客户需要数字环境来评估他们的机器人系统。我们的数字环境已经验证过，跟真实世界有一致性，在仿真里发生的事情，有很高概率在真实环境里也发生。一个模型在仿真里表现更好，它在真实环境里也很可能更好。这给了客户很强的信心，让他们用数字环境的数据和信号来做可扩展、安全、更快的评估。

训练方面，核心是可控性。你要控制所有可能的状态、参数、光照、摩擦、物理属性，甚至物体的几何形状和类型。你得保证对不同场景有足够覆盖，才能给机器人生成有信息量的数据，让它变得鲁棒。这些在真实环境里做起来太难了。做遥操作，数据收集速度比人干活还慢，还受限于你有多少台机器人和遥操作设备。但在仿真里，一切都是可控的、系统性的，你确切地知道自己覆盖了什么分布，能有信心地说机器人在这个分布内会正常工作。这种确定性、效率和可扩展性，也是客户看重的。

李飞飞：有个事很有意思。在SceniX跟我们开始聊之前，Marble就已经有客户找上门来提这种需求了，我们当时还服务不了。但我们一直在接到早期机器人公司的电话，从做模型的到非常务实的下游应用都有。需求就在那里。

06从工厂到家庭，机器人要一步步来

卡萨多：一般人听说你们进入机器人领域，会想象你们拿出3D打印机，造硬件，给机器人写大脑程序，塞进去，就得到一个机器人。我觉得你们不是这个意思。你们在整个机器人生命周期里处于什么位置？边界在哪里？

李昀烛：我们一直在构建的是一个基础设施，以及围绕它的软件，让人们能构建世界，让机器人可以在里面学习和评估。这个基础设施天然与模型无关，也不绑定任何一种机器人形态。

卡萨多：我想把这点讲清楚，因为对你来说这是明摆着的事，但其实很关键。你们不是在造机器人，而是在构建一个环境，另一家公司可以把他们机器人的大脑放进去导航和学习。

李昀烛：没错。我们现在的客户有各种不同的机器人，单臂的、双臂的、固定的、移动的、用夹爪的、用更复杂末端执行器的。我们的平台天然跟具体身体形态无关，可以很轻松地集成不同种类的机器人，把它们放进我们生成的大规模数字世界里，让它们学会在真实环境里以合适的可靠性和效率去执行任务。我们跟模型也无关。我们的世界生成的数据，可以用来从头训练模型，也可以对现有基础模型做后训练。对我们来说，什么模型不重要，我们要保证的是有这个基础设施和所有的数字世界，让机器人最终能在真实环境里可靠工作。

卡萨多：你提到过，你觉得很多人形机器人的预期太激进，我们更可能先看到仓库这类受限环境的大规模部署。这会影响你们在World Labs要做的事吗？

李昀烛：机器人应用的进展一直遵循一个规律：从全结构化环境，到半结构化，再到非结构化。全结构化的像工厂流水线，已经自动化了几十年。半结构化的，比如亚马逊仓库、餐厅、酒店，你能对环境做些控制让任务变简单，但还有很多不可控的东西。非结构化的就是你我的家，那是终极挑战。

李飞飞：尤其是我家，三条狗，一个五岁的孩子。

李昀烛：对。鲁棒性来源于对机器人可能遇到的各种场景的充分覆盖。所以现阶段，专注于半结构化环境更可行，也更现实。我们会朝着非结构化环境前进，但想用一种更可持续的方式。

李飞飞：人形机器人模仿的是人体，而进化把人体优化成了应对非结构化环境的通用体态。我们的手指、腿，不是为了做某件特定的事而生的最优解。如果人类的唯一目标是爬树，我们会长出不同的手。这种通用性是为了在非结构化环境里生存。但从商业和技术务实的角度看，非结构化环境和通用身体恰恰是最难解决的问题，甚至不一定是正确解法。更好的方式是专业化，用更专业的身体去解决更窄的问题。SceniX要解决的挑战之一，就是让他们的基础设施不绑定任何一种机器人形态，这样才能服务于不同类型的机器人和不同的半结构化环境。

07机器人达到人类效率？可能还得等很久

卡萨多：大家常常从经济学角度看。生成式大语言模型能比人类快一万倍、便宜地生成文本，因为我们的大脑不擅长那些。但我们的大脑和身体在3D导航、移动物体上却非常高效。你相信我们在可预见的未来，能造出在做简单任务时，能效跟人类相当的机器人吗？比如基本接近最低工资的水平，是5年还是永远不可能？

李昀烛：我觉得还需要很长时间。真实环境中工作的机器人，最终是个系统工程。硬件、软件、大脑，甚至手指的摩擦系数，每个细节都得考虑周到，这需要迭代。但我感到兴奋的是，我一直处在机器人学习的前沿，这个领域进步的速度总是超出我的预期。我现在研究和关心的东西，跟我博士刚开始时已经很不一样了，这说明整个生态进化得多快。但我们的预测也得保持校准，要看到大量进步，但要达到人类水平的效率和能力，路还很长。

李飞飞：现在AI最难的事，就是保持一种适度的乐观。就算是现在的大语言模型，也远没有人类大脑高效，人脑才30瓦功耗。在图像生成或编程这类窄任务上，性能功耗比或许还行。但在机器人方面，我们离得还很远。这会改变你们的战略思考吗？

李昀烛：这确实深刻改变了我们的发展轨迹。我们看到了跟World Labs合作，能以更高效、可扩展的方式去做环境建模，这是个巨大的解锁。还有一点，现在的语言模型能力很强，但你仍不会完全信任它去订机票或订酒店，总希望有人在把关。但人们对机器人的使用方式会很不同，机器人开箱就必须在真实环境里可靠工作。可我们甚至还没有必要的数据和基础设施去实现这点。所以，创建这些可扩展的数字世界，让机器人在里面学习和评估，能用生成的数据替代真实环境里昂贵、不安全的物理数据，这会释放巨大的潜力。

08两年后的成功图景：找到那些"灯塔客户"

卡萨多：我见过不少这类整合，通常在这个阶段，一致性高的都运作得不错。你们是现在就深度整合，还是保持相对独立，给一个比如一年期限的长期路线图？

李飞飞：这是个好问题。我们会慢慢来，不急着一上来就把代码库和团队全混在一起。SceniX有一个相当自洽的技术栈，有他们自己的客户和产品形态。我们会花时间。当然，在仿真和基础模型的动作条件化上，我们已经开始对话了，他们也作为内部客户在使用Marble。我们会整合，但不是那种"一锅烩"的整合。

卡萨多：地理上怎么考虑？

李飞飞：李昀烛会搬来旧金山。我们也算正式成为一家双海岸公司了，很高兴能在纽约有个办公室，这能帮我们吸引东海岸的人才。我们也在讨论，要确保两个办公室都有机器人，这样能远程测试和迭代我们的工程栈，这也是我们将来为客户提供服务所必须的能力。

卡萨多：李飞飞，具体描绘一下，两年后，成功的图景是什么样？

李飞飞：我们非常高兴的是，SceniX和World Labs的团队能在少数几个重要的垂直领域里，拥有经过验证的客户。我们的系统和基础设施被证明对他们的自动化需求有实实在在的帮助。这些客户会成为我们拓展业务的灯塔案例。

卡萨多：假设有人听这个播客，经营一家机器人公司，他们应该在什么阶段联系你们？是越早越好，还是等到某个节点？

李昀烛：目前，我们的"真实到仿真再到真实"流水线，有的客户只需要"真实到仿真"部分，把他们的任务数字化去做评估。有的则需要整个闭环，让策略直接在硬件上跑。我们的平台设计得很灵活。同时，我们正合作的客户其实已经很接近部署阶段了。他们手头有几十上百个具体任务场景，一旦用机器人方案替代，能立刻创造价值。我们和World Labs一起，就要为这些场景开发可靠的解决方案。

李飞飞：我们欢迎所有人来联系，不管是早还是晚。我们想了解你的用例。如果你在做任何跟机器人相关的事，请联系World Labs，我们开放业务合作。