李飞飞最新洞察：空间智能最终是 4D 的，World Labs 正在押注下一种 Scaling

World Labs 最新发布的 Atlas，把过去长期分开的像素生成和 3D 重建放进了同一个模型，并把新视角预测（New View Prediction）设成最基础的任务，即给定一个场景的若干图像、视频或者描述，Atlas 会把这些信息放进同一个空间上下文，再让虚拟相机移动到其他位置，预测从那里应该看到什么。

World Labs 联合创始人李飞飞在本周 a16z 节目中与 Justin Johnson、Ben Mildenhall 以及 a16z 合伙人 Martin Casado 等人进一步介绍了 Atlas。

相比此前已经公开的模型能力，这场对谈更重要的信息，是团队第一次比较完整地解释了为什么选择新视角预测，以及这条路线如何从 3D 重建延伸到动态世界、机器人和行动规划。

World Labs 对 Atlas 的核心押注是，新视角预测在空间智能中的作用，可能类似 Next Token Prediction 在大语言模型中的作用。如果这个判断成立，Atlas 的意义就不只是一款新的 3D 或视频模型，而是在尝试寻找一个可以伴随模型规模和数据持续 Scaling 的空间智能基础任务。

▍生成和重建开始合流

Atlas 和普通视频生成模型之间，一个重要区别，是「视角」不再只是 Prompt 中的描述，而成为模型可以直接理解的输入。每一张进入 Atlas 的图像都可以对应明确的 3D 相机位姿，相机在哪里、朝向哪里，以及这个位置对应的 RGB 和 Depth Map，都可以成为模型空间上下文的一部分。

这让生成过程获得了更明确的空间约束。Ben Mildenhall 把传统视频生成形容得更直观：很多时候仍然有些像「老虎机」，用户通过文本告诉模型想要什么，再不断重新生成，直到得到满意的镜头。Atlas 则可以直接规定内容所在的位置、相机从哪里经过以及朝哪里看。

这背后对应的是两条过去长期分开的计算机视觉路线。生成模型擅长创造现实中没有出现过的像素，传统 3D 重建则依赖多个视角之间的几何关系，尽可能准确地恢复真实空间。前者可以想象，但不一定空间准确；后者足够准确，却只能恢复真正被相机观察到的部分。

Atlas 第一次在同一个模型架构中同时处理生成和 3D 重建。模型从预训练阶段开始就原生处理文本、图像、视频、相机位姿和 3D 信息，而不是先生成图像，再外挂一套传统 3D 系统完成空间恢复。

李飞飞认为，这一点的重要性容易被低估。计算机视觉发展超过半个世纪，像素生成、识别和 3D 重建长期属于不同研究方向，大量研究分别围绕这些任务展开。Atlas 则以 Viewpoint 为连接点，把生成与重建放进同一个模型。

对于空间智能来说，这种统一还有进一步的意义。最终的模型不仅要生成空间，还需要理解其中的几何结构、物体关系和物理规律，再进一步完成渲染、模拟和行动规划。李飞飞认为，生成像素只是其中相对早期的一步，更难的问题是让生成出来的像素真正拥有空间上下文，并受到几何关系约束。

▍几百张照片压缩到几张

生成与重建结合之后，最直接的变化首先发生在 3D 数据采集上。传统 Dense Reconstruction 对数据覆盖的要求很高：一个希望出现在重建结果里的位置，通常需要从多个视角被拍摄。桌子底下、麦克风下面、家具之间的缝隙甚至植物叶片背后，都需要尽可能被相机覆盖。

因此，一个房间可能需要拍摄 100、200 甚至 300 张照片。一套多房间住宅对于第一次操作的人来说，完整扫描可能需要一两个小时。过去 3D 重建很难进入普通用户工作流，很大程度上并不是最终效果的问题，而是前端采集本身太重。

Atlas 希望改变的是这一环节。团队给出的目标，是把传统密集重建所需的输入量降低约 50 至 100 倍，一个房间最终可能只需要约 3 张照片。

Ben 已经开始把自己过去的采集素材重新放入 Atlas。一套此前使用约 2000 张图片完成采集的多房间住宅，在输入压缩到约 30 至 40 张后，生成的空间穿行效果已经基本接近原来的结果。

这会直接改变哪些数据能够被用于 3D 重建。过去没有按照专业重建流程采集的手机照片、普通视频、旧影像甚至互联网上已有的图片，都可能重新变成可用输入。如果稀疏重建继续成立，3D 世界的数据来源会从「专门采集」扩大到大量已经存在的视觉数据。

Stanford Quad 的实验展示了这种机制。团队输入的只有 3 至 25 张站在地面拍摄的照片，但最终可以从空中视角观察整个区域。输入中并不存在对应的航拍画面，因此模型一边利用真实照片确定能够恢复的空间关系，一边生成那些从未被直接观察的位置。

这正是生成能力进入 3D 重建的原因。传统方法依赖不同视角之间的几何关系，如果一个位置从未出现在任何输入图片中，重建结果就容易留下空白。现实中即使拍摄数百张照片，也很难保证所有角落都被完整覆盖。

Atlas 不再要求真实输入承担全部工作。已经被观察到的位置继续受到输入约束，没有被观察到的区域则由模型补齐。生成与重建由此形成一个连续过程，而不再是两个独立步骤。

《黑客帝国》的「子弹时间」是更直观的例子。过去类似镜头需要在绿幕摄影棚布置数百台相机，从不同角度同时记录演员动作，再把画面组合起来。World Labs 现在用 3 台架在三脚架上的 iPhone，就可以拍摄几个真实角度，再由 Atlas 生成现实中并不存在的自由相机位置。

这背后的变化不是单纯少用了几台相机，而是模型开始承担过去必须依靠真实采集完成的视角覆盖。

▍Atlas 还在 Scaling 早期

Atlas 并不是 World Labs 一开始就确定的模型形态。公司上一代 Marble 已经可以接收图片、视频和文本，再生成 3D 世界，但主要以 Gaussian Splats 作为输出表示。

Gaussian Splats 容易渲染，也方便进入移动设备、VR、游戏引擎和模拟器，但团队后来认为，如果所有输出都必须经过这种 3D 表示，本身也会成为模型继续扩展的限制。

因此 Atlas 重新设计了不同模态之间的关系，把最底层任务换成新视角预测，需要 RGB 时生成 RGB，需要 3D 时生成 3D，再根据具体工作流决定是否转成 Gaussian Splats。

World Labs 创办早期真正确定的并不是最终架构，而是两个假设：空间智能同样存在 Scaling Law；新视角预测可能成为支撑这条 Scaling Law 的基础任务。至于模型架构和训练数据如何组合，则经过了多轮不同规模的实验。

Justin Johnson 表示，开发过程中每一次增加模型规模、延长训练时间和增加芯片数量，效果都会明显改善。目前团队并没有看到这套架构接近能力上限，反而认为仍处于扩展的早期。

Atlas 继续 Scaling 当前最主要的瓶颈已经是训练算力。

此次公开的版本是团队目前训练过最大、效果最好的 Atlas，但最终规模并不是因为数据不足或者架构已经达到极限。Justin 透露，真正决定这一版本训练规模的是发布时间：团队先确定发布日期，再根据剩余时间倒推能够训练多大的模型。

团队真正建立信心的节点甚至发生在一个更小的模型上。Ben 把 NeRF 研究中经常使用的花园桌子场景放进早期模型，随后得到了一段能够从桌子下面穿过、同时保持周围物体空间关系的镜头。李飞飞回忆，三位联合创始人看到结果后，很快决定继续沿着这套架构推进。

这也是 Atlas 接下来一个值得观察的变量。World Labs 目前给出的不是一条已经接近收敛的技术路线，而是一套团队认为仍然可以通过更多算力继续扩展的架构。对于一家 Frontier Lab 来说，这意味着接下来模型能力提升有多快，很大程度上开始取决于它能够投入多少训练算力。

▍从静态世界走向 4D

空间一致性主要解决的是 3D，真实世界还多了一条时间轴。李飞飞认为，空间智能最终应该是 4D 的，模型不仅需要知道空间是什么样，还要处理时间以及其中持续发生的动态变化。

Atlas 已经迈出了第一步，但 Justin Johnson 对现阶段能力的描述很克制，称其为「baby dynamics」。

上一代 Marble 从模型架构到训练数据都主要面向静态世界，Atlas 已经从底层加入对动态的支持，预训练阶段也使用了大量动态数据。在已经公开的生成结果中，水面可以发生波动，远处车辆也能够移动。

不过，此次发布版本的后训练重点仍然是静态场景和相机在空间中的移动，对时间维度的强化相对有限。团队认为，预训练模型内部已经存在更多潜在动态能力，接下来还会继续释放。

相比简单增加动态效果，Ben 更关心的是可编辑性。电影、游戏、建筑和工业设计真正需要的并不是一次性生成一个世界，而是让同一个空间长期保持状态，再围绕它持续修改。物体放在哪里、人物是谁、场景布局怎样变化，都需要在连续工作流里保持一致。

World Labs 希望把世界模型从「一次生成一个结果」，推进到「持续维护并编辑同一个世界」。

Ben 提到，未来模型需要进一步控制场景布局、物体身份、互动方式乃至时间，但这些控制不能以降低生成质量为代价。如果增加大量控制能力之后画面质量明显下降，这些功能最终只能成为「party trick」，很难真正进入专业生产。

对于建筑、游戏、影视以及工业设计，这种变化对应的是另一种软件交互方式。现在很多 3D 工作流仍然依赖几十年前形成的软件范式，设计人员开会得到修改意见之后，往往还需要花大量时间重新调整 3D 模型。World Labs 希望模型能够直接理解这些修改要求，并作用于一个持续存在的 3D 世界。

▍机器人现在首先缺数据

World Labs 此前收购了一支机器人团队，主要技术之一就是 Real-to-Sim 和 Sim-to-Real。前者先把真实环境重建到模拟世界，再通过模拟产生更多训练环境；后者则让模拟中训练出来的机器人策略回到真实世界执行。

这类工作目前面临的一个直接限制，仍然是数据采集。李飞飞判断，机器人现阶段最大的瓶颈是数据，有一天可能会变成芯片，但现在首先是数据。

这与训练图像、视频或者代码模型明显不同。互联网已经积累了大量图片、视频和代码，但机器人需要进入真实世界采取动作，环境又会不断响应这些动作，因此没有同等规模的现成机器人数据可以直接使用。

例如训练机械臂处理线缆，不能只记录一种线缆状态。线缆可能出现不同弯曲方式，旁边箱子的大小、颜色、盖子和位置也会发生变化。机器人真正部署时可能遇到的情况，需要尽量提前进入训练过程。

Real-to-Sim 因此成为扩充数据的一种方式：先重建真实环境，再在模拟器里不断改变物体和环境条件。但传统密集 3D 重建本身非常耗时，也直接拖慢了机器人模拟的迭代速度。

Atlas 的稀疏重建首先可以降低这一部分成本，但团队还在考虑更进一步的路线。

Justin Johnson 表示，可以训练一个数据驱动的 Neural Simulator，让模型直接学习环境如何响应机器人的动作。传统模拟器需要人提前想象各种可能发生的情况，再通过物理引擎和代码把规则写进去；神经模拟器则希望从大量数据中直接学习这种变化。

如果模型已经知道「机器人做出这个动作以后，世界会发生什么」，它就可以被用来训练机器人策略。而这个逻辑再向前一步，模拟器本身也可能变成 Planner：从预测一个动作会产生什么结果，转向推断为了得到某个结果应该采取什么动作。

这也是 World Labs 把世界模型与机器人连接起来的核心逻辑。生成、模拟和规划在这里不再是完全独立的问题，对世界变化规律的理解可以同时服务于三者。

不过李飞飞也强调，目前机器人领域还没有足够可靠的 Frontier Foundation Model。Atlas 现阶段只是解决了其中一部分基础问题，动态数据和 Action Planning 仍然在后续路线图里。

▍预测下一个视角

Next Token Prediction 是一个很典型的例子。一个模型表面上只是在预测下一个 Token，但如果需要预测一本悬疑小说最后揭晓的凶手，它实际上需要理解前面的情节、人物和线索。一个看起来极其简单的训练目标，随着数据和模型能力扩大，可以不断吸收更复杂的智能任务。

World Labs 认为，新视角预测也可能存在类似性质。当模型只需要从房间的另一个角度观察静态场景，它主要解决的是几何和空间一致性。但如果虚拟相机继续移动到未来的某个时间，问题就发生了变化：模型需要知道人物做了什么、物体如何运动、环境如何变化，以及此前发生的动作会带来什么结果。

李飞飞从生物演化给出了另一种解释。自然界给能够移动的动物长出了眼睛，而不是给树长出眼睛。当动物发生移动，视觉系统天然面对的任务就是不断接收新的视角。

World Labs 最核心的技术押注也因此变得清楚：新视角预测可能像 Next Token Prediction 一样，成为一项足够简单、却能够随着 Scaling 不断吸收更复杂智能能力的基础任务。

对于 Atlas 来说，这个判断目前远没有得到最终验证。它现在最成熟的能力仍然集中在空间生成和稀疏重建，动态、交互和行动规划都处于更早阶段。

但 World Labs 已经把路线摆得很明确：模型不只是生成一个从未出现过的新镜头，而是试图通过不断预测「从另一个位置和时间看过去，世界应该是什么样」，逐渐把空间、时间和行动放进同一个模型。

✦精选活动✦

地表最酷的科创大会——S创上海2026，有新专属免费通道现已开启

9月22日—23日上海·徐汇西岸艺术中心A馆

15,000+专业观众、来自60+国家与地区的创新力量齐聚现场。大咖分享、创业路演、全球科技展览，带你进入创新正在发生的地方。

扫描海报二维码，领取媒体专属免费门票。9月，一起 Be in the Game！

✦精选内容✦