刚刚，李飞飞创业首个项目：单图生成交互3D场景，空间智能来了

机器之心报道

机器之心编辑部

这是空间智能的第一步。

「无论怎样理论化，我们还是很难用语言来描述与照片或句子生成的 3D 场景交互的体验，」李飞飞说道。

北京时间今天凌晨，著名 AI 学者、斯坦福大学教授李飞飞公布了她的第一个创业项目。这是一个能用单张图片、一句话生成 3D 世界的神奇项目。

生成式 AI，从此进入了 3D 化、完全沉浸式的新时代。

只用一张图生成的 3D 世界会有多精细？World Labs 表示，效果是这样的：

这里是更多效果展示：

视频链接：https://mp.weixin.qq.com/s/hWikSypCZXzxa9LQJq4Frg

此前，我们已经见证了一系列会制作 2D 内容的生成式 AI 工具，它们可以输出图像或视频。相比之下，生成 3D 内容的方法并不多见。直接生成 3D 内容可以提高对内容的控制力和一致性，这将改变我们制作电影、游戏、模拟器和其他物理世界数字表现的方式。

网友纷纷看好 World Labs 的首个项目，认为它既看起来炫酷，又很有前景。

纽约大学助理教授谢赛宁表示，「想象是生成式的，控制是 3D 的。」

的确，当我们把 AI 生成的内容提升到 3D 物体层面上之后，「想象力」与可操作性终于得到了统一，这就为以后的无数应用打开了大门。

在 World Labs 的博客中，团队展示了他们如何探索 3D 生成式世界，并在浏览器中实时呈现，包括相机效果、3D 效果和经典绘画。

视频链接：https://mp.weixin.qq.com/s/hWikSypCZXzxa9LQJq4Frg

探索世界

下面展示了由奇幻图片和日常照片生成的 3D 世界一些官方示例。

相机效果

一旦场景生成完，之后会使用虚拟相机在浏览器中实时渲染。精确控制该相机可实现艺术摄影效果。

可以模拟景深，只有距离相机一定距离的物体才能聚焦：

还可以模拟滑动变焦，同时调整摄像机的位置和视野：

3D 效果

大多数生成模型预测像素，但预测 3D 场景有很多优势：

• 持久现实：一旦生成一个世界，它就会一直存在。即使你移开视线再回来，场景也不会改变。
• 实时控制：生成场景后，你可以在场景中实时移动。你可以停留在一朵花的细节上，也可以窥探角落里的一举一动。
• 正确的几何形状：生成的世界符合三维几何的基本物理规则。它们具有实体感和深度感，与某些人工智能生成的视频的梦幻性质形成鲜明对比。

可视化 3D 场景的最简单方法是绘制深度图，其中每个像素都按其与摄像头的距离着色：

我们可以利用 3D 场景结构来构建交互效果：

还可以构建特效，让场景活跃起来：

走进世界名画

World generation 还有一个应用方式：体验标志性艺术作品。这里是根据梵高、霍珀、修拉和康定斯基的最爱作品生成的，模型没有生成原画之外的任何东西。

创意工作流

World Labs 让 3D 世界生成自然地与其他 AI 工具组合在一起。这使得创作者可以使用他们已知的工具来实现新的体验。

例如，可以通过首先使用文本到图像模型生成图像来从文本创建世界。不同的模型有自己的风格，World Labs 生成的 3D 世界可以继承这些风格。

例如，使用不同的文本到图像模型生成同一场景的四个变体，全部使用相同的提示：

一间充满活力的卡通风格的青少年卧室，里面有一张铺着彩色毯子的床，一张杂乱的桌子，上面有一台电脑，墙上贴着海报，还有散落的运动装备。一把吉他靠在墙上，中间是一张舒适的带图案的地毯。窗外的光线为房间增添了温暖、年轻的氛围。

World Labs 已经让一些创作者提前了解了技术，开始尝试 3D 原生生成 AI 工作流带来的可能性。

Eric Solorio 展示了 World Labs 的模型如何填补其创意工作流中的空白，使场景中的角色轻松上演并指导精确的摄像机移动：

视频链接：https://mp.weixin.qq.com/s/hWikSypCZXzxa9LQJq4Frg

Brittani Natali 使用将 World Labs 技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程，在生成的世界中精心设计了摄像机路径，以唤起三部短片的不同情绪：

视频链接：https://mp.weixin.qq.com/s/hWikSypCZXzxa9LQJq4Frg

最后，World Labs 表示这些结果是他们生成 3D 世界的第一个早期预览。他们正在努力改善生成的世界的大小和保真度，并尝试用户与其交互的新方式。

对此，你怎么看？

参考链接：https://www.worldlabs.ai/blog