李飞飞的「空间智能」Marble来了： 可以3D雕刻，渲染高斯溅射

两个月前，李飞飞的World Labs分享了Marble的预览版，该模型能通过图像或文本提示创建3D世界。当时Marble只向一小部分早期测试用户开放

刚刚World Labs正式推出了其首款产品Marble，定位为空间智能未来奠定基础的多模态世界模型，现在，任何人都可以通过一张图片、一段视频、一句文本提示，或一个3D布局来创建高保真、可持久化的3D世界，并且可以导出为高斯溅射

注册体验地址：

http://marble.worldlabs.ai

Marble是什么

李飞飞前天才发了一篇万字长文阐述了空间智能为什么是人工智能的下一个前沿（不了解的可以看我的这篇文章），空间智能需要强大的世界模型来释放其全部潜力。世界模型应当能够重建、生成和模拟3D世界，并允许人类和智能体与之交互。李飞飞认为在未来几年，具备空间智能的世界模型将变革众多行业

今天，World Labs正式向公众发布了Marble——一款顶级的生成式多模态世界模型。其功能也得到了大幅扩展：

多模态Marble：Marble现已支持大规模多模态输入。它能从文本、图像、视频或粗略的3D布局创建3D世界，并允许用户交互式地编辑、扩展和组合这些世界。生成后，3D世界可以导出为高斯溅射（Gaussian splats）、网格（meshes）或视频格式。这些新功能为用户提供了精细的控制，并使生成的3D世界比以往任何时候都更加实用

Marble Labs：World Labs同步推出了一个名为Marble Labs的创意中心，旨在融合想象力与实验。在这里，艺术家、工程师和设计师可以探索世界模型的边界，展示在游戏、视觉特效（VFX）、设计、机器人等领域的大胆想法、真实工作流和新可能性。Marble Labs还提供深度案例研究、教程和文档，为任何人提供学习、构建和分享自己3D世界的工具

https://www.worldlabs.ai/labs

如何使用Marble

Marble现在可以从多种输入类型创建3D世界，并允许用户迭代地编辑或扩展世界。用户既可以从简单的图像或文本提示快速创建完整的3D世界，也可以在2D和3D中进行交互式编辑，精确地实现脑海中的世界构想

文本与图像生成世界

最简单的方式是通过单张图片或简短的文本提示创建3D世界。Marble能够生成各种场景类型和艺术风格的世界

图像提示功能使得Marble可以轻松地与其他AI工具结合。用户可以使用自己喜欢的图像生成模型生成图片，然后将其导入Marble，提升为一个完整的3D世界。

虽然文本和单图提示直观而强大，但在创作控制上有限，因为Marble必须自行创造输入中未包含的所有细节

多图像与视频生成世界

为了实现更强的创作控制，Marble支持多图像提示。用户可以为世界的不同部分提供不同的提示图像，Marble会将它们拼接成一个统一的3D世界。这让用户能从不同角度控制生成世界的外观

这种方式带来了一种全新的工作流：用户可以使用图像生成工具分别迭代输入视图，然后由Marble将它们提升为完整的3D世界，并添加视图间的无缝过渡。

此外，多图像提示也可用于创建受现实世界启发的空间。通过输入几张从不同角度拍摄的真实地点照片或一段短视频，Marble会将其组合，生成一个包含现实空间元素的3D世界

创作过程通常是高度迭代的。生成一个世界往往只是创作旅程的开始。Marble内置了AI原生的世界编辑工具。编辑可以是局部的，如移除一个物体或修补一个区域；也可以是全局性的，如替换物体、改变视觉风格或重构世界的大部分结构

Chisel：在3D中雕刻世界

对于需要更精细控制场景布局、物体精确尺寸和位置的高级用户，World Labs推出了一个名为Chisel的实验性编辑模式

Chisel是一个AI原生的工具，允许用户直接在3D中雕刻Marble世界。用户可以使用盒子或平面等粗略的3D形状，或导入现有的3D资产来布局世界的粗糙结构。

完成布局后，用户可以添加文本提示来描述场景的视觉风格或额外元素。Marble会结合这些输入，生成一个细节完整的3D世界。

Chisel将结构与风格解耦。粗略的3D场景决定了世界的结构，而文本提示控制其整体风格。两者可以任意组合，为世界生成增添了全新的控制维度

要使用这个功能得加钱（订阅），每个月20刀

扩展与组合

Marble提供了两种方法来构建更宏大的世界：

扩展：世界生成后，用户可以通过一步操作使其变得更大。用户可以选择世界的一个区域进行扩展，Marble会自动创建更多内容来填充该区域。扩展不仅能增大世界，还能为特定区域增加细节，改善边缘区域的清晰度

组合：用户可以在Marble的“组合模式”中将任意数量的世界组合在一起，构建极其广阔的空间。组合过程完全由用户控制，可以精确选择要组合的世界以及它们的相对布局

导出为3D和视频

在Marble中创建世界后，可以将其导出并整合到下游项目中

高斯溅射（Gaussian splats）：这是Marble世界保真度最高的表示形式。用户可以使用World Labs的开源跨平台渲染器Spark（已与THREE.js集成）在浏览器中渲染高斯溅射

三角网格：Marble可以生成两种类型的网格：一种是用于粗略物理模拟的低保真碰撞体网格；另一种是旨在尽可能匹配高斯溅射视觉保真度的高质量网格

视频：用户可以使用Marble将生成的3D世界渲染成视频，并进行像素级的相机控制，精确构图。此外，Marble还能增强导出的视频，增加细节、移除伪影，并添加动态元素

未来的关键机遇在于交互性。未来的世界模型将允许人类和智能体以新的方式与生成的世界互动，从而在模拟、机器人等领域解锁更多用例

参考：

https://www.worldlabs.ai/blog/marble-world-model