李飞飞空间智能独角兽开源底层技术！AI 3D世界所有设备流畅运行

梦晨 发自 凹非寺
量子位 | 公众号 QbitAI

李飞飞空间智能创业公司World Labs，开源一项核心技术！

Forge渲染器，可在桌面端、低功耗移动设备、XR等所有设备上实时、流畅地渲染AI生成的3D世界。

具体来说，Forge是一款Web端3D高斯泼溅渲染器，无缝集成three.js，实现完全动态和可编程的高斯泼溅。

Forge底层为GPU优化设计，其地位相当于传统3D图形领域的基础组件“着色器”。

Forge只需极少的代码即可启动和运行。它支持多个splat对象、多个摄像头以及实时动画/编辑。

World Labs联创、NeRF作者Ben Mildenhall称这项技术“让开发者像处理三角形网格一样轻松处理AI生成的3D世界。”

李飞飞表示，“它能做到的事情简直令人难以置信”。

在所有设备上渲染3D AI世界

3D高斯溅射 (3D Gaussian Splatting) 已成为生成式人工智能和3D重建领域的主流方案。

这项技术通过将3D场景和对象表示为微小的高斯形状斑点（又称Spat）的集合，机器学习技术可用于创建可实时渲染的细致逼真的3D内容。

然而，3D高斯溅射（3DGS）是一项相对较新的技术，许多传统的基于三角形的3D网格渲染引擎尚无法使用，而网络上最流行的3D图形库three.js无法直接渲染3DGS。

虽然有一些库可以在网络上渲染3DGS，但它们各自都存在不同的限制，如此只能渲染一个 3DGS 对象、3DGS对象之间的遮挡不正确、无法动态修改对象、需要 WebGPU 或渲染速度慢/卡顿。

Forge被设计为一款可编程的3DGS引擎，能够以前所未有的方式控制3DGS的生成、动画以及在场景中的渲染。

与现代3D图形引擎中的着色器图形系统类似，Forge允许将函数块（称为Dyno）组合成计算图形，可以程序化地生成、任意修改Spalt，或执行能想到的任何其他计算，并转换为GLSL语言在GPU上运行。

官网用一个菜单场景，很好地展示了Forge渲染器的实时交互能力。

实时高斯泼溅渲染的最大挑战之一是对每个splat进行排序，这被称为画家算法（Painter’s algorithm），也是Forge系统设计的核心。

管理此过程的关键组件是ForgeRenderer，它遍历并编译Three.js场景中所有 splat 的完整列表。

每个ForgeRenderer都有一个默认的ForgeViewpoint ，它会从GPU读取所有splat视角列表，然后使用高效的bucket sort算法确定绘制顺序，并通过SplatWorker在后台工作线程中运行。

通过生成额外的ForgeViewpoint对象，支持创建多视角同时渲染。

Forge还利用这个机会在GPU上的每个splat上运行用户可编程的数据流水线。标准流水线提供高级功能，例如应用刚体变换、调整 RGB/不透明度和球谐函数，以及颜色编辑和扰动以及双四元数骨骼动画系统。

标准流水线还允许通过dyno着色器图形系统注入任意代码来修改每个splat。

Forge支持完全控制编写任何以编程方式计算splat属性（中心、比例、四元数、RGBA）的函数。这些属性可以是无状态的，也可以依赖于splat文件、纹理和其他全局参数的复杂组合进行实时程序生成，并且可以随时间变化以生成实时动画。

World Labs成立以来完成超过2.3亿美元融资，投资方包括a16z、英特尔、AMD等。

他们的目标是将多模态AI从二维像素平面提升到完整的三维世界，称将于2025年推出首款产品。

另外，World Labs曾透露还计划打造一些对艺术家、设计师、开发者、电影制作人和工程师等专业人士有用的工具，目标客户涵盖从视频游戏开发商到电影工作室等各个领域。

从这一点看来，Forge渲染器更像是开发者工具中的一部分，真正的产品还在后面。

Forge主页
https://forge.dev

参考链接：
[1]https://x.com/BenMildenhall/status/1929618052813054294