漫谈Marble世界模型

漫谈Marble世界模型

近日，著名AI科学家李飞飞的World Labs发布了一款名为Marble的世界模型产品，引发了业内的广泛关注，本人也注册试用了一下Marble，感受颇多，所以从专业的角度来给各位分享一些个人观点，欢迎专业的读者朋友批评指正。

01

没有物理的世界

World Without Physics

如果我们不像某些人一样去对世界模型的定义咬文嚼字，那么Marble在我看来，就是一个AI生成可编辑3D场景的工具，这个工具的工作原理是首先通过多模态大模型分析输入的文字/图片/全景/视频/3D结构，然后通过AI模型进行生成后，输出高斯模型或Mesh模型。

我尝试着用免费模式生成了一个场景，底图就随便找了张自己打游戏的图片。

生成出的是高斯场景，貌似没有能够很好的理解提示词的意思，也有可能是这些歪歪扭扭的光带就是Marble理解的Fantasy.需要注意的是，这个提示词是Marble修改过的，并不是我原始的提示词，这一点其实很好，相当于是对提示词的预理解和加工，对于那些平时话都说不明白的人有一定的帮助。

但是50万高斯splats的模型质量确实有点一言难尽，可能付费版的200万高斯splats质量会好不少，大家可以基本理解为800*600和1080p分辨率的区别。然后生成的高斯场景是没有物理碰撞的，所以按前后左右会从模型中间直接穿过去，如果穿到了场景外面，再拖动鼠标，就可以看到整个高斯模型。

当然，一张图和一句话来要求Marble生成一个差强人意的3D场景并不是专业人士应当做出来的事情，AI从来不是应该完成从1到100的工作，而是应该完成从60到80多的工作，如何理解这句话呢？就是比如我们有一些大致的草图，希望生成3D模型，我们应当利用这些草图多次多角度生成3D模型，并选择最符合自己需求的模型进行微调修正。这和最新的DLSS的逻辑接近。任何模型和GPU都无法将7-8FPS的游戏原始帧生成到60FPS，但是却可以轻松将40FPS轻松提升到60FPS，并且通过多次生成帧并选择最好的那一帧插入，使得帧生成不留痕迹，这就是从60分到80多分的工作。

所以基于对应用场景的理解，Marble提供了Studio的功能，在Studio功能里面，可以对生成的场景进行编辑，目前仅提供了一些比较简单的编辑功能，主要用于修正和简单的删改等。整体来说，这是一个比较落地可用的AIG3D Scene的Web端应用，是有其实际价值的。

02

AIG高斯的应用价值和落地难度

Pros & Cons of AIG3DGS

为什么是3D高斯呢？我的老读者们都知道，我之前多次提到过3D高斯应用及其在计算机图形学中的价值，并且认为这是未来计算机图形学发展的一个重要方向。3D高斯建模效率高，显示及缩放速度快，延迟短，在大场景下对GPU性能及显存要求相对较低，并且建模质量也相对较高，在一些航拍建模场景中，其生成的模型质量显著高于传统航测，而数据量却显著小于传统航测，还支持动态场景渲染。所以在数字孪生，航拍建模，测绘遥感等领域，3D高斯的价值非常高。

但是3D高斯目前的弱点也是非常明显，首先，原生的3D高斯场景没有物理碰撞，需要结合物理引擎来实现物理碰撞效果，所以对于几乎所有的3D游戏，仿真，3D高斯场景无法直接使用，而再转化为Mesh并加入物理引擎又失去了其效率高，速度快的特点；其次，目前的渲染管线和图形API并不是为了3D高斯设计的，当下业界普遍把3D高斯定义为“介于AI和传统图形之间的新形态”，这也间接说明了目前3D高斯的软硬件生态并不成熟，最后，3D高斯模型的渲染暂时并不能绕开传统的图形API，目前，部分企业通过Vulkan1.3来支持3D高斯模型的渲染，好在国内还是有一家图形GPU企业能够完整支持Vulkan1.3的。

李飞飞老师作为业界的顶尖专家，其Marble目前展示得比较多的功能，就是3D场景的生成和编辑，这充分说明了Marble对3D高斯生成技术的认知是非常清晰的，未来，经过打磨的Marble可以广泛用于装修及建筑等效果图的生成，以及视频制作的辅助等领域，甚至可以支持生成游戏场景以辅助游戏制作，只不过目前还需要导出为Mesh，直接将3D高斯场景应用到游戏中还是比较困难的。我们应当理性客观地看待3D高斯和世界模型发展的进程。

03

世界模型需要什么样的显卡

New GPUs in Need

一开始，世界上是没有显卡的，在大家对图形渲染和可视化的需求越来越高之后，显卡就应运而生了。所以，一开始，世界上是没有世界模型的，世界模型出现之后，会和GPU互相碰撞，影响对方的产品定义，最终达到一个平衡态。产品定义有一个关键因素，是看其是否具有Personal属性，可以Personal的产品，最重要的方向是简洁，生态适应性强，跨平台，就是尽可能让大多数人可以用上这款产品，然后再基于大家的反馈来进行进一步的升级和优化，不可以Personal的产品，要尽量做到功能强大，获取方便，通过用户流量来提升自己的商业价值。而个人显卡是一款具有Personal属性的产品，那么其生态适应性就会非常重要，只要某种需求变得足够大，比如说，20%以上的GPU需要去运行世界模型，那么我认为显卡就应当去专门为其设计软硬件加速方案，虽然我并不参与显卡的定价和销售工作，但这并不影响我对显卡特点的了解。

落到技术细节上，我们需要研究未来的GPU是否应该硬件支持3D高斯建模和渲染加速的问题。现在讨论可能还为时过早，但是再过三到五年，等3D高斯在部分领域的生态建设比较完备之后，是否需要在GPU中加入GS Core，确实值得讨论。这不仅仅是针对Marble，针对世界模型，而是针对3D高斯已经展现出其优势的建模领域和数字孪生领域。当然，如何对计算单元进行设计，用多少GPU上的面积开销，支持到多少高斯splats，是需要经过精密的计算和权衡的，我们目前无法给出具体的参数和技术路径。

从达特茅斯会议开始，人类就一直探寻着人工智能之路，最近这十几年更是进入了井喷期，从CV到LLM，再到今天的Marble，当人工智能能够解决越来越高阶的问题时，人类离下一次生产力革命也就不远了。

作者：铁云

欢迎关注铁云文摘