北京
文章转载自「机器之心」。
「无论怎样理论化，我们还是很难用语言来描述与照片或句子生成的 3D 场景交互的体验，」李飞飞说道。
北京时间今天凌晨，著名 AI 学者、斯坦福大学教授李飞飞公布了她的第一个创业项目。这是一个能用单张图片、一句话生成 3D 世界的神奇项目。
生成式 AI，从此进入了 3D 化、完全沉浸式的新时代。
完整的体验可以在博客体验：https://www.worldlabs.ai/blog
只用一张图生成的 3D 世界会有多精细？World Labs 表示，效果是这样的：
这里是更多效果展示：
此前，我们已经见证了一系列会制作 2D 内容的生成式 AI 工具，它们可以输出图像或视频。相比之下，生成 3D 内容的方法并不多见。直接生成 3D 内容可以提高对内容的控制力和一致性，这将改变我们制作电影、游戏、模拟器和其他物理世界数字表现的方式。
英伟达高级研究科学家、李飞飞高徒Jim Fan总结道，「GenAI正在创造越来越高维度的人类体验快照。Stable Diffusion是2D快照；Sora是2D+时间维度的快照；而World Labs是3D、完全沉浸式的快照」。
的确，当我们把 AI 生成的内容提升到 3D 物体层面上之后，「想象力」与可操作性终于得到了统一，这就为以后的无数应用打开了大门。
在 World Labs 的博客中，团队展示了他们如何探索 3D 生成式世界，并在浏览器中实时呈现，包括相机效果、3D 效果和经典绘画。
01探索世界
下面展示了由奇幻图片和日常照片生成的 3D 世界一些官方示例。
02相机效果
一旦场景生成完，之后会使用虚拟相机在浏览器中实时渲染。精确控制该相机可实现艺术摄影效果。
可以模拟景深，只有距离相机一定距离的物体才能聚焦：
还可以模拟滑动变焦，同时调整摄像机的位置和视野：
033D 效果
大多数生成模型预测像素，但预测 3D 场景有很多优势：
持久现实：一旦生成一个世界，它就会一直存在。即使你移开视线再回来，场景也不会改变。
实时控制：生成场景后，你可以在场景中实时移动。你可以停留在一朵花的细节上，也可以窥探角落里的一举一动。
正确的几何形状：生成的世界符合三维几何的基本物理规则。它们具有实体感和深度感，与某些人工智能生成的视频的梦幻性质形成鲜明对比。
可视化 3D 场景的最简单方法是绘制深度图，其中每个像素都按其与摄像头的距离着色：
我们可以利用 3D 场景结构来构建交互效果：
还可以构建特效，让场景活跃起来：
走进世界名画
World generation 还有一个应用方式：体验标志性艺术作品。这里是根据梵高、霍珀、修拉和康定斯基的最爱作品生成的，模型没有生成原画之外的任何东西。
04创意工作流
World Labs 让 3D 世界生成自然地与其他 AI 工具组合在一起。这使得创作者可以使用他们已知的工具来实现新的体验。
例如，可以通过首先使用文本到图像模型生成图像来从文本创建世界。不同的模型有自己的风格，World Labs 生成的 3D 世界可以继承这些风格。
例如，使用不同的文本到图像模型生成同一场景的四个变体，全部使用相同的提示：
一间充满活力的卡通风格的青少年卧室，里面有一张铺着彩色毯子的床，一张杂乱的桌子，上面有一台电脑，墙上贴着海报，还有散落的运动装备。一把吉他靠在墙上，中间是一张舒适的带图案的地毯。窗外的光线为房间增添了温暖、年轻的氛围。
World Labs 已经让一些创作者提前了解了技术，开始尝试 3D 原生生成 AI 工作流带来的可能性。
Eric Solorio 展示了 World Labs 的模型如何填补其创意工作流中的空白，使场景中的角色轻松上演并指导精确的摄像机移动：
Brittani Natali 使用将 World Labs 技术与 Midjourney、Runway、Suno、ElevenLabs、Blender 和 CapCut 等工具相结合的工作流程，在生成的世界中精心设计了摄像机路径，以唤起三部短片的不同情绪：
最后，World Labs 表示这些结果是他们生成 3D 世界的第一个早期预览。他们正在努力改善生成的世界的大小和保真度，并尝试用户与其交互的新方式。
参考链接：https://www.worldlabs.ai/blog
转载原创文章请添加微信：founderparker
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
