网易首页 > 网易号 > 正文 申请入驻

世界模型「云游戏」问世,李飞飞World Labs出品

0
分享至

来源:市场资讯

(来源:机器之心)

今天,AI 圈的人在打游戏。


李飞飞的创业公司 World Labs 推出了自己的第一个「应用」Frameboy,由 AI 实时生成第一人称画面,把生成式 AI 变成了一种可以直接探索的体验。

Frameboy 是一个 Atlas 世界模型的优化演示版,使用云端 GPU 的流式传输,帧率最高可以达到 15 fps。实测出来模型的响应时间大概只有 70ms,已经很接近云游戏了。

  • 体验链接:https://frameboy.worldlabs.ai/

它目前提供精选场景供用户探索,包括各种真实世界中的风景、赛博朋克空间以及斯坦福大学的校园等。这些场景有的是从一张图片出发,让 Atlas 脑补出其他视角,逐步构成一个可探索的环境,也有的是输入了同一地点的多张照片,再由模型生成照片之间、以及照片之外的新视角。


World Labs 还在 beta 网络应用 Viewfinder 中直接集成了 Frameboy 作为流媒体覆盖渲染模式,这让用户能够用自己的输入内容逐帧构建场景,然后在实时中探索和扩展虚拟的世界。

就像使用摄像机一样,你可以从不同的视角导航并生成 3D 一致的世界视图。每一帧都由 Atlas 生成,包含颜色和深度信息。准备就绪后,用户可以触发 Frameboy 叠加层,在探索过程中实时播放生成的帧。

Atlas:从一张照片,推演出一个三维世界

要理解这次 Frameboy 实时演示的意义,首先需要看看它背后的 Atlas 究竟是什么。

今年 9 月 1 日,李飞飞创立的 World Labs 正式发布 Atlas,这是一个从头开始预训练的通用世界模型,能够处理文字、图像、视频和三维空间信息。与主要生成连续画面的视频模型不同,Atlas 试图解决一个更复杂的问题:如果摄像机移动到另一个位置,眼前的世界应该是什么样子?

World Labs 在发布时展示了一个很直观的例子。

研究人员先向 Atlas 提供一张花园的照片,要求它生成从空中俯瞰这片区域的画面。由于原始照片只包含花园的一部分,模型虽然重现了已有景物,却不得不自行推测周围的房屋和环境。

随后,研究人员加入第二张照片,展示花园旁边的一座小屋。这一次,Atlas 生成的画面同时包含花园和小屋,但更远处的建筑仍由模型自行补全。直到第三张照片加入,展示附近的主屋,模型才将整个场景重建得更接近真实环境。

这个过程展示了 Atlas 的一个重要特点:它既能根据有限的图像重建已经观察到的空间,也能利用训练中学到的世界知识,推测镜头之外可能存在什么。

World Labs 将其核心机制称为「空间上下文」(Spatial Context)。

简单来说,Atlas 不只是识别图片中有哪些物体,还会将每张图片与摄像机在三维空间中的位置、朝向关联起来。当用户指定新的观察位置时,模型便根据已有的空间信息,生成从这个位置应该看到的画面。

这也是 Atlas 与普通视频生成模型的一个重要区别。后者通常依靠「向左移动镜头」「绕着人物旋转」等文字描述控制运镜,而 Atlas 可以直接接收精确的摄像机位置和角度,让用户明确指定观察世界的视角。

在技术架构上,Atlas 采用多模态自回归扩散 Transformer。它结合了语言模型和扩散生成模型的思路:将文字、图像、摄像机位姿和深度信息组织成统一的空间上下文,再逐步生成新的画面及空间数据。

在最初的演示中,用户已经能够预先设计摄像机路径,让 Atlas 生成最长一分钟、最高 1440p 分辨率的视频,并在不同镜头之间尽可能维持场景的一致性。

但 Atlas 的能力并不止于生成视频。

它还可以同时生成图像与深度信息,并输出点云、3D Gaussian Splatting(三维高斯泼溅)等三维表示。换句话说,模型不仅能够呈现某个角度的画面,还能产生可供三维渲染、空间重建等工作流程使用的数据。

例如,研究人员曾使用三到五部普通手机和运动相机,从不同角度拍摄同一场景。Atlas 根据这些画面重建空间,使用户可以在动作发生的同一时刻切换观察角度,实现类似电影《黑客帝国》中「子弹时间」的效果,而不必部署传统的大规模多机位拍摄系统。

另一个应用方向是机器人仿真。研究人员可以通过手机视频记录真实环境,再利用 Atlas 重建空间,并生成机器人沿不同路线移动时,其机载摄像头可能观察到的画面和深度数据。这为利用少量真实记录构建机器人模拟环境提供了新的方法。

现在,Frameboy 的出现让人们基于世界模型的创作方式发生了改变,我们可以边移动边观察,边决定下一步。这种体验在电影勘景、空间概念设计、游戏关卡的构思上都具有潜力。

参考内容:

https://www.worldlabs.ai/blog/atlas-realtime

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

阿讯说天下
2026-11-18 08:18:31
炸锅!养老金没涨医保先动,11月起退休人员这3件事不办可能吃亏

炸锅!养老金没涨医保先动,11月起退休人员这3件事不办可能吃亏

123斯蒂芬
2026-11-18 14:22:03
张子宇一生之敌?日本归化中锋单场59分33板太恐怖 但性别引发争议

张子宇一生之敌?日本归化中锋单场59分33板太恐怖 但性别引发争议

大嘴爵爷侃球
2026-11-18 10:00:33
NBA本赛季场均得分!东契奇场均40分 库里场均少打7分钟却高居第三

NBA本赛季场均得分!东契奇场均40分 库里场均少打7分钟却高居第三

体坛八点半的那些事儿
2026-11-18 19:12:42
薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

起点财经
2026-11-17 08:46:25
神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

神秘“华人”爆料,某岛上钱色交易不值一提,深层次的秘密才可怕

林林故事揭秘
2024-12-25 12:24:41
克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

克莱·汤普森距离超雷·阿伦3分球命中数纪录一步之遥,激动不已

好火子
2026-11-17 23:57:53
打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

打破迷信!最吉利的数字不是6和8,真正顶级吉数藏着大智慧

娱乐圈见解说
2026-11-17 08:20:03
克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

克里米亚大桥约6000吨主拱垮塌,多久能恢复通行?

小怪吃美食
2026-11-18 05:36:39
史上最大IPO来了?Anthropic纳斯达克IPO获准,股票代码为“ANT”

史上最大IPO来了?Anthropic纳斯达克IPO获准,股票代码为“ANT”

每日经济新闻
2026-11-18 10:27:17
好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

好奇查了一下黄仁勋的出身,不查不知道,一查惊讶了,原来黄仁勋根本不是什么大富豪家庭,而是普通的知识分子家庭。

回京历史梦
2026-11-15 06:35:06
高市早苗赴APEC:18日到访深圳,日本这场外交首秀看点不少

高市早苗赴APEC:18日到访深圳,日本这场外交首秀看点不少

生活魔术专家
2026-11-17 12:52:37
判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

判得漂亮!重庆83岁老人确诊宫颈癌晚期,在疼痛科住院期间,趁女儿和儿子换班的十几分钟,偷偷从卫生间窗户跳下身亡。

回京历史梦
2026-11-13 10:27:27
炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

澳洲红领巾
2026-11-17 11:17:20
APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

大象新闻
2026-11-17 20:45:45
大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

大批新能源车通病集中爆发,车子开着没毛病,但是电池直接报废

云霄纪史观
2026-11-17 03:55:10
俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

俄军奋力防守仍没能守住,克里米亚大桥的惨状,全世界都看见了

古书奇谈
2026-11-18 15:15:03
黄仁勋事件,美国政府突然回过味来

黄仁勋事件,美国政府突然回过味来

牛弹琴
2026-11-18 07:40:33
CBA要提前大结局,NBA超级外援加入黑马球队,挑翻上海北京

CBA要提前大结局,NBA超级外援加入黑马球队,挑翻上海北京

宗介说体育
2026-11-18 15:02:35
2026-11-18 19:36:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5532358文章数 10028关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

头条要闻

特朗普抵达深圳 中国军人在“空军一号”边上岿然不动

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
房产
亲子
艺术
旅游

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

效果图曝光!三亚超级万象城,长这样!

亲子要闻

坚持原则如何在训练中体现

艺术要闻

吴冠中 一幅《老重庆》,951万港元!

旅游要闻

海南上新了!解锁N种跨年打开方式

无障碍浏览 进入关怀版