网易首页 > 网易号 > 正文 申请入驻

李飞飞造了个「永不消逝的世界」!单张GPU就能跑

0
分享至

智东西10月17日报道,昨晚,李飞飞团队发布全新实时生成式世界模型RTFM(Real-Time Frame Model),只需单张H100 GPU就能运行!

该模型支持单图像生成3D场景,能处理多样化的场景类型、视觉风格及光影效果,包括镜面反射、光泽表面、动态阴影和镜头光晕。

▲李飞飞推文截图(来源:X)

RTFM能在用户交互时实时生成视频,可用于探索生成的3D世界和真实场景定位,现已开放研究预览版。

DEMO体验地址:https://rtfm.worldlabs.ai/

除了前后左右移动以外,RTFM还可以进行推拉变焦、重现鱼眼失真等镜头效果,能够像在一间真正的房间中漫步一样,真实感拉满。

李飞飞团队在博客中透露,RTFM围绕三大核心原则设计:

1、高效性:仅需单张H100 GPU即可实现交互级帧率的推理运算;

2、可扩展性:采用不依赖显式3D表征的建模方式,通过通用端到端架构从大规模视频数据中学习,随算力数据增长持续进化;

3、持久性:支持无限时长交互,构建的3D世界具有永久记忆——即使转身离开,场景依然存在。

在李飞飞的推文下,很多网友都觉得这个模型的DEMO效果非常惊艳。

▲网友评论截图(来源:X)

也有比较专业的网友解释称,这个模型并不是直接生成3D世界,而是通过一张2D图片,补充这张图片场景下其他角度的2D图片。

▲网友评论截图(来源:X)

AI数据平台公司Manifolds AI联合创始人Ziyang Xie体验后称,RTFM的空间一致性令人印象深刻,但速度过快时仍然会崩溃。

▲Ziyang Xie评论截图(来源:X)

有网友体验完感叹道:“或许我们身处的世界也是运行在‘单张’H100 GPU上的。”

▲网友评论截图(来源:X)

一、单张H100 GPU就能运行,还能保持交互帧率和持久性

李飞飞团队发现,在技术发展过程中,生成式世界模型对算力的需求将远超当前大语言模型。

若直接套用现有视频架构,实现60帧4K交互视频流需每秒生成超10万token(相当于首部《哈利·波特》的文本量),维持一小时以上持久交互更需处理超1亿token的上下文。以当前算力基础,这既不可行也不经济。

他们从中吸取了“教训”:随着算力成本指数级下降,那些能适应算力增长的简洁方法终将主导AI发展,而生成式世界模型正处在享受未来算力红利的最佳位置。

这就带了一个关键的问题:生成式世界模型是否会被当前硬件条件束缚?是否存在技术路径让我们现在就能预览未来?

为此,李飞飞团队设定了一个简单目标,即设计一个足够高效、当下即可部署的生成式世界模型,并能随算力提升持续扩展。

他们的具体目标是构建可在单张H100 GPU上运行的模型,既保持交互级帧率,又能实现无限持久的世界交互。

这一目标贯穿了他们从任务设定到模型架构的整个系统设计。通过精心优化推理栈的每个环节,融合架构设计、模型蒸馏和推理优化的最新突破,李飞飞团队在当今硬件上实现了对下一代模型最高保真度的前瞻。


三、能自主掌握反射阴影的渲染,RTFM是“学习型渲染器”

传统3D图形管线通过显式3D表征(如三角网格、高斯泼溅)构建世界并渲染为2D图像。它们采用手工设计的数据结构与算法来建模3D几何、材质、光照、阴影和反射等。这些方法数十年来一直是计算机图形学的支柱,但难以随算力数据自然扩展。

RTFM另辟蹊径,他们基于生成式视频建模的最新进展,训练单一神经网络来输入场景的一张或多张2D图像,无需构建任何显式3D表征即可生成新视角的2D画面。该模型采用自回归扩散Transformer架构处理帧序列,通过大规模视频数据端到端训练实现帧间预测。

RTFM还可以被认为是“学习型渲染器”,输入帧可以被转化为隐含世界信息的神经网络激活值(KV缓存),生成新帧时,网络通过注意力机制读取该表征,创建与输入视角一致的新视图。

从输入视图到世界表征的转换机制,再到基于表征的新帧渲染,全程通过数据端到端学习获得,无需人工设计,RTFM仅需在训练中观察即可自主掌握反射、阴影等复杂效果的建模。

重建(在已有视角间插值)与生成(创造输入视角未可见内容)在计算机视觉领域向来被视为两个独立的课题,但RTFM模糊了这二者之间的界限。当输入多视角图像时,模型更倾向于重建;当输入视角稀缺时,模型则被迫进行外推生成。


四、以位姿帧作为空间记忆,RTFM拥有持久记忆

现实世界的核心特性在于其持久性,当你移开视线时,世界不会消失或彻底改变。无论相隔多久,你总能重返曾经到过的地方。

这对自回归帧模型来说可不太容易。由于世界仅通过2D图像帧隐式表征,要实现持久性,模型必须在用户探索过程中对持续增长的帧序列进行推理。这意味着生成每一帧的成本会递增,模型对世界的记忆实际上被算力预算所束缚。

为突破这一桎梏,RTFM为每帧画面都赋予三维空间中的位姿(位置与朝向)。通过输入目标帧的位姿生成新画面,模型对世界的记忆就会具备空间结构,因为这些带位姿的帧构成了空间记忆系统。

这为模型注入了弱先验,即其所建模的世界是三维欧几里得空间,同时无需强制模型显式预测该空间中物体的三维几何。

生成新帧时,系统会从位姿帧构成的空间记忆中检索邻近帧,构建定制化上下文。这种“上下文调度”技术使模型能在空间不同区域生成时调用不同的上下文帧,从而无需对持续增长的帧序列进行推理,即可在长期交互中维持世界的持久性。


结语:世界模型突破算力限制,可在多行业中落地

李飞飞团队认为,RTFM的推出实现了在当今硬件上部署世界模型的愿景,并确立了将世界模型视为端到端数据驱动渲染器的技术路径。

RTFM的架构具备天然可扩展性,未来将会有更多的发展空间,比如它可以扩展为动态世界建模,允许用户与生成世界实时交互。

世界模型能实时重建、生成并模拟具有物理精确性的持久交互世界,这类模型或许将彻底改变从媒体到机器人等众多行业。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

西湖边64㎡两居室13.9万元起拍,产权清晰,无抵押,能直接落户,学区是杭州头部小学,真有人能捡漏吗?中介一句话戳破真相

都市快报橙柿互动
2026-11-20 09:37:46
入职小米十个月,“天才少女”罗福莉被传出现分歧可能创业

入职小米十个月,“天才少女”罗福莉被传出现分歧可能创业

ZAKER新闻
2026-11-20 12:36:46
3-0、2-0、2-0!U17世界杯第首日:亚洲队集体爆发 中国队爆冷?

3-0、2-0、2-0!U17世界杯第首日:亚洲队集体爆发 中国队爆冷?

大秦壁虎白话体育
2026-11-20 08:16:29
美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

美国下月举办G20峰会期间,是否会举行第二次中俄美三国元首会晤,外交部回应

政知新媒体
2026-11-20 15:25:01
湖南“淫魔”李金标:10年祸害17名留守妇女,最大已经70岁

湖南“淫魔”李金标:10年祸害17名留守妇女,最大已经70岁

悬疑故事屋
2026-11-20 14:25:26
中国最公平的一件事,是亏钱

中国最公平的一件事,是亏钱

小星球探索
2026-11-20 14:50:05
七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

七万狂跌至两万八!珠海横琴神话破灭,澳门炒客排队断供逃亡

珠三角港
2026-11-20 10:44:17
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
泰钽700月销仅68台 别把消费者当傻子了

泰钽700月销仅68台 别把消费者当傻子了

汽车天涯
2026-11-18 15:26:37
APCE上的温情一幕,让人好感动!

APCE上的温情一幕,让人好感动!

低调看天下
2026-11-20 15:46:04
没想到,峰会结束仅1天,中国就因三个“土特产”在全球火出圈

没想到,峰会结束仅1天,中国就因三个“土特产”在全球火出圈

墨兰史书
2026-11-20 22:10:04
《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

《华尔街日报》|马斯克成为中期选举后最新一位向民主党示好的科技大佬

一半杯
2026-11-20 14:12:41
人民日报点名曹德旺,释放2大信号,转移资产跑路传闻早有真相

人民日报点名曹德旺,释放2大信号,转移资产跑路传闻早有真相

爱看剧的阿峰
2026-11-20 10:41:29
旅行者1号永远停留在了前天!

旅行者1号永远停留在了前天!

故事终将光明磊落
2026-11-20 14:49:55
大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

大家发现没,西班牙和葡萄牙是欧洲最怪的邻居:明明人口5:1,面积5:1,实力也是5:1,为啥西班牙不拿下葡萄牙?

言过于诚
2026-11-20 00:01:07
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
西班牙U17队5-0中国男足U17队,赛后评分:西班牙10号排第一

西班牙U17队5-0中国男足U17队,赛后评分:西班牙10号排第一

侧身凌空斩
2026-11-20 23:54:16
斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

斯坦丘发文感谢大连英博球迷:希望你们能理解并尊重我的决定

懂球帝
2026-11-20 20:36:29
内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

内罗毕恐袭一战封神,一条牛仔裤,为何成特战标配装备

装甲铲史官
2026-11-20 10:35:11
2026-11-21 02:12:49
智东西 incentive-icons
智东西
智东西,AI产业新媒体,专注报道人工智能的前沿技术发展,和技术应用带来的千行百业产业变革。
12987文章数 117196关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

健康
房产
教育
时尚
家居

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

6.6亿!海口卖地!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版