网易首页 > 网易号 > 正文 申请入驻

李飞飞发布全新世界模型,单GPU就能跑!

0
分享至

时令 发自 凹非寺
量子位 | 公众号 QbitAI

李飞飞的世界模型创业,最新成果来了!

刚刚,教母亲自宣布对外推出全新模型RTFM(A Real-Time Frame Model),不仅具备实时运行、持久性和3D一致性,更关键的是——

单张H100 GPU就能跑。

此外,RTFM的设计遵循三大核心原则:

效率:仅需单张H100 GPU,RTFM便能以交互级帧率实时完成推理运算。

可扩展性:该架构具备随数据量与算力增长而持续扩展的能力。它通过端到端的通用架构从海量视频数据中自主学习,无需依赖显式3D表征即可构建三维世界模型。

持久性:用户可无限时长与RTFM交互,所有场景将永久留存。该系统构建的持久化3D世界不会因视角转换而消失。

下面具体来看。

世界模型需要大量计算资源

强大的世界模型能够实时重建、生成并模拟具有持久性、可交互且物理精确的世界。这类模型将彻底改变从媒体到机器人技术等各行各业。

过去一年,生成式视频建模的进展已成功应用于生成式世界建模领域。

随着技术发展,一个事实愈发清晰:生成式世界模型对算力的需求将远超当今的大型语言模型。

若直接套用现有视频架构,生成60帧的4K交互视频流每秒需产生超过10万个token(约等于《弗兰肯斯坦》或首部《哈利·波特》的篇幅)。

而要维持一小时以上的持续交互,需处理的上下文token更将突破1亿大关。基于当前计算基础设施,这既不可行也不具备经济性。

李飞飞团队深信“惨痛教训”揭示的规律:

  • 那些能随算力增长优雅扩展的简洁方法终将在AI领域占据主导,因为它们能享受数十年来推动技术发展的算力成本指数级下降红利。生成式世界模型正处在绝佳位置,必将从持续降低的算力成本中获益。

这也就引出一个关键问题:生成式世界模型是否会被当前硬件条件所限制?能否现在就预览这项技术的雏形?

于是,李飞飞团队设定了一个明确目标:设计一款足够高效、可立即部署,并能随算力提升持续扩展的生成式世界模型。

他们的目的是打造仅需单张H100 GPU即可驱动的模型,在保持交互帧率的同时,确保虚拟世界永不消散。实现这些技术指标,将让他们提前窥见未来——在当下硬件上体验明日模型可能达到的高度。

这一目标深刻影响着他们从任务设定到模型架构的整个系统设计。通过精心优化推理堆栈的每个环节,融合架构设计、模型蒸馏与推理优化的前沿突破,他们致力于在当今硬件上呈现对未来模型最高保真度预览。

世界模型作为学习渲染器

传统的3D图形管线采用显式3D表征(如三角网格、高斯泼溅)构建世界模型,再通过渲染生成2D图像。这些管线依赖人工设计的数据结构与算法来模拟3D几何、材质、光照、阴影及反射等效果。

数十年来,这类方法始终是计算机图形学领域的中流砥柱,但其难以随数据量与算力增长实现线性扩展。

RTFM则另辟蹊径。基于生成式视频建模的最新突破,研究团队通过训练单一神经网络,输入场景的单张或多张2D图像,即可从全新视角生成该场景的2D图像,全程无需构建任何显式3D表征。

RTFM还采用作用于帧序列的自回归扩散变换器架构,通过海量视频数据进行端到端训练,实现基于历史帧的后续帧预测。

RTFM 可以被视为一种可学习的渲染器(learned renderer)。它首先将输入的图像帧转换为神经网络中的激活(即KV cache),这些激活以隐式方式表示整个世界,在生成新帧的过程中,网络通过注意力机制从这种表示中读取信息,从而根据输入视角生成与之保持一致的世界新视图。

从输入视图转换为世界表示,以及再从该表示中渲染新帧的机制,并不是通过手工设计的,而是通过端到端的数据训练自动学得的。

RTFM只需在训练过程中观察到这些现象,就能够学会建模诸如反射、阴影等复杂效果。

可以说,RTFM模糊了“重建”(在已有视角之间进行插值)与“生成”(创造输入视角中不可见的新内容)之间的界限,而这两者在计算机视觉中历史上一直被视为两个独立的问题。

当RTFM被提供大量输入视角时,由于任务约束更强,它更倾向于执行重建;当输入视角较少时,它则被迫进行超出已有视角的外推生成。

将姿态帧作为空间记忆

现实世界的一个关键特性是持久性(persistence):当你移开视线时,世界不会消失或完全改变,无论你离开多长时间,你总是可以回到之前去过的地方。

这对自回归帧模型来说一直是一个挑战。世界仅通过二维图像帧被隐式表示,因此,实现持久性要求模型在用户探索世界的过程中,对不断增长的帧集合进行推理。这意味着每生成一帧的成本都比前一帧更高,因此模型对世界的记忆实际上受到其计算资源预算的限制。

RTFM通过将每一帧建模为在三维空间中具有一个姿态(位置和方向)来规避这一问题。他们通过向模型提供待生成帧的姿态来生成新帧。

模型对世界的记忆(包含在其帧中)具有空间结构。它将带有姿态的帧作为空间记忆使用。这为模型提供了一个弱先验——即它所建模的世界是三维欧几里得空间——而无需强制模型显式预测该世界中物体的三维几何形状。

RTFM的空间记忆使得持久性不受限制。在生成新帧时,他们会从已姿态帧的空间记忆中检索附近帧,以为模型构建一个定制的上下文。

团队将这一技术称为上下文切换(context juggling):模型在不同空间区域生成内容时会使用不同的上下文帧。这使得RTFM能够在长时间交互中保持对大型世界的持久记忆,而无需对不断增长的帧集合进行推理。

最后,该模型即日起以预览版形式开放体验,现在就可以试起来了…

试完欢迎回来补个反馈评论哦,笔芯~

参考链接:
[1]https://x.com/drfeifei/status/1978840835341914164
[2]https://x.com/theworldlabs/status/1978839175320186988
[3]https://www.worldlabs.ai/blog/rtfm

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
何涛任西南医科大学党委书记

何涛任西南医科大学党委书记

闪电新闻
2026-11-21 00:02:44
梦回世界杯?欧国联8强对阵:西班牙vs法国、挪威vs英格兰

梦回世界杯?欧国联8强对阵:西班牙vs法国、挪威vs英格兰

懂球帝
2026-11-20 19:43:16
51票反对48票赞成!特朗普刚从中国回美 就收到一张烫手的延期通知

51票反对48票赞成!特朗普刚从中国回美 就收到一张烫手的延期通知

去山野间追风
2026-11-20 21:33:02
女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

女主术后不能同房,找女人帮老公泄火,保姆半推半就:一次五百!

第7情感
2025-07-31 11:41:37
美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

美国下届大选格局渐朗,万斯有可能是下届总统:如果他顺利执掌白宫,中国将成为大国博弈的重心

磊子讲史
2026-11-03 16:23:26
2年721万美金!投篮命中率联盟第1!NBA最励志中锋诞生

2年721万美金!投篮命中率联盟第1!NBA最励志中锋诞生

微评体育圈
2026-11-20 00:10:05
“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

“格力电器被列为被执行人,执行标的150元”,格力电器回应:此事源于格力起诉义乌商家在网上违规售卖格力售后工作服的商标侵权案件

政知新媒体
2026-11-20 10:08:40
103度电池!吉利新车官宣,11月27日正式上市

103度电池!吉利新车官宣,11月27日正式上市

科技阿维
2026-11-20 22:36:20
铜价:大家做好最坏预期,不出意外,下周或将呈现这种走向

铜价:大家做好最坏预期,不出意外,下周或将呈现这种走向

坠入二次元的海洋
2026-11-21 01:07:25
高中三年,坚持到什么程度才能冲上600分?教了那么多年书,才敢讲几句实话!

高中三年,坚持到什么程度才能冲上600分?教了那么多年书,才敢讲几句实话!

好爸育儿
2026-11-20 22:20:04
92-90大逆转!上海18分翻盘四川 崔晓龙7投全中,赛后一席话很实在

92-90大逆转!上海18分翻盘四川 崔晓龙7投全中,赛后一席话很实在

宝哥精彩赛事
2026-11-21 00:52:18
文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

文班亚马上演跳投式扣篮,多角度还原“史上距离最短跳投”

极目新闻
2026-11-20 16:54:29
91%的AI PC购买者不再以AI为首要购机理由

91%的AI PC购买者不再以AI为首要购机理由

IT之家
2026-11-20 21:51:03
俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

俄罗斯可能要对法国下手了!因为俄罗斯确认了一件事,那就是如今的法国,成为了冲突的参与方!

扶苏聊历史
2026-11-19 18:17:35
距榜首只差1分,狼队为何还被认为没踢出全部潜力?

距榜首只差1分,狼队为何还被认为没踢出全部潜力?

快乐加载中21
2026-11-21 02:12:05
离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

离谱!哈儿毛血旺再度涨价,卖到 6666 元一份,探店女博主当场被惊到

川渝视觉
2026-11-17 19:57:30
看完U17国足0-5西班牙,球迷看清四个事实:差距太大+裁判太黑了

看完U17国足0-5西班牙,球迷看清四个事实:差距太大+裁判太黑了

球场新视角1号
2026-11-21 00:01:21
主要股指均已全面进入熊市

主要股指均已全面进入熊市

边际财经实验室
2026-11-20 20:07:15
特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

特朗普公开表示:中俄美三国元首会晤,如果满分是10分,那我能给它打12分,一切都非常顺利,我们与中俄建立了非常棒的关系

吉刻新闻
2026-11-20 09:43:17
“骑行30分钟收费15元”,哈啰被网友吐槽“单车刺客”,公司回应:是新车型,可变速,收费标准与普通单车不同

“骑行30分钟收费15元”,哈啰被网友吐槽“单车刺客”,公司回应:是新车型,可变速,收费标准与普通单车不同

南方都市报
2026-11-19 08:30:07
2026-11-21 02:20:49
量子位 incentive-icons
量子位
追踪人工智能动态
13705文章数 176601关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
游戏
家居
公开课
军事航空

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

发现黄仁勋实在挑不出毛病后,皮衣侠的背锅梗图开始席卷全球了

家居要闻

2026建博会(广州) 公装联探展交流活动

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

沙特首都第一高楼遭袭:炮弹从天而降

无障碍浏览 进入关怀版