网易首页 > 网易号 > 正文 申请入驻

李飞飞发布全球首个多模态世界模型Atlas!几张照片还原3D空间

0
分享至

9月2日,李飞飞创立的World Labs正式发布新一代世界模型Atlas。官方将其定义为“全球首个多模态世界模型”,slogan直接亮出核心能力:建模世界,移动相机,模拟空间和时间。

Atlas不是一个只能生成互动视频的模型。它能以像素级相机控制生成图像和视频帧,并完成3D重建,同时理解空间与时间。李飞飞本人将其置顶,称“Atlas为从视觉特效到机器人的众多应用场景打开了大门”。英伟达机器人主管Jim Fan也来捧场,评价这是机器人领域“Real-to-Sim的一大步”。

具体能力拆成四块。相机控制生成:仅需一张图片,即可生成具有像素级相机控制的图片和视频,最高输出1分钟、1440p。空间重建:基于一张到数十张输入图像,既可生成新视角帧,也能输出显式3D表示,效果超过当前专业3D重建模型。时空模拟:输入视频即可转换观察视角,支持机器人Real-to-Sim工作流。图像生成:根据文本生成图片和360°全景图。

技术底座是一套多模态自回归扩散Transformer。文本、图像、视频、相机位姿、3D深度图等输入都被锚定在三维空间中形成空间上下文,Atlas再据此生成多模态输出。官方博客强调,这套架构融合了大语言模型和视频模型的思想:既能利用KV Cache、缓存感知路由等LLM推理优化,也保留了扩散模型的采样蒸馏和引导算法。

定量评估显示,在相机控制生成任务中,Atlas优于SOTA视频模型,且相机轨迹越复杂优势越大。盲测对比中,Atlas面对MiniMax H3胜率75%,面对Gemini Omni Flash胜率81%,面对FLUX 3胜率93%,面对Seedance 2.5胜率94%。稀疏视角3D重建方面,Atlas在DTU、ETH3D、ScanNet等数据集上取得25.3的误差分数,优于Pi3X的28.7和Depth Anything 3的39.3。

喂给它几张照片,它就能生成逼真的RGB和深度数据,机器人可以在更多不同的模拟空间中训练和测试。按官方说法,从真实照片到3D空间,再到机器人传感器视图和可变化的模拟环境,这条路径已经打通。Atlas未来将成为World Labs旗下Marble等产品的底层模型。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
54%民调断层第一,弹劾门槛却降到14票,莎拉越受欢迎,就越危险

54%民调断层第一,弹劾门槛却降到14票,莎拉越受欢迎,就越危险

健身狂人
2026-10-19 07:23:42
属蛇人,10月18-28日家里有人离开,别哭!是老天帮你清除负担

属蛇人,10月18-28日家里有人离开,别哭!是老天帮你清除负担

阿天爱旅行
2026-10-18 18:42:24
iPhone Duo首发日不卖现货!苹果要求零售员工劝退无预约顾客

iPhone Duo首发日不卖现货!苹果要求零售员工劝退无预约顾客

快科技
2026-10-19 09:00:07
21%的出口增速、1.1%的消费增速,没有内需,外需也走不远

21%的出口增速、1.1%的消费增速,没有内需,外需也走不远

子业一说财经
2026-10-18 11:08:38
阿塞拜疆独立后,为什么没有回归祖国呢?原因主要是三点

阿塞拜疆独立后,为什么没有回归祖国呢?原因主要是三点

老达子
2026-10-16 06:20:04
女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

女主播在缅甸视频流出:状态涣散,眼神无助,可惜了这么好的身材

皮蛋儿电影
2026-09-23 10:51:15
郭士强现场见证!2米21国手中锋回归CBA首秀8分3犯攻守两端遭压制

郭士强现场见证!2米21国手中锋回归CBA首秀8分3犯攻守两端遭压制

狼叔评论
2026-10-18 23:28:26
2026乌镇戏剧节,“江郎才尽”的黄磊,让所有人见识到了他的江湖地位

2026乌镇戏剧节,“江郎才尽”的黄磊,让所有人见识到了他的江湖地位

娱乐圈十三太保
2026-10-17 19:44:22
房价很大可能重走1998年老路!所有人一定要提前做好心理准备

房价很大可能重走1998年老路!所有人一定要提前做好心理准备

偷喝一口奶
2026-09-11 08:36:30
在苏州,你可以说独墅湖的房子不好卖,但你不能说独墅湖的房子菜

在苏州,你可以说独墅湖的房子不好卖,但你不能说独墅湖的房子菜

说故事的阿袭
2026-10-19 05:48:41
梅艳芳骨灰疑被寺庙清洁工作人员“阿强”盗走!7月,该男子曾离开海会塔,形迹可疑走入后山树林不知所踪,事发后已离开香港前往东南亚

梅艳芳骨灰疑被寺庙清洁工作人员“阿强”盗走!7月,该男子曾离开海会塔,形迹可疑走入后山树林不知所踪,事发后已离开香港前往东南亚

都市快报橙柿互动
2026-10-18 20:57:27
大型打脸现场!穆里尼奥自相矛盾!皇马双核名不副实

大型打脸现场!穆里尼奥自相矛盾!皇马双核名不副实

澜归序
2026-10-19 08:21:24
67年徐帅怀仁堂拍桌:我不需要你保!毛主席笑:老实人也发火了

67年徐帅怀仁堂拍桌:我不需要你保!毛主席笑:老实人也发火了

旧书卷里的长安
2026-10-18 20:06:08
乌克兰首都基辅响起强烈爆炸声

乌克兰首都基辅响起强烈爆炸声

上观新闻
2026-10-19 06:21:29
“100元牵手拥抱,300元起可身体接触”,记者暗访“搭子”地下服

“100元牵手拥抱,300元起可身体接触”,记者暗访“搭子”地下服

涵豆说娱
2026-10-13 07:47:12
悲剧!信阳23岁程梦圆终于找到,尸体用树杈子捆住,用无人机操作吊下来,14天救援收工

悲剧!信阳23岁程梦圆终于找到,尸体用树杈子捆住,用无人机操作吊下来,14天救援收工

火山詩话
2026-08-10 16:49:19
2块钱一瓶的维生素B2!是糖尿病的“克星”?可惜很多人都不知道

2块钱一瓶的维生素B2!是糖尿病的“克星”?可惜很多人都不知道

医学科普汇
2026-10-18 18:30:12
为什么你的AI输出总是很平庸?问题可能出在这三步

为什么你的AI输出总是很平庸?问题可能出在这三步

字节漫游指南
2026-10-18 02:13:14
凯乐石怎么卖这么贵?

凯乐石怎么卖这么贵?

鹿鸣财经
2026-10-17 11:19:03
打平即夺冠,却0-3被打爆!蓉城5个冠军点全飞,下轮还能稳吗?

打平即夺冠,却0-3被打爆!蓉城5个冠军点全飞,下轮还能稳吗?

宝哥精彩赛事
2026-10-19 08:14:58
2026-10-19 09:36:49
未来图灵 incentive-icons
未来图灵
在这里每个人都能读懂人工智能
1806文章数 2507关注度
往期回顾 全部

科技要闻

王晟:近千亿资金涌入后 具身智能开始退烧

头条要闻

海南一村民称"祖辈百年古树被扣押后遭转赠" 官方通报

头条要闻

海南一村民称"祖辈百年古树被扣押后遭转赠" 官方通报

体育要闻

别在我的地盘夺冠!海港队史首次双杀蓉城

娱乐要闻

郭麒麟被传领证,女方戳破谣言

财经要闻

调查:四川多县用硫磺熏笋出售

汽车要闻

星瑞L PLUS限时售价10.97万元起 开启智混3L时代

态度原创

数码
艺术
亲子
房产
公开课

数码要闻

惠普推出基于高通骁龙C的16" OmniBook 3消费级笔电,起价599.99美元

艺术要闻

不敢信这是画的!比利时大师的女性油画,逼真程度突破认知

亲子要闻

乐高搭建挑战系列《乐高水坝破裂》

房产要闻

利好密集落地+现房好房断档,广州楼市买入窗口,正在倒计时!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版