网易首页 > 网易号 > 正文 申请入驻

ECCV 2026 | VGGT-World将VGGT转化为自回归几何世界模型

0
分享至

VGGT-World 把冻结 VGGT 的中间特征当作世界状态,只训练约0.43B 参数的时序预测模块,用干净目标预测 z-prediction解决高维特征难训练的问题,用两阶段潜空间流强制课程训练抑制自回归误差累积。VGGT-World 在 KITTI 和 Cityscapes 的深度预测上超过对比方法,推理更快,并能直接输出深度和点图。


论文题目:
VGGT-World: Transforming VGGT into an Autoregressive Geometry World Model
论文链接:
https://arxiv.org/abs/2603.12655
项目主页:
https://github.com/SimonSun0810/VGGT-World


一、引言

机器人和自动驾驶不仅要知道“场景现在什么样”,还要预判“接下来怎么变”。VGGT 等几何基础模型能从图像推断相机、深度和点云[1],但只处理已看到的画面;要预测未来,还得学会场景与相机运动的时间规律。常见做法是先生成未来视频,再从中恢复几何。但画面逼真不代表几何正确:首图中,视频世界模型的预测视觉上连贯,几何上却破碎错位。而且 RGB 重建会把大量容量耗在外观细节上。Gen3R[3]在视频生成中引入几何先验,DINO-Foresight[2]直接预测视觉编码器特征,但后者并非为多视图几何设计。

VGGT-World 则直接在几何基础模型的特征空间里预测,空间表达和解码能力现成,只需学习时间变化。难点有两个:VGGT 特征有 1024 维,远比视频 VAE 潜变量难生成;推理时模型要拿自己的预测当历史,训练与推理分布不一致。本文的两项关键设计分别针对这两点。

二、技术贡献

本工作主要贡献如下:

• 提出以冻结几何基础模型特征作为预测状态的世界建模方案,不训练视频 VAE, 不微调 VGGT 主干,直接自回归预测未来几何特征,并用原有解码器输出深度、点图等结果;

• 针对高维潜空间中速度预测难以学稳的问题,采用直接预测干净目标的 z-prediction,并用双流历史条件交互与单流块内细化构建时序流 Transformer;

• 设计教师强制预训练与轨迹一致流强制微调的两阶段课程,让历史条件从真实特征逐步过渡到模型自身的部分去噪结果,缓解暴露偏差。

三、方法介绍 3.1 总体框架

流程分三步:冻结的 VGGT 前部网络把已观测图像编码为几何状态;可训练的时序流 Transformer 基于固定长度历史逐块生成未来特征;最后把真实历史和预测特征拼接,由冻结的后续 VGGT 层和任务头统一解码。监督信号只来自冻结 VGGT 提取的特征,无需深度或点云标注。

3.2 几何状态与层级接口

设输入视频包含 帧图像,第 帧对应的几何状态为:

其中, 是冻结编码器, 是 patch token 数,另有 5 个相机和 register token; 为离散视频时间, 为连续流时间。

几何头需要第 层的多尺度特征,只预测深层状态就无法补回浅层特征,因此作者选择 作为最早的可解码状态,后续层交给冻结网络传播。

3.3 分块自回归预测与固定历史窗口

设已观测 帧,每次预测 帧,未来划分为 块,满足 。第 个目标块与整段未来的分解为:


是预测第 块的历史条件,取自最近的 帧。推理时每生成一块就滑动一次窗口,条件长度保持固定。

3.4 联合解码及未来对当前感知的反馈

预测结束,将真实历史与所有预测块拼接,统一解码:

和 分别为点图和深度。作者希望这些生成的未来上下文能反过来约束当前帧的几何估计,实验也证实了这一点。

3.5 高维特征空间为何采用干净目标预测

本文采用 Rectified Flow [4]式的流匹配,插值路径与速度场为:


其中 为高斯噪声, 为干净状态, 为纯噪声。作者发现,在 1024 维空间里直接训练 v-prediction,结果会长期停留在噪声状态:有效几何状态只占高维空间中一小块结构化子集,各向同性噪声很容易把状态推离这一结构化子集。


图1 高维VGGT特征中的预测方式对比。左为训练信噪比曲线,中为目标特征及图像,右为不同迭代下的特征PCA可视化,z-prediction恢复结构更快

因此网络直接估计干净几何块 。图1中,z-prediction 的信噪比始终更高,可视化中也更快恢复出场景结构。

3.6 双流历史交互与单流块内细化

时序流网络由双流处理器 和单流细化器 组成:

双流模块中,带噪目标块作为 Query,同时关注自身和干净历史条件的 Key, Value,历史不参与加噪。流时间 经 adaLN 注入各模块。记 为经 adaLN 和 调制后的第 层目标特征,则:

单流模块只在目标块内部做自注意力:


实现中双流块和单流块各 8 个:前者吸收历史上下文,后者细化目标块的时空几何。

3.7 第一阶段以真实历史建立基本预测能力

第一阶段用教师强制,以真实历史为条件训练,带权 z-prediction 损失为:


教师强制能学到稳定的几何转换,但测试时历史来自模型自身,误差会逐块放大。

3.8 第二阶段用模型自己的部分去噪轨迹训练

第二阶段让模型在训练中就接触推理时的历史误差:不直接加高斯噪声,而是用模型自身 ODE 生成的中间状态作为扰动,只积分到一半也更省算力。思路与 Diffusion Forcing[5] 相近,但混合条件专为几何潜空间设计。

先在真实历史 下从噪声生成前一块,Euler 求解器只积分到 :

先在真实历史 下从噪声生成前一块,Euler 求解器只积分到 :

再用 将其与真实块 插值,得到下一块的条件:

最后以该混合历史为条件,预测加噪后下一块的干净状态:


其中 控制生成成分的比例, 控制历史的去噪程度, 是目标块的加噪程度。原文式12未带第一阶段的 权重。

微调时 从 0 线性增至 1,逐步提高模型生成历史的比例;即使时,条件也只是部分去噪状态。记生成误差为,混合历史为,误差二阶矩随缩 放,所以过早使用较大的 会破坏第一阶段学到的分布。

四、部分结果展示 4.1 数据集和评测设置

Cityscapes(驾驶深度):2975 段训练、500 段验证,每段 30 帧,16 FPS; 短期预测 3 帧,中期 9 帧。

KITTI(驾驶深度):143 段训练、13 段验证,10 FPS; 短期预测 2 帧,中期 6 帧。

TartanAir(多样 6-DoF 运动下的合成场景几何): 约 70 万帧,沿用 Gen3R 协议按 9:1 划分,对比 1-view 和 2-view 条件。

训练用 AdamW, 学习率 ,权重衰减 0.05, 梯度裁剪阈值 1.0, 单张 RTX Pro 6000 96GB; 两阶段 batch size 分别为 64 和 48, chunk size 为 4, rollout stride 为 1。深度指标为 AbsRel(越低越好)和(越高越好),即与中较大者小于 1.25 的像素比例,和 分别为预测与真实深度,下文以百分数表示。点云评测先用 Umeyama 相似变换对齐,各采样 20000 个点,计算 Accuracy(预测到真值)、Completeness(真值到预测)及二者均值 Chamfer Distance(CD), 均越低越好。

4.2 KITTI 的深度预测


表1 KITTI的短期与中期深度预测结果

相比最强基线 DINO-Foresight, VGGT-World 的短期 AbsRel 从 0.082 降到 0.065(约 −20.7%),中期从 0.115 降到 0.098(约 −14.8%), 分别提高 2.4 和 4.3 个百分点。有意思的是,只复制上一帧深度的 Copy-Last 都胜过两种规模的 Cosmos, 可见把视频模型做大并不会带来更好的几何。DINO-Foresight 还用了真实深度微调,VGGT-World 没用,依然领先。


图2 KITTI短期与中期深度预测。Upper Bound为真实未来图像输入VGGT的结果,作为参考上限

4.3 Cityscapes 的深度预测与课程消融


表2 Cityscapes的短期与中期深度预测及混合比例消融

相比 DINO-Foresight, 短期 AbsRel 下降约 31.6%,中期下降约 7.4%, 分别提高 5.2 和 1.9 个百分点;短期 AbsRel 改善最显著, 提升相对温和。去掉 Forcing 后,短期 AbsRel 从 0.078 回到 0.079, 中期从 0.126 回到 0.131, 分别下降 0.1 和 0.5 个百分点。中期影响更大,符合课程训练针对递归误差的初衷。固定 均不如线性课程, 时退化最明显,说明模型历史的比重应逐步增加。

4.4 TartanAir 的点云预测


表3 TartanAir在不同文本、位姿及输入视图条件下的点云预测结果

在同样不用文本和位姿的条件下,VGGT-World 三项指标都优于 Gen3R: CD 为 2.8451, 相比 1-view Gen3R 的 5.7478 下降约 50.5%,相比 2-view 的 4.4432 下降约 36.0%。Forcing 又使 Acc. 、Comp. 和 CD 分别降低约 4.9%、10.2% 和 7.7%。Gen3R 加上文本和位姿后,1-view 的 Comp. /CD 为 2.5367/2.7809, 好于 VGGT-World 的 4.5297/2.8451。VGGT-World 的长处在于不依赖额外条件,Accuracy 突出。


图3 TartanAir室内外点云预测示例, 列顺序为真实几何、Gen3R和VGGT-World

4.5 预测未来能帮助当前感知吗


表4 TartanAir上引入预测上下文后的几何估计结果

表4显示,预测未来能反过来帮助当前几何感知:Completeness 从 1.2159 降到 1.0646(约 −12.4%),CD 从 1.0416 降到 0.9705(约 −6.8%),Accuracy 从 0.8672 略升到 0.8764。生成的上下文补充了结构线索,代价是少量位置误差。


图4 说明未来上下文并非越多越好:起初完整性提升带动 CD 下降,随着递归误差积累,多余的预测开始引入失真,最优点约在第 7 帧。

4.6 速度与可训练参数规模

每帧生成延迟:Cosmos-12B 9.50 s, Gen3R 6.90 s, VGGT-World 1.90 s。可训练参数分别为 12.0B, 8.8B 和 0.43B, VGGT-World 另有 1.3B 冻结参数。


图5 推理效率与参数占用对比, 左图按生成帧归一化延迟,右图区分可训练与冻结参数

VGGT-World 比 Cosmos-12B 快 5 倍,比 Gen3R 快约 3.6 倍,且只需训练约 4.3 亿参数。

五、总结与展望

VGGT-World 的核心启发是:做几何预测时,世界状态不必是视频潜变量。冻结的几何基础模型已提供空间先验,在其特征空间里学习时间变化即可;z-prediction 解决高维生成难优化,部分去噪历史的渐进混合应对自回归误差。VGGT-World 在驾驶场景深度预测上全面超过基线,无额外条件的点云预测误差大幅下降,适度的预测上下文还能改善当前几何。目前,该模型尚未引入动作条件,无法回答“换一个动作会怎样”。作者计划引入相机位姿和动作条件,让 rollout 更可控;自适应选择预测长度、抑制递归几何漂移也值得探索。

六、思考与讨论

Q:不生成 RGB 视频,VGGT-World 还能被称为世界模型吗?

A:可以。世界模型的核心是预测世界状态的演化,不一定要生成视频。VGGT-World 学习几何特征的转移,能解码出深度、点图和相机,是几何层面的世界模型;代价是纹理、外观等信息不在其输出范围内。

Q:两阶段课程是否已经消除了长期预测误差,未来信息是否总能改善当前感知?

A:没有。课程训练缓解了部分递归误差,但图4中 CD 在第 7 帧后回升;当前感知实验里 Completeness 和 CD 变好,Accuracy 却略降。预测上下文有收益也有误差,关键是选好预测长度。

以下是开放性问题,欢迎读者朋友留言讨论: 如果将 VGGT-World 用于带动作条件的机器人规划,应如何设计一种同时考虑几何不确定性、预测长度和行动风险的评估机制,避免“生成未来改善当前感知”变成错误预测的自我强化?

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红船观察丨王忠林被查,权威声音释放关键信息

红船观察丨王忠林被查,权威声音释放关键信息

红船融媒
2026-11-17 11:36:09
中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

星语者056
2026-11-17 08:46:25
昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

昨晚陪闺蜜去汗蒸,她脱光的瞬间我破防:女人差距不止看脸蛋

皓皓情感说
2026-11-16 07:51:03
“深圳APEC主持人阵容拉满”,央视主持人康辉、王音棋、李京京、张安琪、郑新宇、王茫茫纷纷亮相深圳

“深圳APEC主持人阵容拉满”,央视主持人康辉、王音棋、李京京、张安琪、郑新宇、王茫茫纷纷亮相深圳

都市快报橙柿互动
2026-11-17 13:46:49
西安女大学生被系书记猥亵,不堪折磨上吊自尽,遗书内容曝光

西安女大学生被系书记猥亵,不堪折磨上吊自尽,遗书内容曝光

夜话奇谭
2026-11-17 13:37:52
美国媒体说黄仁勋疯了...

美国媒体说黄仁勋疯了...

新动察
2026-11-16 16:09:57
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
深圳APEC领导人会议前,人民日报、求是、新华社密集发声,一个定调释放三大信号!

深圳APEC领导人会议前,人民日报、求是、新华社密集发声,一个定调释放三大信号!

识局Insight
2026-11-17 12:59:56
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
中核集团原总经理顾军被公诉,曾被批“廉洁底线失守,搞权色交易”

中核集团原总经理顾军被公诉,曾被批“廉洁底线失守,搞权色交易”

界面新闻
2026-11-17 10:24:01
郭德纲“怒了”! 正式委托律师发布声明,具体细节曝光,疑与马志明收义子有关

郭德纲“怒了”! 正式委托律师发布声明,具体细节曝光,疑与马志明收义子有关

裕丰娱间说
2026-11-17 11:34:30
贝林厄姆CK内裤广告炸裂全网!网友:他爸管他,哈哈哈

贝林厄姆CK内裤广告炸裂全网!网友:他爸管他,哈哈哈

品牌新
2026-11-17 09:17:26
勇士惨负鹈鹕吞3连败:伦德博格28+8 费尔斯19+10+10锡安16+6

勇士惨负鹈鹕吞3连败:伦德博格28+8 费尔斯19+10+10锡安16+6

醉卧浮生
2026-11-17 11:29:59
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

二十届五中全会释放用人新风:跳出年龄学历框,不再降格凑班子

户外阿毽
2026-11-17 06:11:58
又轰下43+9+3!抱歉科比:你保持10年的纪录被打破了

又轰下43+9+3!抱歉科比:你保持10年的纪录被打破了

篮球大视野
2026-11-16 15:03:26
外媒:深圳何以成为“奇迹之城”?

外媒:深圳何以成为“奇迹之城”?

中国青年报
2026-11-17 12:48:18
车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

车船税优惠大调整!2027年1月1日起,大部分车主或将受到影响?

触摸史迹
2026-11-17 09:20:45
在登机口抛硬币“祈福”,61岁女子被拘5日!航班因此延误58分钟,湖北机场公安:在机场、停机坪抛硬币非常危险

在登机口抛硬币“祈福”,61岁女子被拘5日!航班因此延误58分钟,湖北机场公安:在机场、停机坪抛硬币非常危险

极目新闻
2026-11-16 21:03:21
广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

广东惠州一男子将攒了18年的红包一次性拆开,从早上7点拆到10点,共拆了3小时,最后清点只有8523元,当事人:之前拆过一些100元的红包

潇湘晨报
2026-11-16 14:40:21
2026-11-17 15:36:49
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2544文章数 597关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

美国"火神"火箭发射失败致40颗卫星损失 美军有点慌了

头条要闻

美国"火神"火箭发射失败致40颗卫星损失 美军有点慌了

体育要闻

从上链接到上领奖台 34岁方博绝非等闲之辈

娱乐要闻

后会友期大瓜:3位女演员被迫换车厢

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

房产
家居
本地
健康
公开课

房产要闻

5381亩之后,三亚绿谷,等一个500强!

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

乌兰察布:以前种土豆,现在种Token

医生眼里"很伤腰"的椅子,很多人天天坐

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版