地平线机器人实验室在11月18日发布原生视频几何基础模型LoFT(Looped Foundation Transformer for Video Geometry)。这个模型要做的事很具体:从RGB视频中联合预测相机位姿、内参及逐帧深度,把场景的三维结构恢复出来,为机器人空间感知、环境理解与具身学习提供几何基础。
![]()
支撑这套能力的是双循环Transformer架构。官方称,LoFT原生面向连续视频建模,把跨帧视觉信息聚合与相机状态迭代优化放在一起,用来挖掘视频中的时序关联与多视角几何信息。
两个循环分工明确:
- 第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;
- 第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。
模型再结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。
训练规模上,团队搭建了统一的三维重建数据处理与训练平台,约297万条有效训练序列、9.62亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。
评测环节,研究团队在SpatialBench、ClassicBench和VRBench三套评测体系中,将LoFT与VGGT-Ω、DA3-Giant等代表性模型比较。三套体系的覆盖面各有侧重:SpatialBench覆盖12个数据集、98个连续视频场景;ClassicBench整合7个经典视频重建基准;VRBench涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT在多项深度估计指标上达到SoTA。
应用侧,官方称LoFT可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.