网易首页 > 网易号 > 正文 申请入驻

地平线发布 LoFT 原生视频几何基础模型,多项指标达到 SoTA

0
分享至

11月19日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。


官方称,LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。


从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。


模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。


官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。


评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT 在多项深度估计指标上达到 SoTA。


在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
默克尔公开回应:当年若不与普京谈判,如今乌克兰或将不复存在

默克尔公开回应:当年若不与普京谈判,如今乌克兰或将不复存在

流史岁月
2026-11-18 19:15:04
孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

韩小娱
2026-11-19 15:05:22
你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

你闻过最难闻的味道是啥?网友:从那之后,再也不敢随便约了

夜深爱杂谈
2026-11-03 18:56:01
女童彤彤被生父女友杀害案一审宣判 更多细节披露:多人称被告人散养孩子,其认为“只要小孩子不哭不闹”即可

女童彤彤被生父女友杀害案一审宣判 更多细节披露:多人称被告人散养孩子,其认为“只要小孩子不哭不闹”即可

红星新闻
2026-11-18 20:58:26
更年期与性生活:医学给出的解决方案

更年期与性生活:医学给出的解决方案

精彩分享快乐
2026-11-19 21:00:04
姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

姑娘,出去玩也要注意下穿着,旁边大爷看了直摇头,好尴尬

舞指飞扬
2026-11-13 07:42:15
湖人马刺皆输球,火箭队坐收渔利!大胜步行者,距榜首仅1个胜场

湖人马刺皆输球,火箭队坐收渔利!大胜步行者,距榜首仅1个胜场

熊哥爱篮球
2026-11-19 20:33:18
黄仁勋离任,英伟达取消订单,连锁反应来了……

黄仁勋离任,英伟达取消订单,连锁反应来了……

大厂财经社
2026-11-19 17:32:36
美股三大期指,快速拉升

美股三大期指,快速拉升

新浪财经
2026-11-19 15:27:51
南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

南华寺百岁高僧:人死后基本都投身畜生道,活人进入轮回永不超生

纸鸢奇谭
2025-01-17 14:30:03
NBA新秀榜:伦德伯格居首,布泽尔升至第2,阿卡夫第3

NBA新秀榜:伦德伯格居首,布泽尔升至第2,阿卡夫第3

懂球帝
2026-11-19 08:05:00
沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

沈阳新娘远嫁杭州,娘家30口人自驾送亲,新郎只愿付当天住宿费

兰姐说故事
2025-08-21 20:05:04
湿凉凸显!冷空气携阴雨继续影响广东 广州明天最高温仅15℃

湿凉凸显!冷空气携阴雨继续影响广东 广州明天最高温仅15℃

北青网-北京青年报
2026-11-19 14:55:01
伦纳德来了!76人或送走恩比德,小卡詹姆斯联手夺冠

伦纳德来了!76人或送走恩比德,小卡詹姆斯联手夺冠

湖人侃球师
2026-11-19 10:02:20
胜任了,以色列宣布了!

胜任了,以色列宣布了!

故事终将光明磊落
2026-11-18 16:01:07
跑半马猝死的25岁女学霸 害死她的不是跑步,是不拼命就不配活着

跑半马猝死的25岁女学霸 害死她的不是跑步,是不拼命就不配活着

墨言执笔
2026-10-16 17:29:14
乒坛大调整!WTT3位高层接连辞职后,樊振东或将有希望回归国乒?

乒坛大调整!WTT3位高层接连辞职后,樊振东或将有希望回归国乒?

小武侃风云
2026-11-19 21:03:38
APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

APEC全家福惊现"最不受欢迎的人",零会晤背后藏着什么?

三周檀的鲲
2026-11-19 19:55:46
跑得起马拉松,买不起照片,这就是跑者的尴尬

跑得起马拉松,买不起照片,这就是跑者的尴尬

跑者排球视角
2026-11-19 09:11:28
铁饭碗碎了!很多央国企的二三级子公司,降薪裁员比私企还严重!

铁饭碗碎了!很多央国企的二三级子公司,降薪裁员比私企还严重!

细说职场
2026-11-19 16:56:03
2026-11-19 22:11:00
DoNews incentive-icons
DoNews
不局限于对互联网行业的追踪与探索,更要向未来、向未知的方向迈进。
110662文章数 26968关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
家居
旅游
手机
军事航空

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

家居要闻

2026建博会(广州) 公装联探展交流活动

旅游要闻

青岛冬日赏鸥地图|沿着海岸线,赴一场海鸥之约

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

军事要闻

美军在中东再成三航母之势

无障碍浏览 进入关怀版