网易首页 > 网易号 > 正文 申请入驻

地平线发布LoFT原生视频几何基础模型,多项指标达到SoTA

0
分享至

来源:市场资讯

(来源:IT之家)

IT之家 11 月 19 日消息,11 月 18 日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。据介绍,该模型能够从 RGB 视频中联合预测相机位姿、内参及逐帧深度,恢复场景三维结构,为机器人空间感知、环境理解与具身学习提供几何基础。

官方称,LoFT 原生面向连续视频建模,采用双循环 Transformer 架构,将跨帧视觉信息聚合与相机状态迭代优化相结合,用于挖掘视频中的时序关联与多视角几何信息。


IT之家从官方公布信息获悉,第一循环通过局部与全局时序注意力聚合跨帧信息,逐步扩大时间感受范围,利用相邻帧的连续性与跨视角的几何关联;第二循环显式更新相机位姿与内参,并将相机状态反馈至下一轮特征计算。

模型结合双循环特征预测逐帧深度及其置信度,恢复场景的可见三维结构。


▲ 原生双循环 Transformer:LB1 通用几何特征提取,LB2 实现 Coarse2Fine 几何与姿态估计

官方表示,为支撑规模化训练,团队搭建了统一的三维重建数据处理与训练平台,约 297 万条有效训练序列、9.62 亿帧图像记录,覆盖仿真与真实、动态与静态等多样化场景,并通过统一的数据清洗、质量筛选和采样策略提供数据基础。


▲ 高频动态场景下的精准空间感知


▲ 实现文字级精细几何重建


▲ 驾驶场景中对动态车辆的鲁棒视觉重建


▲ 复杂生活场景高精度重建

评测方面,研究团队在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中将 LoFT 与 VGGT-Ω、DA3-Giant 等代表性模型比较。其中 SpatialBench 覆盖 12 个数据集、98 个连续视频场景;ClassicBench 整合 7 个经典视频重建基准;VRBench 涵盖机器人、自动驾驶及通用视频场景。据官方公布信息,LoFT 在多项深度估计指标上达到 SoTA。


▲ 通用 3D 空间重建评测 SpatialBench,多项指标达到 SoTA


▲ 在经典重建 ClassicBench 和连续视频重建 VRBench 中达到 SoTA 效果

在应用侧,官方称 LoFT 可利用连续视频中的时序与多视角几何信息,恢复场景三维结构与相机运动轨迹,覆盖机器人第一人称视频、动态街道、室内操作及开放环境探索等场景。

参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
X欲最强星座,没有之一!

X欲最强星座,没有之一!

同道大叔
2026-11-21 00:24:15
特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

特朗普临走撂下句话,我越想越不对劲:这哪是夸中国,分明是报价

天光破云来
2026-11-20 13:12:25
两代台湾媒体人来到深圳,一位感动不已,另一位开始替台北着急

两代台湾媒体人来到深圳,一位感动不已,另一位开始替台北着急

芳芳历史烩
2026-11-21 10:24:39
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
恭喜国乒,27岁美女国手回归,助孙颖莎备战张本美和,已抵达成都

恭喜国乒,27岁美女国手回归,助孙颖莎备战张本美和,已抵达成都

懂球社
2026-11-21 11:20:36
越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

越南接任APEC主办国:日本为什么希望得到电力稀土高铁筹码?

黄埔少侠
2026-11-20 18:48:11
国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

国务院:由省财政统筹发放中小学教师工资,设立“教师工资专户”

郭爱华追问教育
2026-11-15 06:10:02
英国超市给牛肉上锁,还配有警报装置;脱欧公投十年后,英国又向欧盟靠拢,伯纳姆:过去十年,英国失去的比得到的更多

英国超市给牛肉上锁,还配有警报装置;脱欧公投十年后,英国又向欧盟靠拢,伯纳姆:过去十年,英国失去的比得到的更多

扬子晚报
2026-11-20 16:16:48
印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

印度网红来重庆旅游,痛批中国人吃牛肉的行为,完全不尊重印度文化

新游戏大妹子
2026-11-20 13:07:07
刹车踏板踩断都快两个月了,调查结果也该出了吧

刹车踏板踩断都快两个月了,调查结果也该出了吧

神不隆通
2026-11-21 10:49:57
WTT球星赛战报!女单4强赛对阵,国乒小将0-3完败,桥本强势零封

WTT球星赛战报!女单4强赛对阵,国乒小将0-3完败,桥本强势零封

南海浪花
2026-11-21 00:33:19
擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

擦边自拍、霸凌同事、媒体点名?顶流女星一周三条丑闻,件件离谱

孤城落日
2026-11-21 10:47:05
37岁哈登狂砍51分!NBA老将50+有多难?科比最夸张,詹姆斯56分上榜

37岁哈登狂砍51分!NBA老将50+有多难?科比最夸张,詹姆斯56分上榜

篮球圈里的那些事
2026-11-21 17:28:28
软银孙正义曾考虑1万亿美元收购SK海力士,现已暂缓

软银孙正义曾考虑1万亿美元收购SK海力士,现已暂缓

界面新闻
2026-11-21 10:40:18
CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

CBA最新消息!上海男篮或裁掉拉塞尔,浙江广厦留用威尔斯

体坛瞎白话
2026-11-21 11:08:02
效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

效率太高了!马斯克上午深圳开会,下午飞上海慰问员工,“大合照” 火了,2 个安保人员也能站第一排

起点财经
2026-11-21 11:03:28
CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

体育大学僧
2026-11-21 11:40:50
深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

深圳街头贴身护墨西哥总统的女警徐瑾,网传年薪百万其实是误会

娱乐的硬糖吖
2026-11-20 05:28:23
王靖任上海松江区委书记

王靖任上海松江区委书记

澎湃新闻
2026-11-21 14:00:41
一路走好!悲讯接连传来,已有两位名人被曝去世,个个让人惋惜

一路走好!悲讯接连传来,已有两位名人被曝去世,个个让人惋惜

林轻吟
2026-11-21 11:33:02
2026-11-21 17:39:00
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5578641文章数 10051关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

中国男子在澳遇袭被砍断两指 25万元医药费被朋友卷走

头条要闻

中国男子在澳遇袭被砍断两指 25万元医药费被朋友卷走

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

健康
本地
手机
房产
游戏

医生眼里"很伤腰"的椅子,很多人天天坐

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

手机要闻

PureView品牌或将重返市场 HMD新机曝光主打影像旗舰路线

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

《GTA6》女主徒手掀翻汽车!力量太夸张遭吐槽

无障碍浏览 进入关怀版