网易首页 > 网易号 > 正文 申请入驻

地平线发布 LoFT 原生视频几何基础模型,让机器人更好感知三维空间

0
分享至

来源:环球网

【环球网科技综合报道】11月18日,地平线机器人实验室发布原生视频几何基础模型 LoFT(Looped Foundation Transformer for Video Geometry)。该模型能够从普通 RGB 视频中估计相机位置、朝向及场景深度,恢复视频中的三维空间结构,为机器人空间感知、环境理解和具身学习提供基础技术支撑。这也是地平线持续布局物理 AI 基础研究的一项新进展。

让机器人理解三维空间,是其走向真实环境、自主完成复杂任务的重要前提。 机器人不仅需要识别眼前的物体,还需要判断物体的位置、距离及其与周围环境的空间关系。如何从连续视频中提取这些空间信息,是具身智能领域的重要研究课题。

针对这一问题,LoFT 将视频时序建模与三维几何学习相结合,采用双循环 Transformer 架构。一组循环结构负责整合不同视频帧中的视觉信息,另一组则持续更新相机状态,使模型能够利用视频中不断变化的视角,逐步恢复更准确的三维场景结构。整个过程仅需输入 RGB 视频,无需额外提供深度或相机位姿信息。为支撑模型训练,地平线机器人实验室构建了统一的三维重建数据处理与训练平台,涵盖约297万条有效训练序列、9.62亿帧图像记录,覆盖真实与仿真、动态与静态等多种场景,为模型学习不同环境下的三维几何特征提供了数据基础。


在性能评测方面,LoFT 在 SpatialBench、ClassicBench 和 VRBench 三套评测体系中的多项深度估计指标上取得领先表现,在相机位姿与轨迹恢复方面也展现出具有竞争力的性能。相关实验与案例展示了模型在机器人第一人称视角、动态街道、室内环境及开放场景中的三维重建能力,包括对快速运动物体、动态车辆以及复杂场景细节的几何恢复。这些能力有望为机器人理解真实环境提供新的技术支撑。例如,在自主移动与环境探索中,三维空间信息可以辅助机器人建立环境地图、判断空间位置与障碍物分布;在物体操作中,几何信息也可为物体定位、空间关系理解和动作规划提供参考。未来,相关能力还有望与视觉语言模型、世界模型和机器人策略学习进一步结合。

LoFT 的发布也是地平线机器人实验室持续开展具身智能基础研究的一部分。此前,团队已推出具身智能仿真数据引擎 EmbodiedGen、通用操作基座模型 HoloBrain 和人形机器人全身运动控制模型 HoloMotion,并开源 RoboOrchard 机器人学习基础设施。这些研究分别围绕数据生成、环境感知、机器人操作和运动控制等关键问题展开,逐步形成覆盖具身智能多个技术环节的研究体系。

从智能驾驶到更广泛的机器人应用,环境感知、决策与控制始终是智能系统需要解决的核心问题。地平线创始人兼 CEO 余凯此前曾在公开演讲中表示,公司创立之初便着眼于未来机器人无处不在的时代,希望为机器人提供智能计算平台。地平线在智能驾驶领域积累的算法研发、软硬件协同与工程实践,也为探索更多机器人形态提供了技术经验。面向未来,地平线机器人实验室将继续探索三维重建与视觉生成的统一建模、大规模视频自监督学习及通用空间表征,并推动相关技术与空间记忆、世界模型和机器人策略学习相结合,在自主导航、灵巧操作等真实任务中持续验证和完善相关能力,推动物理 AI 基础研究向实际应用延伸。(青山)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

邳州市人大常委会党组成员、四级调研员、邳州市总工会主席张莹接受纪律审查和监察调查

扬子晚报
2026-11-20 15:04:57
75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

75岁张纪中的妻子回应会不会改嫁,称“我老公再活30年,我75岁了,嫁给谁呀”

韩小娱
2026-11-20 16:45:15
男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

男子让好友睡自己妻子,遭好友拒绝,愤怒下将好友妻子和娃杀死

夜话奇谭
2026-11-20 14:15:49
高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

高市早苗在深圳举行的记者会上就涉华问题表态,外交部:对日方而言,当前紧迫的是在台湾问题上尽快纠正错误言行

政知新媒体
2026-11-20 15:26:05
1-3!C罗破门又错失点球,利雅得胜利强强对话被逆转,6连胜终结

1-3!C罗破门又错失点球,利雅得胜利强强对话被逆转,6连胜终结

我的护球最独特
2026-11-21 03:30:16
特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

特朗普称普京是“朋友” 波兰总理讽刺回应:上帝,别让我们交到这样的朋友

砚底沉香
2026-11-20 09:44:10
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

比恒大更惊人,中国第二大民企轰然倒下,负债7500亿,创始人落网

墨策史
2026-11-14 02:15:05
这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

这就是号称让CBA大结局的外援?22投20分,自家球迷直言受不了

弄月公子
2026-11-20 05:35:06
阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

阿里巴巴因隐瞒与黄仁勋外遇对象业务关系遭股东起诉

互联网大观
2026-11-20 13:49:45
APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

APEC三方会晤刚落幕,返程飞机上川普变卦,大国棋局迎来惊天变化

战友老邓
2026-11-20 12:37:32
中国最公平的一件事,是亏钱

中国最公平的一件事,是亏钱

小星球探索
2026-11-20 14:50:05
退役飞机发动机,被马斯克“返聘”了

退役飞机发动机,被马斯克“返聘”了

凤凰网财经
2026-11-20 01:38:23
高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

高市早苗飞离中国,中方铺红毯、礼仗队送别,日本认为“中方失礼”,根本站不住脚

蓝星杂谈
2026-11-20 13:04:01
A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

A股又是大跌,原因不找了!黄金崩跌,峰哥狂买:最对不起就是各位金友

金石随笔
2026-11-20 12:39:37
特朗普回美下飞机前,在空军一号上与人激烈争吵!

特朗普回美下飞机前,在空军一号上与人激烈争吵!

胜研集
2026-11-21 01:33:17
赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

赖清德曾表示:大陆将台湾称为中华人民共和国台湾省、把台湾说成中国的一部分,而台湾一直是中国的一个省,这种说法从根上就站不住脚

人生录
2026-11-20 00:15:04
刚刚,英伟达收到传票!

刚刚,英伟达收到传票!

EETOP半导体社区
2026-11-20 13:41:07
黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

黄仁勋据称将创办新的半导体公司 或将筹资500亿美元用于创业

财联社
2026-11-20 16:09:05
继黄仁勋、陈立武之后,轮到AMD总裁苏姿丰了?

继黄仁勋、陈立武之后,轮到AMD总裁苏姿丰了?

穿透
2026-11-20 18:44:35
2026-11-21 04:24:49
环球网资讯 incentive-icons
环球网资讯
环球网,了解世界,融入世界
1463659文章数 2741339关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

头条要闻

历时14小时特朗普返回美国 刚下飞机就发布"重大预告"

体育要闻

脚步未停!西班牙摩托车手赤脚徒步入境中国

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
艺术
游戏
旅游
家居

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

他把时光刻成纹理,把幻想拍成现实:墨西哥天才摄影师的画面,看完像做了一场醒不来的梦

《GTA6》PS5版被曝频繁闪退 液金散热或是元凶

旅游要闻

登大报恩塔找毕业设计灵感  “去看塔”青年共创营里长出文创新点子!

家居要闻

2026建博会(广州) 公装联探展交流活动

无障碍浏览 进入关怀版