网易首页 > 网易号 > 正文 申请入驻

RoboTracer让机器人理解复杂空间指令,开放世界也能精确行动

0
分享至

本文的主要作者来自北京航空航天大学、北京大学、北京智源人工智能研究院和中科院自动化研究所。本文的第一作者为北京航空航天大学博士生周恩申,主要研究方向为具身智能和多模态大模型。本文的共一作者兼项目负责人为北京智源研究院研究员迟程。本文的通讯作者为北京航空航天大学教授盛律和北京大学计算机学院研究员、助理教授仉尚航。

我们希望具身机器人真正走进真实世界,尤其走进每个人的家里,帮我们完成浇花、收纳、清洁等日常任务。但家庭环境不像实验室那样干净、单一、可控:物体种类多、摆放杂、随时会变化,这让机器人在三维物理世界中「看懂并做好」变得更难。

想象一下你下班回到家,对家用服务机器人说: 「按从左到右的顺序给每盆花浇水;喷壶要在每朵花上方 1–5 厘米处停住再浇,这样更均匀。」(如下图)

对人来说这很自然,但对机器人来说,难点不在「浇水」本身,而在指令里隐含了大量空间约束:既有定性的(从左到右、在上方),也有定量的(1–5 厘米)。在杂乱的开放世界场景中,让机器人稳定遵循这些约束,哪怕对目前最先进的视觉 - 语言 - 动作模型(VLA)也依然是挑战。

一个直接的突破口是:让视觉 - 语言模型(VLM)生成一条满足这些空间约束的 3D 位置序列 ——空间轨迹(Spatial Trace)。它相当于一座桥梁:既能把「指令在 3D 空间中如何被理解与执行」的过程表达清楚,也能进一步用来指导机器人生成可执行的动作轨迹。但空间轨迹生成本质上非常困难,因为它需要在 3D 场景里进行多步、带真实尺度约束的推理,并且每一步都要同时具备两种关键能力:

  • 3D 空间指代:理解指令中的各种空间关系,并在 3D 场景中准确指代定位相关物体(例如按「从左到右」依次找到每盆花)。
  • 3D 空间度量:理解现实世界的绝对尺度并做计算(例如估计花的物理高度,确定其上方 1–5 厘米对应的具体 3D 位置)。

遗憾的是,现有很多 VLM 工作主要集中在 2D 空间推理或 2D 视觉轨迹生成:一方面往往弱化了轨迹生成最关键的「多步推理」过程,尤其缺少对中间关键对象的显式建模,容易导致结果次优;另一方面输出多停留在 2D 像素坐标,缺乏 3D 指代定位与绝对尺度理解。这也造成了 2D 视觉轨迹与 3D 空间轨迹之间的根本鸿沟。

为了解决这一问题,北京航空航天大学、北京智源人工智能研究院、北京大学等机构联合推出了具备 3D 空间理解与推理能力的多模态大模型 ——RoboTracer。RoboTracer 通过全参数微调(SFT)强化空间信息的精准理解(空间感知 / 度量 / 指代),并进一步用强化学习微调(RFT)提升推理与泛化能力,最终在开放世界场景中实现可用的 3D 空间轨迹生成

  • 论文链接:https://arxiv.org/pdf/2512.13660
  • 论文标题:RoboTracer: Mastering Spatial Trace with Reasoning in Vision-Language Models for Robotics
  • 项目主页:https://zhoues.github.io/RoboTracer/
  • 代码仓库:https://github.com/Zhoues/RoboTracer
  • 评测链接:https://huggingface.co/datasets/JingkunAn/TraceSpatial-Bench

下面是真机实拍的机器人浇花过程,包含多步、带真实尺度约束的推理

SFT 训练下的 RoboTracer 在空间理解 / 空间度量 / 空间指代任务中达到了79.1% 的平均成功率,刷新了当前最先进水平。而在研究者提出的高难度空间轨迹生成任务评测基准TraceSpatial-Bench上,RFT 训练后的 RoboTracer 更是领先所有其他模型,比 Gemini-2.5-Pro 高出 36% 的平均准确率,优势显著。

更关键的是,RoboTracer 直接做到「开箱即用」:可以灵活集成到不同类型的机器人上,比如 UR5 机械臂、G1 仿人机器人等,在真实环境中完成复杂、动态、多步骤任务,让机器人真正做到「听得懂、看得清、动得准」。

RoboTracer 是什么?

RoboTracer 是一个三维空间理解与推理能力的多模态大模型,其拥有单独的图片编码器和支持任意多几何输入(绝对深度图,相机内参)的空间编码器。该模型具备较完备的空间感知推理能力,不仅仅可以回答各种空间感知类问答,无论是「哪个物体在左边?」这样的定性问题,还是「这个物体高度是多少?」这样的定量问题,并且还预测当前场景的尺度缩放因子;更厉害的是,它还可以基于 3D 空间指代和 3D 空间度量进行,复杂的组合式推理,最终准确生成精确的空间轨迹(如上图,逐一从左到右确定每一盆花的 3D 位置及其高度)。

RoboTracer 的核心是什么?

为什么相较于以往的方法,RoboTracer 不仅可以精确的感知空间,而且又可以根据多个空间关系组合泛化进行带真实尺度约束的推理呢?其关键因素在于以下几点:

解耦 (u, v, d) 表达增强多任务学习

传统方法直接回归 (x, y, z) 坐标,往往要求模型强行根据单目图片预测复杂的相机几何信息(比如相机内参),导致训练难、精度低。RoboTracer 提出了一种符合具身场景的解法:利用 (u, v, d) 进行解耦表达。这种表示法利用图像像素 (u, v) 和深度 d,结合已知的相机内参,轻松换算真实 3D 坐标。其核心优势在于:

1. 降低学习门槛:不用让 VLM「硬学」复杂的相机几何信息,训练更简单,精度也更高。

2. 数据复用能力更强:(u, v, d) 很容易投影到更低维的任务上 —— 去掉 d 就变成 2D 轨迹;只保留起点 / 终点,又能构造成 2D/3D 的空间指代数据。

通用空间编码器与尺度解码器提升绝对尺度感知

想要精准定位物体、测量距离,模型必须理解「真实世界的尺寸」。但很多只用 RGB 训练的VLM 缺少绝对尺度概念,因此距离 / 尺寸容易估不准。为了解决这一点,研究者加入两个关键模块:

1. 尺度解码器:将

token直接回归成一个数值尺度因子,把「尺度不变的特征」与「真实世界的绝对长度」对应起来。相比分类损失,用回归损失监督更能提升对三维真实尺度的感知。

2. 通用空间编码器:借助前馈式三维度量几何模型提供的强几何先验,显著增强模型的空间与尺度理解。它还能按需融合不同几何信息(如相机内参、位姿、深度):几何信息越多,空间表示越精细。该设计带来两点好处:(1)训练更灵活:通过灵活输入增强,把不同数据集中带尺度标注的信息用起来,提升空间学习效果(2)推理更自适应:无需重新训练或改结构,就能融合当前可用的几何信息。

SFT 增强感知,RFT 搭配过程奖励提升推理

RoboTracer 采用两阶段训练策略,其中 SFT 阶段针对性地提升模型的单步 3D 空间理解 / 空间度量 / 空间指代能力;RFT 阶段不仅关注最终轨迹结果的奖励,还创新性地设计度量敏感过程奖励,这些奖励函数能够显式监督轨迹生成中涉及的关键中间感知步骤(如 3D 指代、3D 度量和尺度预测)的质量。最终,模型增强了多步、带真实尺度约束的推理,实现了对复杂空间约束任务的空间轨迹规划。

提出 TraceSpatial 数据集

教一个多模态大模型从0到1学会生成空间轨迹

为了支持前述的 SFT 和 RFT 训练,研究团队构建了一个大规模、高质量、带真实尺度的数据集 ——TraceSpatial,具有以下几个核心特点:

  • 场景多样:覆盖室内外和桌面环境,包含物体和末端执行器两种分别为中心的空间轨迹,后者包含 3 种不同的单臂 / 双臂机器人构型。
  • 维度丰富:包含大量尺度相关数据(占 48.2%),还附带详细的多步推理过程(最高有 9 步),为复杂空间轨迹生成提供支持。
  • 规模庞大:共包含 450 万个样本、3000 万个问答对,目前最大 3D 空间数据集。
  • 精细标注:每个物体都配有层级式描述,从「花」这类种类类别,到像「左数第一个盆花」这样的精确空间指代,确保在复杂场景中也能清晰用文字表述。同时包含大量绝对尺度的几何信息标注(比如相机内参、深度图)以支持灵活的输入增强。
  • 高质量筛选:数据经过严格筛选,确保标注准确、语义清晰。
  • 易于扩展:支持从多种来源生成空间轨迹数据,包括 2D 图像、3D 扫描数据和机器人操纵视频,具备高度扩展性。

RoboTracer 到底有多厉害

空间理解 / 空间度量 / 空间指代

SFT 训练下的 RoboTracer 在空间理解 / 空间度量 / 空间指代任务中达到了79.1% 的平均成功率,取得了当前最先进水平,比 Gemini-2.5-Pro 高出 11% 的平均准确率

空间轨迹评测

RFT 训练后的 RoboTracer 在研究者们提出的高难度空间轨迹生成任务评测基准TraceSpatial-Bench上更是领先所有其他模型,比 Gemini-2.5-Pro 高出 36% 的平均准确率

下面展示一些 RoboTracer 与其它模型输出结果的可视化样例,不难发现目前的 VLM 都理解空间关系并且生成 2D 轨迹,但是由于绝对深度预测不精确导致生成的空间轨迹往往浮空或者碰撞,而 RoboTracer 可以较为精确地预测,而且更多的几何输入预测结果更精确。

仿真与真机实验

在空间操控的机械臂仿真评测中,RoboTracer 的表现远超现有的视觉 - 语言 - 动作(VLA)系统。不仅在模拟环境中成功率遥遥领先,面对开放世界中需要多步、带真实尺度约束的推理的复杂任务,唯有 RoboTracer 能够完成

更多的实验结果,可视化展示(包括更多的杂乱场景下的真机 Demo 视频的空间轨迹生成结果)详见论文和主页。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

故事:湖南93岁禽兽周其生,因爱喝牛奶而伤害女孩,犯罪细节曝光

卡西莫多的故事
2025-02-21 17:17:06
脑梗住院的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守5原则

脑梗住院的人飙升!医生含泪苦劝:无论多大年纪,天冷坚守5原则

路医生健康科普
2026-11-11 23:20:03
噩耗连连!不到一周,两位名人被曝接连去世,每位都让人心痛惋惜

噩耗连连!不到一周,两位名人被曝接连去世,每位都让人心痛惋惜

一娱三分地
2026-11-21 01:15:03
梅兰芳之子梅葆玖一生无儿无女,至死不原谅半路出道的李玉刚!

梅兰芳之子梅葆玖一生无儿无女,至死不原谅半路出道的李玉刚!

春秋砚
2026-11-12 20:45:08
一觉醒来,黄金跌超2%逼近3500美元,国际油价走高,美油涨破83美元,比特币跌破60000美元,加密货币近30万人爆仓

一觉醒来,黄金跌超2%逼近3500美元,国际油价走高,美油涨破83美元,比特币跌破60000美元,加密货币近30万人爆仓

21世纪经济报道
2026-11-21 07:32:24
拖到投票前八天才站台,王惠美出手,反而把难题丢给郑丽文

拖到投票前八天才站台,王惠美出手,反而把难题丢给郑丽文

阿天爱旅行
2026-11-21 09:20:29
60~70岁的幸福老人啥样?满足这8条,你就是万里挑一,不接受反驳

60~70岁的幸福老人啥样?满足这8条,你就是万里挑一,不接受反驳

暖风吹过竹林
2026-11-21 14:40:52
重磅人事调整!浙江队管理层大换血,徐磊接任董事长杨晨任总经理

重磅人事调整!浙江队管理层大换血,徐磊接任董事长杨晨任总经理

刘笤说体坛
2026-11-20 18:18:30
为什么这么多领导人在深圳找到快乐?

为什么这么多领导人在深圳找到快乐?

新民周刊
2026-11-19 07:20:10
轰35分准绝杀,2.2亿一点不贵!7记三分破纪录,7换1终于等来回报

轰35分准绝杀,2.2亿一点不贵!7记三分破纪录,7换1终于等来回报

锅子篮球
2026-11-21 12:15:22
利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

利库德集团提组阁条件,要求内塔尼亚胡独任总理并支持打击伊朗

界面新闻
2026-11-21 11:51:25
公司聚餐女子喝到断片,次日醒来发现衣脏体痛,调出宾馆监控后懵了

公司聚餐女子喝到断片,次日醒来发现衣脏体痛,调出宾馆监控后懵了

悬案解密档案
2025-09-06 14:57:00
中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

中方:强烈不满,坚决反对!若美方执意妄为,中方将采取反制措施

巷北楠猫本尊
2026-11-19 12:30:32
贪官末路来了!纪委大数据有多厉害,这些行为一个都跑不了!

贪官末路来了!纪委大数据有多厉害,这些行为一个都跑不了!

职场资深秘书
2026-11-21 14:15:08
惜败掘金!申京空砍28+11+10,范乔丹25+9,但火箭不给杜兰特球权

惜败掘金!申京空砍28+11+10,范乔丹25+9,但火箭不给杜兰特球权

体育火锅T
2026-11-21 14:00:47
画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

画面不堪入目!百万粉丝女网红被捕,36部污秽视频藏儿童学习机里

寒士之言本尊
2026-07-28 15:27:31
注意!昆明这条路,违停将被抓拍、处罚

注意!昆明这条路,违停将被抓拍、处罚

掌上春城
2026-11-21 14:54:37
乌克兰亏麻了?克里米亚大桥遇袭后,基辅4座桥梁遭导弹命中!

乌克兰亏麻了?克里米亚大桥遇袭后,基辅4座桥梁遭导弹命中!

霁寒飘雪
2026-11-21 07:12:20
报案的第61天,他被枪毙了

报案的第61天,他被枪毙了

真实异闻
2026-11-20 07:31:21
1979年,中央下令抓捕许世友次子许建军!许世友闻讯罕见震怒强硬表态

1979年,中央下令抓捕许世友次子许建军!许世友闻讯罕见震怒强硬表态

磊子讲史
2026-11-11 14:13:19
2026-11-21 16:44:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142761关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

头条要闻

特朗普亚洲行后举行记者会 为与普京的"朋友"关系辩护

体育要闻

伦德伯格撞墙的力度真不轻

娱乐要闻

虞书欣擦边自拍、霸凌同事、媒体点名?

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

教育
手机
时尚
本地
艺术

教育要闻

作业还要用钉钉微信交?郫都区叫停线上作业,明确纸质化加熔断

手机要闻

对标iPhone Duo!摩托罗拉首款阔折叠Razr Flex 2027渲染图出炉

今年冬天流行“大+小”穿法,时髦又显瘦!

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

艺术要闻

2026第七届民族美术作品展 油画选二

无障碍浏览 进入关怀版