网易首页 > 网易号 > 正文 申请入驻

NeurIPS 2026 | F2G-Pose:一次前向预测物体位姿、尺寸与完整形状

0
分享至



机器人想要拿起桌上的杯子,首先需要知道什么?

识别出「这是一个杯子」,显然还不够。它还需要判断杯子在哪里、朝向如何、实际有多大,才能为后续抓取和操作提供可靠的空间信息。

对于人类,这些判断往往不需要刻意思考。但对于机器人,尤其是面对从未见过的物体实例时,问题远没有那么简单:物体可能被部分遮挡,深度相机只能看到有限的表面,同一类别下的物体也可能有着截然不同的形状。

这正是类别级 6D 物体位姿估计(Category-Level 6D Pose Estimation)希望解决的问题:不依赖每个物体专属的 CAD 模型或参考图像,仅从视觉观测中直接推断物体的三维位置和旋转方向。

近日,来自复旦大学与上海创智学院的研究团队提出了F2G-Pose(Geometry-Aware Foundation Feature Lifting),相关工作已被NeurIPS 2026接收。



  • 论文: F2G-Pose: Geometry-Aware Foundation Feature Lifting for Direct RGB-D Category-Level Object Pose Estimation
  • 会议: NeurIPS 2026
  • 作者: 张晋瑜、林海涛、侯嘉树、薛向阳、付彦伟
  • 研究单位: 复旦大学、上海创智学院
  • 论文链接: https://arxiv.org/abs/2610.31623
  • 项目主页: https://jrryzh.github.io/F2G-Pose/
  • 代码仓库: https://github.com/jrryzh/F2G-Pose

与需要反复生成候选姿态的方案不同,F2G-Pose 尝试了一条更直接的路线:给定一帧经过目标分割的 RGB-D 观测,通过一次前向传播,同时预测物体的6D 位姿、真实尺寸,以及相机坐标系下的补全三维形状

在 RTX 4090 上,该方法关闭形状补全分支时的模型推理速度达到 28 FPS,并在多个基准测试中取得领先结果。研究团队还将其部署到真实机械臂上,验证了预测结果在机器人操作中的实际价值。



视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg

01|位姿估计的难点,不只是找到正确答案

现有类别级位姿估计方法,大致有两条技术路线。

一类方法通过规范坐标、几何对应关系或形状先验,先建立中间表示,再将其转换为物体的最终位姿。这条路线通常具有较好的推理效率,但当物体被遮挡、深度信息缺失或形状变化较大时,中间预测中的误差可能进一步传递到最终结果。

另一类方法则选择显式建模位姿的不确定性。以 GenPose、GenPose++为代表的生成式方法,通过扩散模型采样多个可能的姿态,再经过评分、筛选或聚类,确定最终输出。

这种思路有其合理性:当一个物体只能被观察到一部分时,确实可能存在多个合理的姿态解释。但我们注意到一个值得深入研究的问题:能够生成准确的候选姿态,并不意味着最终一定能够选出准确的结果。

论文对 GenPose++进行了一项分析。在 ROPE 数据集上,生成 50 个候选姿态后,如果允许使用真实标注,从中挑选旋转误差最小的候选,那么有 79.3%的实例可以达到 5°以内的旋转误差。但在实际使用的候选筛选流程之后,这一比例为 48.3%。换句话说,准确答案可能已经出现在候选集合中,却未必能被最终选中。与此同时,采样数量越多,计算成本通常也越高;减少候选虽然能提高响应速度,却可能影响最终的预测可靠性。

对于需要持续感知、实时执行的机器人来说,这种精度与延迟之间的权衡尤其重要。

由此,团队提出了一个问题:

能否直接学习从 RGB-D 观测到最终位姿的映射,把计算资源用于获得更好的物体表示,而不是生成和筛选大量候选?



动图 1|同帧位姿预测结果和真实标注对比。

02|F2G-Pose:把二维视觉特征带入三维空间

直接回归位姿并不是全新的想法。真正困难的地方在于:如何让网络在只有局部观测的情况下,仍然建立足够可靠的三维物体表示?F2G-Pose 的答案,是让视觉基础模型提供语义与外观线索,让深度点云提供真实的几何约束,再通过统一的网络共同推理。



图 1|F2G-Pose 总体架构:视觉特征提升、局部几何编码、MoE Transformer 与位姿/尺寸/形状预测。

首先,将视觉基础特征提升到三维空间。

模型采用冻结的 RADIOv2.5 视觉编码器,从 RGB 图像中提取密集视觉特征。利用相机内参和对齐的深度信息,可以找到每个三维点对应的图像位置,并将相应的视觉特征附着到点云上。

这样,每个三维点不仅包含空间坐标,还携带了对应区域的视觉信息。

例如,深度信息能够描述物体表面的几何变化,视觉特征则可以补充纹理、部件及语义线索。二者结合,比单纯依赖 RGB 或者深度更有利于理解物体的真实空间状态。

随后,F2G-Pose 利用 DGCNN 提取局部几何结构,将融合后的点云编码为一组物体 Token。

接下来,通过 MoE Transformer 整合物体整体结构。

局部特征可以帮助模型识别表面细节,但位姿估计需要理解整个物体:哪些结构彼此关联,哪些部件能够区分朝向,以及当前观察到的部分如何构成完整物体。

F2G-Pose 使用 Transformer 聚合这些信息,并引入混合专家架构(Mixture-of-Experts,MoE)增强表示能力。

网络设置 8 个专家,每个 Token 动态选择其中 2 个参与计算。这样的设计使模型能够以相对有限的计算开销,为复杂多样的物体几何提供更灵活的建模能力。

最后,不只是预测位姿,还要学习物体的完整形状。

这是 F2G-Pose 设计中另一个重要部分。

在共享的物体表示之上,网络设置了两个并行分支:一个直接预测物体的旋转、平移与真实尺寸;另一个根据已观测到的局部点云,逐步补全物体的三维形状。

形状补全采用由粗到细的方式,最终输出 2048 个三维点,且直接位于相机坐标系中,无需额外执行规范空间到相机空间的对齐。

动图 2|相机坐标系下的形状补全展示。

这不仅提供了一个可供下游模块使用的近似几何输出,更重要的是,形状补全本身也成为训练位姿估计网络的一种几何监督。模型不能只凭有限的外观特征猜测物体朝向,还需要学习可见表面与整体三维结构之间的联系。

最终,位姿、尺寸和形状由同一套 RGB-D 表示共同预测,整个推理过程不需要扩散采样、候选聚类或额外的位姿对齐优化。

03|更快,也更准:多项实验验证方法有效性

研究团队首先在 SOPE 合成数据集上训练模型。该数据集覆盖 149 个类别、约 5000 个物体实例。除视觉基础模型原有的预训练外,F2G-Pose 的任务网络仅使用 SOPE 合成数据训练,没有针对后续真实数据集单独进行训练。

在 SOPE 和 ROPE 基准测试中,F2G-Pose 均展现出具有竞争力的结果。

以衡量三维包围盒匹配质量的 IoU50 AUC 为例:

  • SOPE:F2G-Pose 达到 43.7,GenPose++为 31.9。
  • ROPE:F2G-Pose 达到 27.8,GenPose++为 19.1。



图 3|ROPE 定性结果:RGB 输入、位姿真值、GenPose++、F2G-Pose 与预测形状。

在论文采用的统一推理测试协议下,GenPose++运行速度约为 4 FPS,而 F2G-Pose 仅进行位姿估计时达到 28 FPS,速度约为前者的 7 倍;即使同时启用形状补全分支,完整模型仍达到 23.7 FPS。这里比较的是同一 RTX 4090、batch size 为 1、给定相同分割与 RGB-D 输入条件下的模型推理速度,不代表整套机器人系统的运行帧率。



图 4|ROPE 精度与延迟的权衡。K 为 GenPose++候选数量,红星为 F2G-Pose;两幅图分别展示 IoU AUC@50 与 VUS@5°2cm。

这说明,直接预测并不必然需要牺牲精度来换取速度。只要 RGB-D 表示能够充分整合视觉与几何信息,单次前向传播同样可以获得较高质量的结果。

消融实验进一步验证了各个模块的作用。在 ROPE 上,移除 RGB 视觉特征后,IoU50 AUC 从 27.8 下降到 16.2;用参数量相当的普通前馈网络替换 MoE 后降至 24.0;去掉形状补全监督后则下降到 23.2。

尤其值得注意的是,形状补全并不是一个与位姿估计无关的附加功能。即使最终只需要位姿结果,训练时引入完整三维几何监督,仍然可以帮助模型学习更可靠的物体表示。此外,在 HouseCat6D 形状重建实验和 HANDAL 真实物体跨数据集评测中,F2G-Pose 也展现出较好的迁移能力。

04|从数据集走向真实机器人

离线评测中预测准确,并不意味着机器人就一定能够完成操作。

为此,研究团队进一步搭建了真实机器人实验平台,使用 ARX 机械臂、平行夹爪以及 RealSense RGB-D 相机,开展基于物体位姿的抓取与放置实验。

测试对象包括瓶子、杯子、碗、锤子、平底锅等常见物体。系统根据估计的位姿和尺寸确定抓取接近方向与放置目标,利用补全形状辅助碰撞检查。



视频链接:https://mp.weixin.qq.com/s/lcEsbLBXPdHi4GHFL8wTjg

实验设置了 50 毫秒的感知决策时间预算,并对每种方法进行 80 次测试。

结果显示,F2G-Pose 完整模型在 80 次测试中成功完成 68 次抓取与放置,成功率为 85%,平均感知延迟约 36 毫秒,满足所设定的实时预算。这里的 36 毫秒来自真机实验的感知延迟统计,与前述基准测试 FPS 属于不同实验口径。作为对照,GenPose++完整采样流程完成 57 次放置,但平均延迟达到 256 毫秒;将其限制在约 50 毫秒时,成功放置次数下降至 45 次。

这些结果表明,在机器人部署中,位姿估计的价值不能只用离线精度衡量。预测延迟、输出稳定性,以及最终结果能否被下游规划模块可靠使用,同样重要。

F2G-Pose 并不是直接学习抓取策略的端到端机器人模型,而是为后续规划和操作提供更及时、准确的物体几何状态。这也让它能够作为一个相对独立的感知模块,接入不同的机器人系统。

05|让机器人更好地理解三维世界

当然,单帧 RGB-D 感知仍有其边界。

F2G-Pose 目前需要输入已分割的物体区域。当分割结果不准确、深度信息严重缺失,或关键结构被遮挡时,预测仍可能受到影响。对于高度对称、纹理较少的物体,单一视角也难以完全消除方向歧义。

尤其是在跨数据集条件下,实现高精度的三维几何对齐仍然具有挑战。

但这项工作的意义,在于验证了一条值得继续探索的路线:对于机器人最终需要使用的几何状态,可以通过基础视觉特征与三维几何的联合学习,直接预测,而不必在推理阶段始终依赖复杂的候选生成与筛选。

随着机器人逐渐走向更加开放、多样的真实环境,如何从有限观测中快速获得可靠的三维信息,将持续成为具身感知的重要课题。

F2G-Pose 为这一问题提供了一种兼顾精度、效率与实际部署需求的技术方案。

作者介绍

张晋瑜,上海创智学院和复旦大学联合培养具身智能方向博士生。研究聚焦具身智能与机器人学习,重点关注视觉语言动作(VLA)模型、大规模预训练和通用机器人操作,为 F2G-Pose 论文共同第一作者。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞

四川一卤肉饭大叔闭店前给学生们写信:不要删叔叔,叔叔看你们顺利毕业,幸福过一生,我会偷偷点赞

环球网资讯
2026-11-22 15:59:07
亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

亚马逊执行董事长贝索斯:如果不让黄仁勋回英伟达,不要聘用外人

新浪财经
2026-11-22 11:35:43
网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

网红“东北雨姐”仍潇洒! 参加山东饭局,喝300多一瓶的汾酒,席间倒酒喝酒动作太豪横,一口闷

裕丰娱间说
2026-11-21 14:26:14
不出意外,从 2027年起,个人存款超过100 万的,或将面临四个难题

不出意外,从 2027年起,个人存款超过100 万的,或将面临四个难题

巢客HOME
2026-11-22 05:55:06
8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

8万人狂欢!63岁穆帅2次搏命神换人:皇马2-1豪取9连胜 创4年纪录

风过乡
2026-11-22 06:53:50
以泪洗面!西安股民晒351万资产周六彻夜失眠,11月狂亏121万近乎腰斩,单日跌超20万自嘲“金融消费者”

以泪洗面!西安股民晒351万资产周六彻夜失眠,11月狂亏121万近乎腰斩,单日跌超20万自嘲“金融消费者”

王老师你还好吗
2026-11-22 17:35:20
一回到美国,特朗普就说:中国也能生产芯片,要明白,如果我们不卖,他们会自己制造

一回到美国,特朗普就说:中国也能生产芯片,要明白,如果我们不卖,他们会自己制造

互联鱼
2026-11-22 00:10:10
香港艺人方力申刷新吉尼斯世界纪录,8小时半从香港游到澳门

香港艺人方力申刷新吉尼斯世界纪录,8小时半从香港游到澳门

澎湃新闻
2026-11-22 17:32:12
当心,停在路边的车卖苹果,尽量不要买,为什么呢,看下就知道了

当心,停在路边的车卖苹果,尽量不要买,为什么呢,看下就知道了

小鹿姐姐情感说
2026-11-21 01:20:03
突然,全线拉升!美伊局势,传来利好消息

突然,全线拉升!美伊局势,传来利好消息

新浪财经
2026-11-22 10:21:29
黎曼猜想被攻破!国外AI忙着搞科研,造福全人类,国产AI呢?

黎曼猜想被攻破!国外AI忙着搞科研,造福全人类,国产AI呢?

News脑洞
2026-11-22 13:37:42
红果短剧全面下架,彻底失控了

红果短剧全面下架,彻底失控了

李东阳朋友圈
2026-11-20 10:00:35
墨西哥总统迷上八段锦!返程航班还在练

墨西哥总统迷上八段锦!返程航班还在练

看看新闻Knews
2026-11-22 00:38:31
中国灵活就业人数达3.2亿人!占就业人口的44%,太恐惧了!

中国灵活就业人数达3.2亿人!占就业人口的44%,太恐惧了!

廖保平
2026-11-22 09:20:01
CBA杯-北京大胜深圳晋级八强 沃特斯19+6+5三分陈盈骏9中1

CBA杯-北京大胜深圳晋级八强 沃特斯19+6+5三分陈盈骏9中1

醉卧浮生
2026-11-22 17:00:54
外媒:特朗普要求菲律宾停止购买巴西农产品

外媒:特朗普要求菲律宾停止购买巴西农产品

参考消息
2026-11-22 16:52:05
一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

可达鸭面面观
2026-11-22 00:02:18
停开6年后,“人一生必须坐一次”的K3/4次列车焕新重启,沿途停靠15个站点

停开6年后,“人一生必须坐一次”的K3/4次列车焕新重启,沿途停靠15个站点

红星新闻
2026-11-21 21:40:12
震惊!武亮回母校演讲提出“吃屎的劲头”去奋斗,台下学生反问:要是拼到41岁人没了,一点福都没享到,这份奋斗还有啥意义?

震惊!武亮回母校演讲提出“吃屎的劲头”去奋斗,台下学生反问:要是拼到41岁人没了,一点福都没享到,这份奋斗还有啥意义?

火山詩话
2026-11-22 14:36:55
10亿豪门内讧爆发!头牌拒绝谢场+无视教练,阿隆索下课倒计时!

10亿豪门内讧爆发!头牌拒绝谢场+无视教练,阿隆索下课倒计时!

阿泰希特
2026-11-22 13:44:00
2026-11-22 20:04:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14533文章数 142764关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

游戏
教育
艺术
本地
数码

GS"爆了":GTA6中主机大战已结束 PS完胜Xbox

教育要闻

认真读题是解答问题的关键,欢迎大家挑战这道几何题

艺术要闻

15幅 100多年前的风景油画

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

数码要闻

Hidisc Sound Glasses轻量化蓝牙音频眼镜发布,3980日元

无障碍浏览 进入关怀版