网易首页 > 网易号 > 正文 申请入驻

家庭机器人浇花偏差:RoboTracer三维技术破局

0
分享至

你让家里的服务机器人给阳台的花浇水,特意嘱咐“从左到右,每个花盆上方1-5厘米处浇”。

结果机器人要么把水浇到花盆外,要么离花太近溅一身泥这场景是不是很熟悉?家庭服务机器人走进生活的最大拦路虎,其实是“看不懂”真实空间里的各种规矩。



日常生活里的空间要求远比想象中复杂。

就拿浇花来说,“从左到右”是定性的位置约束,“1-5厘米”是定量的距离限制,机器人得同时搞定这两件事才能不出错。

家庭环境本来就乱。



遥控器可能压在杂志下,拖鞋东一只西一只,机器人面对的不是实验室里整齐的货架,而是随时变化的“随机场景”。

传统模型直接输出(x,y,z)坐标,就像蒙着眼睛扔飞镖,训练难、精度低,更别提理解“上方”“旁边”这些模糊但常用的空间词了。

正是这些痛点,催生出了RoboTracer。



它的核心任务很明确,生成带空间约束的3D位置序列,也就是“空间轨迹”,让机器人知道每一步该往哪动、动多远。

RoboTracer的“三维智慧”,如何让机器人“看懂”真实空间

RoboTracer的聪明之处,先从“看”开始。

本来想直接让模型学3D坐标,后来发现分开处理更高效,先算图像上的像素位置(u,v),再结合深度信息(d),最后用相机参数换算成真实世界的3D坐标。



这种解耦设计让训练难度降了不少,精度反而提上去了。

光看懂还不够,还得有“尺度感”。

你说“5厘米”,机器人得知道这到底多长。

RoboTracer里有个“尺度解码器”,专门把抽象的特征转换成具体数值。

比如看到一个杯子,它能估算出高度,再结合指令里的“5厘米”,就知道该离多远操作。

这种对“绝对尺度”的理解,是之前模型最缺的能力。



训练方法也有讲究。

团队分了两步走,先通过SFT(监督微调)让模型打好基础,学会单步的空间理解,比如“哪个物体在左边”“距离多远”,再用RFT(强化微调)加过程奖励,监督中间每一步的推理质量。

就像教孩子搭积木,不光看结果对不对,还要纠正每一步的摆放位置,这样复杂任务也能稳稳完成。

实际测试里,RoboTracer的表现挺亮眼。

在空间理解相关任务里,SFT训练后平均成功率接近八成,刷新了现有水平,加上RFT后,在专门的TraceSpatial-Bench评测中,准确率比Gemini-2.5-Pro高出36%。



最直观的是对比视频,别的模型生成的轨迹要么飘在半空,要么撞到花盆,而RoboTracer规划的路线能精准停在花盆上方5厘米,从左到右挨个浇过去,稳得像老手。

更重要的是它“开箱即用”。

不管是UR5机械臂还是G1仿人机器人,都能直接集成这个模型。

在开放世界测试里,只有RoboTracer能完成“先把书放到书架第三层,再把杯子放在书旁边10厘米处”这种多步空间任务。



家庭服务机器人市场需求一直很大,但技术总差临门一脚。

这次RoboTracer的突破,不是简单提升性能,而是找到了一种让机器人“理解真实空间”的新范式。

未来它不光能浇花、收纳,说不定还能帮老人取药、给孩子整理书包只要涉及空间操作,它都有可能派上用场。

当然,这只是开始。



模型还需要在更多复杂场景里打磨,比如应对光线变化、透明物体这些难题。

但至少现在,我们看到了服务机器人真正走进家庭的希望。

毕竟,能“看懂”空间的机器人,才算是真正有了“动手能力”。



声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
李雨桐,被行拘!

李雨桐,被行拘!

In风尚
2026-05-01 06:02:53
5月第一天,伊朗首都遭袭,6500吨装备运抵,特朗普闹出3个笑话

5月第一天,伊朗首都遭袭,6500吨装备运抵,特朗普闹出3个笑话

闻识
2026-05-01 16:55:10
信仰崩塌,五粮液疯狂改业绩,上百亿利润凭空消失!股民:无良液

信仰崩塌,五粮液疯狂改业绩,上百亿利润凭空消失!股民:无良液

金石随笔
2026-05-01 09:41:31
宇树发布双臂人形机器人,售价2.69万起

宇树发布双臂人形机器人,售价2.69万起

大象新闻
2026-04-30 22:30:05
据说99%的人喜欢这样的女生

据说99%的人喜欢这样的女生

匹夫来搞笑
2026-05-01 14:09:56
南开大学成立调查组

南开大学成立调查组

第一财经资讯
2026-05-01 13:29:02
追觅首谈造车:与小米同期启动,不必烧上千亿

追觅首谈造车:与小米同期启动,不必烧上千亿

虎嗅APP
2026-04-29 22:06:59
郑丽文官宣,6,月访美,大陆的回应绝了,国民党高层是该清醒了

郑丽文官宣,6,月访美,大陆的回应绝了,国民党高层是该清醒了

可乐爱微笑
2026-05-01 17:25:37
恢复冥王星行星地位,美国“翻案”没那么容易 | 新京报专栏

恢复冥王星行星地位,美国“翻案”没那么容易 | 新京报专栏

新京报评论
2026-05-01 09:24:14
三缸是开胃菜,五缸才是主菜!张雪官宣:2028年,五缸机量产上车

三缸是开胃菜,五缸才是主菜!张雪官宣:2028年,五缸机量产上车

沙雕小琳琳
2026-05-01 15:47:45
46岁汤唯自曝意外怀上二胎!胎儿性别已确认,56岁老公深藏不露

46岁汤唯自曝意外怀上二胎!胎儿性别已确认,56岁老公深藏不露

洲洲影视娱评
2026-04-30 17:10:16
汤尤杯战报:4强出炉!石宇奇火线复出鏖战3局,11-0暴打大马一单

汤尤杯战报:4强出炉!石宇奇火线复出鏖战3局,11-0暴打大马一单

求球不落谛
2026-05-01 17:21:33
特勤局局长披露记者晚宴行凶枪手被捕真相:他撞上磁力计箱子摔倒

特勤局局长披露记者晚宴行凶枪手被捕真相:他撞上磁力计箱子摔倒

真正能保护你的
2026-05-01 11:38:52
太可怕了!继注射药物、热巴事件后,王阳再揭娱乐圈最脏的一面

太可怕了!继注射药物、热巴事件后,王阳再揭娱乐圈最脏的一面

橙星文娱
2026-04-17 13:19:56
英国观众鼓掌!吴宜泽打崩前世界第一:没想到赵心童会输 看我的

英国观众鼓掌!吴宜泽打崩前世界第一:没想到赵心童会输 看我的

念洲
2026-05-01 10:36:19
武汉地铁12号线今晚延时运营

武汉地铁12号线今晚延时运营

极目新闻
2026-05-01 17:16:16
76岁的万科创始人王石,最近彻底成了全网焦点。

76岁的万科创始人王石,最近彻底成了全网焦点。

梦录的西方史话
2026-04-23 14:36:39
95岁巴菲特天天麦当劳配可乐,研究却发现:这件事比饮食更影响寿命

95岁巴菲特天天麦当劳配可乐,研究却发现:这件事比饮食更影响寿命

华人生活网
2026-05-01 04:35:17
打破认知!湖南一纸通报冲上热议,荒诞程度超乎想象

打破认知!湖南一纸通报冲上热议,荒诞程度超乎想象

小蜜情感说
2026-05-01 10:17:17
0-1!2-1!疯狂一夜,维拉爆冷落败,布拉加补时绝杀,水晶宫获胜

0-1!2-1!疯狂一夜,维拉爆冷落败,布拉加补时绝杀,水晶宫获胜

足球狗说
2026-05-01 05:14:38
2026-05-01 18:27:00
粉红小碎花
粉红小碎花
粉红小碎花
588文章数 82关注度
往期回顾 全部

科技要闻

苹果上季在华收入继续大增 iPhone收入新高

头条要闻

人贩推倒奶奶入室抢走1岁男童 娃爸曾怀疑奶奶是同伙

头条要闻

人贩推倒奶奶入室抢走1岁男童 娃爸曾怀疑奶奶是同伙

体育要闻

无奈!约基奇:这要在塞尔维亚 全队早被炒了

娱乐要闻

邓超在景德镇被偶遇,穿黑外套逛茶园

财经要闻

GPU神话松动,AI真正的战场变了

汽车要闻

限时9.67万起 吉利星越L/星瑞i-HEV智擎混动上市

态度原创

房产
艺术
时尚
亲子
游戏

房产要闻

所有户型全卖爆!海口TOP级豪宅,景观样板间五一全线开放!

艺术要闻

慈禧墓挖出明代草书,每一个字都叹为观止!

她们看起来气血好足,每套搭配我都想抄

亲子要闻

萌娃认不出化妆的妈妈,电梯里全程一脸懵,宝妈:化了妆就不认识了

《风启之旅》更新补丁帮助玩家解决网络延迟问题

无障碍浏览 进入关怀版