网易首页 > 网易号 > 正文 申请入驻

七年磨一剑!吴琦团队交出终极答卷,一个平台解决机器人找路难题

0
分享至



哈喽,大家好,今天小墨这篇评论,主要来分析吴琦团队如何用VLNVerse平台,给机器人装上"空间大脑",让AI真正学会看路走路



今年年初,吴琦在接受采访时透露团队正在秘密打造一个全栈式平台,这个消息在圈内引发了不少猜测。

如今年底将至,这个被称为VLNVerse的"具身导航宇宙"正式亮相,从场景生成到真机部署,一次性解决了困扰行业多年的难题。



很多人以为导航就是简单的路径规划,但实际情况远比想象复杂。具身智能导航要解决的,是让一个有物理身体的智能体,能看、能听、能想、还能动。这里的身体不只是机器人,也可以是无人机、无人车,甚至是扫地机器人。

吴琦团队在研究中发现,导航的本质其实是重感知和推理,而不是重执行。和抓取物体需要精细控制不同,导航面对的是复杂多变的空间环境,物体种类位置千差万别,真正的难点在于理解空间、识别物体、推理目的地位置。

至于怎么走到目标点,在现有机器人技术中已经相对成熟了。



这就带来一个问题,过去七年里,VLN领域的任务和数据非常碎片化。有的任务只给一个物体名称让机器人去找,有的给出详细的分步指令,还有的需要机器人主动提问。

不同任务用不同的模拟器,训练出来的模型互不兼容,想要实际应用就得在一个机器人上装好几套系统,这显然不现实。



VLNVerse的核心思路是打通从真实世界到模拟环境,再回到真实世界的完整链条。这个平台分成四个部分,每个部分都针对具体问题给出解决方案。

这些场景不只是好看,里面的柜子能开关,物体能移动,每个东西都有质量、摩擦系数这些物理属性。系统会先用大语言模型理解用户需求,构建基础场景图,再通过KaleidoTree结构生成多个候选方案,最后用可微优化调整物体位置朝向,确保场景符合物理规律。



VLNVerse基于英伟达Isaac Sim构建,提供了263个全新设计的高保真场景,每个场景都有独立的拓扑结构和完整的语义标注。更重要的是,团队设计了一套专门的API接口,让研究人员不用纠结底层机器人控制细节,可以直接关注导航逻辑本身。

任务统一是这个平台最大的创新点。过去不同粒度的导航任务各自为战,VLNVerse首次在一个框架下定义了五大核心任务,从经典的分步指令跟随,到只给最终目标的粗粒度导航,再到看图找物的视觉参考导航,还有需要多阶段规划的长程导航,以及允许机器人主动提问的对话式导航。

团队在ICCV上提出的SAME方法,用混合专家模型的方式,让一套参数就能解决所有类型的导航任务,不再需要针对不同任务部署不同模型。



从模拟器到真实环境,还有不少坑要填。最直接的问题是视角高度差。人类给出指令时是按照1.7米左右的视角,但机器狗的视角只有0.3米,很多参照物根本看不到。比如指令里说"经过足球桌",机器狗只能看到桌腿,根本不知道那是什么。



团队在ICRA 2025上提出的multi-view transformer方案,让低视角机器人能调取自己在其他位置获得的视觉信息,补全当前视角的缺失部分。这个思路其实很巧妙,就像人类会回忆之前看到的场景来理解当前位置。

另一个难题是计算效率。VLN模型普遍比较大,很多还用到了大语言模型,目前大多数部署方式是机器人把数据传回服务器计算,再把指令传回来执行,这就会造成延迟。

吴琦团队还和北大王鹤团队合作,开发了NavFoM这个跨本体的导航基座模型。同一个模型可以部署在机器人、机器狗、无人车和无人机上,不需要针对不同设备重新训练。这意味着一套算法能适配多种硬件平台,大大降低了实际应用的门槛。



VLNVerse的出现,让机器人导航从碎片化的研究任务,变成了一个完整的技术体系。从场景生成到真机部署的全链条打通,让具身智能导航真正有了落地的可能。

吴琦团队承诺会持续开源数据和工具,还会加入多智能体协作等新任务,这对整个行业来说都是好消息。

七年的积累终于迎来突破,接下来就看这些技术能在现实世界创造多少价值了。

声明:个人原创,仅供参考

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
水亦诗带母亲回山区婆家过年!公公杀鸡宰鸭招待,红砖房看着破旧

水亦诗带母亲回山区婆家过年!公公杀鸡宰鸭招待,红砖房看着破旧

无处不风景love
2026-02-16 17:42:09
包拯究竟是不是清官?1973年挖开他墓穴,地下的发现让专家泪目

包拯究竟是不是清官?1973年挖开他墓穴,地下的发现让专家泪目

珺瑶婉史
2026-02-16 19:35:07
马年开市前瞻:五家公司重磅重组来袭,节后行情暗藏新机遇

马年开市前瞻:五家公司重磅重组来袭,节后行情暗藏新机遇

慧眼看世界哈哈
2026-02-17 15:06:30
黄晓明晒与父母三亚过年,偶遇董璇佟丽娅,三人惊喜同框,好欢乐

黄晓明晒与父母三亚过年,偶遇董璇佟丽娅,三人惊喜同框,好欢乐

观察鉴娱
2026-02-17 16:08:24
董卿父亲董善祥:我这辈子最后悔的事,就是让宝贝女儿嫁给密春雷

董卿父亲董善祥:我这辈子最后悔的事,就是让宝贝女儿嫁给密春雷

时光在作祟
2026-01-29 19:58:49
俄媒:一旦开战,中方只靠解放军难以取胜,必须调动另一股力量!

俄媒:一旦开战,中方只靠解放军难以取胜,必须调动另一股力量!

勇士军武闲谈
2026-02-13 11:54:35
湖北农村现状,真的太可怕了!

湖北农村现状,真的太可怕了!

爱下厨的阿椅
2026-02-16 19:56:16
1980年16岁男子考进985,终身研究1个数学公式,现靠每月400低保

1980年16岁男子考进985,终身研究1个数学公式,现靠每月400低保

南书房
2026-01-01 13:00:06
包臀毛衣+肉丝,最顶级的纯欲少女!

包臀毛衣+肉丝,最顶级的纯欲少女!

贵圈真乱
2026-02-17 12:12:43
张柏芝大儿子终于“长开”了!穿西装比谢霆锋还帅,网友:像爷爷

张柏芝大儿子终于“长开”了!穿西装比谢霆锋还帅,网友:像爷爷

木子爱娱乐大号
2026-01-07 21:47:13
事实证明,刘少奇在党内地位快速提升是有原因的

事实证明,刘少奇在党内地位快速提升是有原因的

尚书乔
2025-02-21 00:04:05
中国正加速抛售美债,美专家:中国用了新抛售方式,完全无法干预

中国正加速抛售美债,美专家:中国用了新抛售方式,完全无法干预

似水流年忘我
2026-01-29 01:24:08
我替牺牲战友尽孝15年,他父母却从未给我回信,直到那天律师上门

我替牺牲战友尽孝15年,他父母却从未给我回信,直到那天律师上门

牛魔王与芭蕉扇
2025-10-15 11:52:03
女子意外翻出家里一张奖状,找到政府得知:父亲是长津湖一等功臣

女子意外翻出家里一张奖状,找到政府得知:父亲是长津湖一等功臣

晓楖科普
2026-02-17 17:57:25
新加坡急了,外长几乎是拍着桌子,让中国“尊重”马六甲的地位。

新加坡急了,外长几乎是拍着桌子,让中国“尊重”马六甲的地位。

南权先生
2026-01-26 15:41:26
男子下班收到妻子短信:家有客人,你别回来,男子越想越不对劲,回家后推开房门崩溃了!

男子下班收到妻子短信:家有客人,你别回来,男子越想越不对劲,回家后推开房门崩溃了!

乔话
2026-02-01 22:28:33
马筱梅2026年第一顿饭,桌上一盆打卤面是她与大S最大的区别

马筱梅2026年第一顿饭,桌上一盆打卤面是她与大S最大的区别

庭小娱
2026-01-01 15:03:00
东北男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

东北男子养鹿破产,赌气放生了30头鹿,8年后上山,眼前一幕却让他泪崩了...

品读时刻
2026-02-14 09:03:05
27岁米兰“真大腿”续约受阻:转会价格达新高,圣西罗陷入选择题

27岁米兰“真大腿”续约受阻:转会价格达新高,圣西罗陷入选择题

里芃芃体育
2026-02-17 15:00:05
在德国,乌外长直接找王毅,美俄都没想到,泽连斯基胆子如此之大

在德国,乌外长直接找王毅,美俄都没想到,泽连斯基胆子如此之大

现代小青青慕慕
2026-02-16 17:20:15
2026-02-17 19:15:00
至死不渝的爱情
至死不渝的爱情
感谢关注
441文章数 61关注度
往期回顾 全部

科技要闻

春晚这些机器人是怎样做到的?

头条要闻

鲁比奥再就对华关系表态:若美中无交流 那将是疯狂的

头条要闻

鲁比奥再就对华关系表态:若美中无交流 那将是疯狂的

体育要闻

谷爱凌:'不小心"拿到了银牌 祝大家马年大吉

娱乐要闻

春晚三大感人瞬间:周深于和伟上榜

财经要闻

大年初一,这三件事很不寻常

汽车要闻

问界M6更多信息:乾崑智驾ADS4.0+鸿蒙座舱5.0

态度原创

数码
亲子
旅游
时尚
公开课

数码要闻

Intel Panther Lake续航飞跃!重度电池测试与苹果M5相当

亲子要闻

春启新程|产科医生的除夕夜守望:“这是新年最好的礼物”

旅游要闻

迎新春三星堆成热门打卡地 萌趣“堆堆马”亮相

今年春天最流行的4组配色,过年穿时髦又高级!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版