网易首页 > 网易号 > 正文 申请入驻

全球首个「导航大脑」上线!一句话让机器人自己找路回家

0
分享至


新智元报道

编辑:犀牛

【新智元导读】银河通用联合多所大学发布了全球首个跨本体全域环视导航基座大模型NavFoM,让机器人能自己找路,而不再依赖遥控,从而推动具身智能向规模化商业落地演进。

今年 6 月,一支机器狗的视频在社交平台上刷屏——它在未训练过的真实场景(如人流密集的商场里)Zero-Shot地跟随用户,完成自主移动、避障、转向,并能能听懂「跟着妈妈」、「去陪孩子」的语音指令。

那背后,是银河通用发布的导航大模型 TrackVLA

该模型由仿真大数据训练,在真实复杂场景中实现 Sim2Real,完成智能的用户跟随,展现了极强的 C 端应用落地潜力。

最近,银河通用的导航大模型技术又迎来了质的飞跃

银河通用联合北京大学、阿德莱德大学、浙江大学等团队,推出了全球首个跨本体全域环视的导航基座大模型——NavFoM(Navigation Foundation Model)。

如果说 TrackVLA 让机器人学会「跟着人走」,那么 NavFoM 的意义在于——让机器人掌握全栈「移动的基础知识」。作为基座大模型,其自身可以做到:

  • 全场景同时支持室内和室外场景,未见过的场景 Zero-Shot 运行,无需建图和额外采集训练数据;

  • 多任务支持自然语言指令驱动的目标跟随和自主导航等不同细分导航任务;

  • 跨本体可快速低成本适配机器狗、轮式人形、腿式人形、无人机、甚至汽车等不同尺寸的异构本体。

除此之外,该模型允许开发人员以之为基座,通过后训练,进一步进化成满足特定导航要求的应用模型。

下面将从技术视角,解析其技术特点,介绍以此为基石衍生出的应用模型具身和对应的产业应用价值。



「导航」是具身智能的

基础能力之一

导航是所有机器人移动操作的基础,也是感知、理解、决策、行动的综合体现。

然而在过去很长一段时间里,具身导航的技术体系是相对碎片化的——不同任务(如跟随、搜索、驾驶)各用一套算法,不同机器人(如四足、人形、无人机)又各自训练模型。每换一个任务或本体,模型就得重新开发。

这样的割裂不仅使得具身导航模型训练时效率低,二次开发难度大,还造成具身模型商用落地周期长,在不同本体上、不同场景中规模化商业应用的边际成本高等问题。

对此,银河通用的研发团队认为,让机器人具备可迁移智能、迈向大规模商用的第一步是让具身导航模型技术凝聚成一个通用的具身大脑,即构建一个能多任务、全场景、跨本体的具身导航大模型基座实现让具身导航模型从「学会完成一条导航智能」到「真正理解机器人移动」的跨越。



从 TrackVLA 到 NavFoM

不仅能「跟着走」更能「自己找路」

基于这一思考,银河通用联合北京大学、阿德莱德大学、浙江大学等团队共同发布了新一代导航基座大模型——NavFoM(NavigationFoundation Model)


这是全球首个跨本体全域环视导航基座大模型,把Vision-and-Language Navigation、Object-goal Navigation、Visual Tracking 和Autonomous Driving 等不同机器人的导航任务统一到相同的范式。

如果说 TrackVLA 是让机器人能听懂人类语言、跟随目标前进,那么 NavFoM 的目标是让机器人能够自主感知世界,在完全未知的环境中自己决定去哪、怎么走



统一范式

让不同机器人「掌握同一种语言」

NavFoM重新定义了导航的底层逻辑

过去,导航任务往往被拆分成识别、定位、规划等独立模块,模型之间缺乏统一语言。

而 NavFoM 建立了一个全新的通用范式:「视频流 + 文本指令 → 动作轨迹」。

无论是「跟着那个人走」,还是「找到门口的红车」,在 NavFoM 里都是同一种输入输出形式。模型不再依赖模块化拼接,而是端到端地完成“看到—理解—行动”的全过程。


这意味着,曾经割裂的任务经过统一的数据对齐和任务建模可以互相迁移;不同形态的机器人能共享学习经验和运动知识

例如,四足机器人在商场里学到的「避让人群」经验,可能会帮助无人机在空中理解「动态障碍」;自动驾驶模型中的「道路预测」,也能反哺轮式机器人在室内路径规划中的判断。

统一的输入与决策机制,让机器人真正具备了跨任务的「认知迁移」能力。

体系升维

从「任务模型」到「智能基座」

NavFoM 通过两项关键技术创新构建统一学习范式,让机器人不仅看得懂、记得住、学得会,还能联合利用不同本体、不同任务和不同场景的数据实现知识共享,最终成为一个基座模型,衍化出针对不同应用需求优化的产品级应用模型矩阵。

第一,TVI Tokens(Temporal-Viewpoint-Indexed Tokens)——让模型理解时间与方向

不同相机、不同角度、不同时间拍到的画面,常常让模型「迷失」。

TVI Tokens 就像时间轴与方向罗盘,给每一帧画面加上时间和视角的标记,让模型知道这幅图像来自哪个角度、哪个时刻,从而理解空间的连续变化

它让模型同时兼容单目、环视、无人机等多种视觉输入方式,真正具备「世界在变化」的时空理解能力。


第二,BATS 策略(Budget-Aware Token Sampling)——让模型在算力受限下依然聪明

导航时的视频数据极其庞大,不可能每一帧都处理。

BATS 策略像人类的注意力系统,会动态判断哪些画面是「关键帧」,哪些可以略过。

越靠近当前时刻、越重要的场景,采样概率越高,从而节省算力又不损失判断准确性。

这一机制让 NavFoM,这一7B参数级别的基座模型也能在真实机器人上毫秒级响应,兼顾实时性与精度。


给定 Token 上限,在不同帧数下的采样分布(左图);给定视频帧数,在不同Token上限下的采样分布(右图)

长程VLN任务



千万级高质量数据

让模型「学懂世界」

NavFoM 的能力还来自于它庞大的训练数据体系。

银河通用构建了前所未有的跨任务数据集:包含八百万条跨任务、跨本体导航数据,覆盖视觉语言导航,目标导航,目标跟踪,自动驾驶,网络导航数据等多种任务;

以及四百万条开放问答数据,让模型具备语言与空间之间的语义理解能力,这一训练量约为以往工作的两倍左右;


训练数据量对比

为降低训练对硬件的需求并支持更大规模训练,团队还对图像数据采用了视觉特征缓存(cache)机制,从而显著减少在线计算开销、提升训练效率。

这些数据覆盖了四足、人形、轮式、无人机等多种机器人形态,真正实现「在仿真中学,在现实中通」。


数据预处理

正因为有了这样的数据与工程保障,NavFoM 学到的不只是「走哪条路」,而是如何感知「世界的结构」和「目标的意义」。

这让它在陌生环境下依然能自主推理,完成零样本导航与决策。

凭借架构创新与数据规模,NavFoM 在多个国际公开基准上均达到或刷新 SOTA 水平:在 VLN-CE、HM3D-OVON、NavSim 等任务中表现领先;在目标搜索、视觉语言导航、自动驾驶等任务上均展现强大的跨任务泛化能力。

更重要的是,它能在真实机器人上直接部署,无需针对任务微调,只需修改自然语言指令或相机配置即可。

在实测中,NavFoM 成功驱动多种形态机器人执行复杂任务:四足机器人长程自主跟随、轮式机器人室内外混合导航、无人机复杂地形规划飞行、自动驾驶系统的路径推理与避障决策。

一个模型,驱动所有形态,标志着具身智能通用导航智能的雏形已然成形。

同一套模型实现机器狗,轮式机器人,无人机的跟随

体系再升维

从「智能基座」到「模型矩阵」

NavFoM 不仅仅是一项技术突破,更是银河通用具身大模型体系的重要基座。

以 NavFoM 的统一架构为基石,银河通用针对不同的落地需求,训练并发布了三个「身怀绝技」的应用模型:

TrackVLA++其能力相对于TrackVLA显著升级,能实现 30 分钟以上稳定的长程自主跟随,室内和室外均不在话下、并能适应多种更复杂路况和地形;

UrbanVLA针对室外场景应用需求,和 第三方地图软件打通,可根据地图指引,自主规划最优路线并行至目的地,在街道、天桥、单元楼等各种环境中穿梭自如,堪称机器人的「自动驾驶」,难度和复杂度较汽车「自动驾驶」更甚一筹;

MM-Nav支持 360° 无死角厘米级纯视觉避障,行业内首次突破躲避玻璃、细线等传统方案难以解决的极限困难,商业应用的「长尾困难」也轻松应对。

它们共同构成了从室内到城市、从汽车到机器人再到无人机的完整具身智能导航体系,让以导航大模型为驱动的具身智能机器人真正开始走向现实世界。

体系再再再升维

从「模型矩阵」到「规模化商业落地」

从单一任务模型到统一智能基座;以统一智能基座构建全栈模型矩阵;依托全栈模型矩阵实现规模化商业落地。

银河通用正推动导航技术从「局部功能」进化为「智能基础设施」,让机器人真正具备「理解空间、适应变化、自主行走」的能力

这种体系化模型能力,是未来具身智能大规模落地的关键。

从学习特定任务到理解通用知识,NavFoM 作为业内首个跨本体全域环视的导航基座大模型,第一次让机器人拥有了类似人类的通用「方向感」——在陌生街区中找路、在人群中穿行、在复杂空间中预测障碍等等。

而本次 NavFoM 的发布也标志着银河通用完成了从机器人导航从单一功能创新到智能基座建设的跨越,其将和银河通用的操作基座大模型 GraspVLA、GroceryVLA 等一起支撑起银河通用让具身大模型机器人走进千家万户、服务千行百业的宏大商业理想。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
蒋介石孙子被抓进警察局,警察:家长姓甚名谁?他指了墙上的照片

蒋介石孙子被抓进警察局,警察:家长姓甚名谁?他指了墙上的照片

浩渺青史
2026-01-29 20:17:57
这次军委的动作,真是让人倒吸一口凉气!

这次军委的动作,真是让人倒吸一口凉气!

百态人间
2026-01-27 15:31:38
AI板块,突爆大新闻!

AI板块,突爆大新闻!

君临财富
2026-01-29 21:00:07
白百合和大儿子合影,19岁元宝戴帽子像小老头,母子俩都做了美甲

白百合和大儿子合影,19岁元宝戴帽子像小老头,母子俩都做了美甲

蒂蒂茱家
2026-01-29 19:23:12
斯诺克罕见一幕:同时出现3场5-0!世界第十被淘汰,8强产生五席

斯诺克罕见一幕:同时出现3场5-0!世界第十被淘汰,8强产生五席

越岭寻踪
2026-01-30 00:34:57
金晨风波后被晒偶遇照,一脸愁容心事重重,助理和肇事现场照对上

金晨风波后被晒偶遇照,一脸愁容心事重重,助理和肇事现场照对上

古希腊掌管月桂的神
2026-01-29 22:42:29
善恶终有报!58岁央视美女主持王小丫,如今现状令人唏嘘不已

善恶终有报!58岁央视美女主持王小丫,如今现状令人唏嘘不已

郭蛹包工头
2026-01-30 04:23:39
女子用剁椒鱼头试探“网恋男友”,仍被骗68万

女子用剁椒鱼头试探“网恋男友”,仍被骗68万

中国日报
2026-01-29 12:00:59
花200万补课后续:380分儿子执意补课,母亲重病陪读,曝更痛隐情

花200万补课后续:380分儿子执意补课,母亲重病陪读,曝更痛隐情

阿讯说天下
2026-01-27 13:45:23
真相大白!以色列为何突然老实了呢?真实原因开始浮出水面

真相大白!以色列为何突然老实了呢?真实原因开始浮出水面

墨印斋
2026-01-20 16:46:58
中美俄罕见默契!佩斯科夫把话挑明:只要她还在,就没什么好谈的

中美俄罕见默契!佩斯科夫把话挑明:只要她还在,就没什么好谈的

娱乐督察中
2026-01-30 06:38:38
朝鲜战场志愿军大胜,彭德怀与金日成产生激烈争执,彭德怀直言:不行你们自己指挥

朝鲜战场志愿军大胜,彭德怀与金日成产生激烈争执,彭德怀直言:不行你们自己指挥

老杉说历史
2025-12-22 21:03:12
“金晨交通事故监控截图”爆了!其曾在节目中调侃自己车技,还被夸“别最粉的发卡开最猛的车”;警方成立调查组,律师回应

“金晨交通事故监控截图”爆了!其曾在节目中调侃自己车技,还被夸“别最粉的发卡开最猛的车”;警方成立调查组,律师回应

扬子晚报
2026-01-29 19:46:28
溥仪晚年见老宫女乞讨,问她为何不嫁人?宫女:我们这些人怎么嫁

溥仪晚年见老宫女乞讨,问她为何不嫁人?宫女:我们这些人怎么嫁

千秋文化
2026-01-29 21:22:16
阚清子生下畸形儿传闻仅1个月,恶心一幕再上演,网友:吃相难看

阚清子生下畸形儿传闻仅1个月,恶心一幕再上演,网友:吃相难看

晓隯就是我
2026-01-30 07:28:39
3-5!斯诺克大爆冷:又一世界冠军被淘汰,赵心童连失4局惨遭逆转

3-5!斯诺克大爆冷:又一世界冠军被淘汰,赵心童连失4局惨遭逆转

越岭寻踪
2026-01-29 06:07:57
吴千语和老公在智利旅游!穿性感泳装跳水不怕冷,脸上雀斑成亮点

吴千语和老公在智利旅游!穿性感泳装跳水不怕冷,脸上雀斑成亮点

小徐讲八卦
2026-01-30 07:23:05
SG林氏房产的瓜:6分钟视频流出,女主年薪百万,丈夫是帅哥

SG林氏房产的瓜:6分钟视频流出,女主年薪百万,丈夫是帅哥

温柔看世界
2026-01-28 17:08:10
悬念不大!本赛季NBA西部能打进季后赛的球队,大概率是这8支

悬念不大!本赛季NBA西部能打进季后赛的球队,大概率是这8支

毒舌NBA
2026-01-29 16:48:34
《梅拉尼娅》纪录片首映夜,川普说“票卖爆了”,现实却在疯狂打脸...

《梅拉尼娅》纪录片首映夜,川普说“票卖爆了”,现实却在疯狂打脸...

北美省钱快报
2026-01-29 08:13:49
2026-01-30 07:56:49
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
14438文章数 66548关注度
往期回顾 全部

科技要闻

周亚辉的AI新赌局:国内太卷 出海另起炉灶

头条要闻

又一艘美驱逐舰抵达中东 伊朗:若遭侵略将坚决反击

头条要闻

又一艘美驱逐舰抵达中东 伊朗:若遭侵略将坚决反击

体育要闻

詹姆斯哭了!骑士视频致敬41岁超巨

娱乐要闻

曝金晨涉嫌交通肇事逃逸 本人尚未回应

财经要闻

崔东树:中国汽车未来年销或达5000万辆

汽车要闻

车长超5米还带后轮转向 比亚迪海豹08/海狮08将亮相

态度原创

教育
游戏
本地
房产
手机

教育要闻

网爆百万人围观:期末考前的教室现状。老师:就我在学习

《寂静岭f》和《零红蝶RE》联动 推特别服装

本地新闻

云游中国|拨开云雾,巫山每帧都是航拍大片

房产要闻

寰岛学校卖楼,二次流拍!

手机要闻

小米17 Pro Max DXO影像成绩出炉 159分 全球第13名 拍照优秀

无障碍浏览 进入关怀版