网易首页 > 网易号 > 正文 申请入驻

全球首个!机器人也有“高德”了,银河通用联合北大研发

0
分享至



银河通用推出全球首个跨本体全域环视的导航基座大模型。

作者 | 许丽思

编辑 | 漠影

机器人前瞻11月5日报道,今天,银河通用联合北京大学、阿德莱德大学、浙江大学等团队,推出了全球首个跨本体全域环视的导航基座大模型——NavFoM(Navigation Foundation Model)。

在今年6月,银河通用发布端到端导航大模型TrackVLA,让机器狗在未训练过的真实场景跟随用户,完成自主移动、避障、转向,并能听懂语音语音指令。而这次发布的NavFoM则是让机器人具备了更强的自主性,在完全未知的环境中自己决定去哪、怎么走。


比如,在执行送甜点的任务时,NavFoM能够让机器狗跟随用户行动,遇到人流密集的情况,自主避开;而当跟随的人员从视线消失后,它可以自主分析寻找。


机器狗支持从跟随模式切换至导航模式,自主规划路线,知道过马路要走斑马线,避开可移动物体,遵守交规;导航让走过街天桥,机器狗也是说一不二,稳妥地完成上楼梯、下楼梯的过程,最终将物品送抵目的地。



01.

模型支持适配多种不同本体,

让机器人学会自己找路

NavFoM作为基座大模型,具有以下三大亮点:

全场景:同时支持室内和室外场景,未见过的场景Zero-Shot运行,无需建图和额外采集训练数据;

多任务:支持自然语言指令驱动的目标跟随和自主导航等不同细分导航任务;

跨本体:可快速低成本适配机器狗、轮式人形、腿式人形、无人机、甚至汽车等不同尺寸的异构本体。

除此之外,该模型允许开发人员以之为基座,通过后训练,进一步进化成满足特定导航要求的应用模型。

而这背后,是NavFoM重新定义了机器人导航的底层逻辑。过去,导航任务往往被拆分成识别、定位、规划等独立模块,模型之间缺乏统一语言。

NavFoM则建立了一个新的通用范式:“视频流+文本指令→动作轨迹”。无论是“跟着那个人走”,还是“找到门口的红车”,在NavFoM里都是同一种输入输出形式。模型不再依赖模块化拼接,而是端到端地完成“看到—理解—行动”的全过程。


NavFoM通过两项关键技术创新构建统一学习范式,让机器人不仅看得懂、记得住、学得会,还能联合利用不同本体、不同任务和不同场景的数据实现知识共享:

1、TVI Tokens(Temporal-Viewpoint-Indexed Tokens)——让模型理解时间与方向

不同相机、不同角度、不同时间拍到的画面,常常让模型“迷失”。TVI Tokens就像时间轴与方向罗盘,给每一帧画面加上时间和视角的标记,让模型知道这幅图像来自哪个角度、哪个时刻,从而理解空间的连续变化。它让模型同时兼容单目、环视、无人机等多种视觉输入方式,具备“世界在变化”的时空理解能力。


2、BATS策略(Budget-Aware Token Sampling)——让模型在算力受限下依然聪明

导航时的视频数据极其庞大,不可能每一帧都处理。BATS策略像人类的注意力系统,会动态判断哪些画面是“关键帧”,哪些可以略过。越靠近当前时刻、越重要的场景,采样概率越高,从而节省算力又不损失判断准确性。这一机制让 NavFoM,这一7B参数级别的基座模型也能在真实机器人上毫秒级响应,兼顾实时性与精度。


▲左为给定Token上限,在不同帧数下的采样分布;右为给定视频帧数,在不同Token上限下的采样分布

02.

以千万级高质量数据为基础,一个模型驱动所有形态

银河通用构建了一个跨任务数据集:包含八百万条跨任务、跨本体导航数据,覆盖视觉语言导航,目标导航,目标跟踪,自动驾驶,网络导航数据等多种任务;以及四百万条开放问答数据,让模型具备语言与空间之间的语义理解能力,这一训练量约为以往工作的两倍左右。


▲训练数据量对比

为降低训练对硬件的需求并支持更大规模训练,团队还对图像数据采用了视觉特征缓存(cache)机制,从而减少在线计算开销、提升训练效率,这些数据覆盖了四足、人形、轮式、无人机等多种机器人形态。


▲数据预处理

NavFoM在多个国际公开基准上均达到或刷新SOTA水平:在VLN-CE、HM3D-OVON、NavSim等任务中表现领先;在目标搜索、视觉语言导航、自动驾驶等任务上均展现强大的跨任务泛化能力。更重要的是,它能在真实机器人上直接部署,无需针对任务微调,只需修改自然语言指令或相机配置即可。

在实测中,NavFoM能够驱动多种形态机器人执行复杂任务:四足机器人长程自主跟随、轮式机器人室内外混合导航、无人机复杂地形规划飞行、自动驾驶系统的路径推理与避障决策。

03.

针对不同场景需求,已发布三个应用模型

以NavFoM的统一架构为基石,银河通用针对不同的落地需求,训练并发布了三个的应用模型:

TrackVLA++:其能力相对于TrackVLA显著升级,能实现30分钟以上稳定的长程自主跟随,室内和室外均不在话下、并能适应多种更复杂路况和地形。


UrbanVLA:针对室外场景应用需求,和第三方地图软件打通,可根据地图指引,自主规划最优路线并行至目的地,在街道、天桥、单元楼等各种环境中穿梭自如。


MM-Nav:支持360°无死角厘米级纯视觉避障,解决了躲避玻璃、细线等难题。


04.

结语:机器人具有方向感,是未来具身智能大规模落地的关键

像NavFoM这样的基座模型的出现,让机器人具备理解空间、适应变化、自主行走的能力,是未来具身智能大规模落地的关键。

当机器人能够在陌生街区中找路、在人群中穿行、在复杂空间中预测障碍,拥有了像人类一样的方向感时,就能进一步突破固定场景作业的限制,融入更多核心应用领域,加速人机协同时代的到来。


2025中国具身智能机器人大会预告


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
广西公职人员性侵酒醉女是有预谋的犯罪,应从重严惩

广西公职人员性侵酒醉女是有预谋的犯罪,应从重严惩

社会论道
2025-11-12 09:12:24
中央安全生产考核巡查组第十一组来沪开展考核巡查

中央安全生产考核巡查组第十一组来沪开展考核巡查

澎湃新闻
2025-11-12 20:42:28
女高中生发明“咯噔字体”,被老师0分警告:别挑战考试的底线

女高中生发明“咯噔字体”,被老师0分警告:别挑战考试的底线

妍妍教育日记
2025-11-10 18:21:35
不是杜锋,不是杨鸣,全运男篮唯一超额完成任务的主帅是丁伟!

不是杜锋,不是杨鸣,全运男篮唯一超额完成任务的主帅是丁伟!

越岭寻踪
2025-11-12 07:40:23
5年前花10万买乳山海景房的人,如今都怎样了?真相太扎心!

5年前花10万买乳山海景房的人,如今都怎样了?真相太扎心!

芳芳历史烩
2025-11-11 17:57:44
逐项分析,13岁于子迪离奥运冠军有多远?2项已超越但运气很差

逐项分析,13岁于子迪离奥运冠军有多远?2项已超越但运气很差

真理是我亲戚
2025-11-12 10:25:19
丁盛逝世,上级规定不准称他老红军,老部下追悼时看到四个字大恸

丁盛逝世,上级规定不准称他老红军,老部下追悼时看到四个字大恸

夏目历史君
2025-11-10 20:45:55
最近吵得沸沸扬扬的西安暖气空置费,到底应不应该缴

最近吵得沸沸扬扬的西安暖气空置费,到底应不应该缴

螺丝钉的咖啡时间
2025-11-12 10:27:28
辽宁选美冠军翻车!亚军季军颜值碾压,网友扒开选美比赛的潜规则

辽宁选美冠军翻车!亚军季军颜值碾压,网友扒开选美比赛的潜规则

热风追逐者
2025-11-12 07:45:03
亲戚听说你上岸后啥态度?网友:酸炸了,气到住院还要我掏医药费

亲戚听说你上岸后啥态度?网友:酸炸了,气到住院还要我掏医药费

夜深爱杂谈
2025-11-07 17:31:14
终于等到她,交枪了,不装了!

终于等到她,交枪了,不装了!

贵圈真乱
2025-11-12 12:47:00
全网舔屏!《唐诡3》许佳琪刷新了古装剧的颜值天花板

全网舔屏!《唐诡3》许佳琪刷新了古装剧的颜值天花板

喵喵娱乐团
2025-11-12 16:33:13
没买房的人赌赢了!十五五定调买房新规则,两类房越住越值钱

没买房的人赌赢了!十五五定调买房新规则,两类房越住越值钱

笑熬浆糊111
2025-11-11 00:05:10
190cm法国模特福德莉奇,黑丝长腿气场全开,富美身材引领潮流?

190cm法国模特福德莉奇,黑丝长腿气场全开,富美身材引领潮流?

娱乐领航家
2025-11-11 19:00:03
收到中方警告后,高市早苗知道事情闹大了,火速改口:我就是假设

收到中方警告后,高市早苗知道事情闹大了,火速改口:我就是假设

博览历史
2025-11-11 16:16:03
“我们撤出波克罗夫斯克啦,乌拉 !”:乌军士兵欣喜撤离该城市群

“我们撤出波克罗夫斯克啦,乌拉 !”:乌军士兵欣喜撤离该城市群

阿芒娱乐说
2025-11-13 06:37:32
32岁女教师跳楼身亡!俩娃没了妈,最大8岁,丈夫提2诉求却遭网暴

32岁女教师跳楼身亡!俩娃没了妈,最大8岁,丈夫提2诉求却遭网暴

揽星河的笔记
2025-11-12 15:29:49
政府“关门”大批航班取消,美国众议员骑摩托1500公里赶去华盛顿投票,相当于从武汉骑摩托到西宁

政府“关门”大批航班取消,美国众议员骑摩托1500公里赶去华盛顿投票,相当于从武汉骑摩托到西宁

极目新闻
2025-11-12 15:50:49
杨鸣:我参加了6届全运会,开头结尾都是第四,是球队的传承

杨鸣:我参加了6届全运会,开头结尾都是第四,是球队的传承

懂球帝
2025-11-12 20:51:05
中国政府、中国人民、中国军队,决不答应、决不容忍!

中国政府、中国人民、中国军队,决不答应、决不容忍!

占豪
2025-11-13 02:02:54
2025-11-13 07:51:00
机器人前瞻
机器人前瞻
专注于机器人报道的媒体
207文章数 4关注度
往期回顾 全部

科技要闻

月之暗面“内涵”奥特曼:钱不知道怎么烧的

头条要闻

邱毅:感觉两岸统一的脚步越来越近了

头条要闻

邱毅:感觉两岸统一的脚步越来越近了

体育要闻

消磨你上千小时的足球游戏,走过第20年

娱乐要闻

再王珞丹和白百何 明白两人"差别"在哪

财经要闻

段永平完整访谈:聊企业经营 投资理念

汽车要闻

7座皆独立座椅/新增5座版 体验第三代吉利豪越L

态度原创

家居
旅游
本地
房产
军事航空

家居要闻

情感之所 生活教会设计

旅游要闻

嶂石岩景区荣膺“世界旅游名山”称号

本地新闻

云游安徽 | 凌滩玉魄淬千年,诗意钢城马鞍山

房产要闻

海垦城建·鹿城壹号品牌发布会暨美学示范区璀璨启幕

军事要闻

美媒爆出猛料 "北溪"破坏行动由扎卢日内指挥

无障碍浏览 进入关怀版