告别「先建图再出发」，大模型如何重塑机器人导航？

把 Coding Agent 塞进机器狗？浙大团队推出 SuperNav，让机器人在陌生商场里“边看边找”。

编辑丨岑峰

当你把一台全新的扫地机器人买回家，它通常要做的第一件事，就是花几十分钟在屋里转悠“建图”。在传统的具身导航领域，“没有预先建好的地图，机器人就寸步难行”几乎成了铁律。

然而，当我们试图让机器人像人类一样在陌生的商场或办公楼里“找个座位”或“拿杯咖啡”时，这种极度依赖先验地图和硬编码流程的传统导航系统，瞬间就显得不够聪明了。

能不能让机器人摒弃“先建图、后行动”的执念，直接像人类一样“边走边看、自主决策”？

近日，浙江大学 ZJU3DV 团队（联合深圳大学、灵知机器人）给出了一份惊艳的答卷——通用智能体导航系统 SuperNav。他们巧妙地将数字世界中无所不能的 Coding Agent 引入物理世界，放弃了低效的 WASD 微操控制，转而采用一种极其优雅的“Pixel Goal（视觉指点）+ 底层运动”解耦架构。

在这项研究中，大模型化身为机器人的“最强大脑”，只需通过调用工具（Tools）和技能（Skills）查阅操作手册，就能在完全陌生的虚拟和真实环境中完成极度复杂的开放指令导航。目前，该系统不仅在三大国际权威 Benchmark 上表现优异，更已成功部署于四足机器人 Go2 上，展现出了令人惊叹的类人移动决策能力。

目前，SuperNav 的代码已全面开源。以下是 AI科技评论 与 ZJU3DV 团队围绕该研究的深度对话与独家解析。

01

论文信息和效果

浙江大学ZJU3DV团队提出的 SuperNav，让通用智能体走入物理世界，致力于在任意陌生环境里完成任意的导航指令。

团队进行了数千条导航任务的测试，覆盖Habitat-GS benchmark、AI2-THOR benchmark和常用导航benchmark HM3D ，并把系统接到真实机器人上，都得到了很高的导航成功率，并在导航过程中展现了类人的移动决策能力。

▎论文：SuperNav: An Agentic Navigation System for Any Task in Any Scene

作者：Jinkai Zhang、Jingyi Xu、Yuanhong Yu、Jiarui Guo、Ruizhen Hu、Hujun Bao、Xiaowei Zhou、Sida Peng

单位：浙江大学、深圳大学、灵知机器人

02

背景与目标

想象一个能陪你逛街的陪伴机器人。你说“找个地方坐一会儿”，它得理解你需要什么，看看附近哪里能休息，再带你过去。这样的日常请求，需要机器人在陌生环境中边看边找，有像人类一样的移动决策能力。

已有的导航系统依赖预先建好的地图，或为特定任务编排的流程。换一家商场、换一种需求，原来的准备就未必够用了。因此，已有导航系统基本只能落地于受限环境。

SuperNav 希望为机器人提供通用的移动能力：听懂日常请求，在不同场景中自主寻找目标，摒弃为每个新环境建图、为每种新任务编排流程的准备工作。

03

实现目标的核心思想

在数字世界中，基于Coding Agent的各种智能体系统已经接近于万能的数字伴侣，只要一声指令，它基本能帮助我们解决大部分电脑上的问题。它们能根据一句请求，自己调用工具、查看结果，遇到报错再修改方案。这种类人的决策能力，让团队想到：如果给它接上观察环境和移动的工具，它能不能自己找路？

团队今年6月份的时候把 Kimi Code 接进 Habitat-GS 仿真器，让它直接调用底层接口，发现它已经能完成导航任务，只是效率还很低，一个简单的到达视野内目标物体的指令都有可能跑数小时。

这个神奇的实验现象把团队在导航的工作重点引向了对于Physical Agent的设计：怎样让Coding Agent更有效地观察、更流畅地与物理世界交互、更可靠地完成任务？

04

具体的设计理念

SuperNav 的工作过程是一个持续循环：观察周围，决定下一步，调用工具移动，再看行动结果。Tools（工具）让它查看四周、移动和记录任务进度；Skills（技能）则像可随时翻阅的操作手册，提供搜索、目标核验和受阻后改道的经验。智能体根据当前情况选择工具，需要时查阅技能。

这些设计来自对执行过程的逐步回看。团队把智能体每一步看到的画面和采取的行动展示出来，找出重复观察、无效移动等问题，再改进工具或补充技能。

例如，一开始的导航小脑工具是WASD，需要智能体频繁决定往前走还是转弯。团队尝试过基于LocateAnything的导航小脑，这个工具也容易报错。最终采用基于Pixel Goal的导航小脑：智能体在画面中指出要去的地方，底层运动模块负责走过去。走到以后，智能体再根据新画面判断是否找对了、接下来去哪里。

05

实验效果

团队进行了数千条导航任务的测试，覆盖 Habitat-GS benchmark、AI2-THOR benchmark和常用导航benchmark HM3D ，并把系统接到真实机器人上，观察它如何完成日常寻找任务。

在真实办公环境里，四足机器人 Go2 能寻找篮球，也能按要求先找到打印机，再去找垃圾桶。寻找另一台 Go2 时，它遇到死路后换了一条工位间的通道，继续寻找目标。

在 Habitat-GS 中，机器人需要按顺序找到洗衣机、指定的盆栽和麻将桌，每找到一个就继续下一项。

在 AI2-THOR 中，请求还可以更含蓄：准备一处工作区。智能体需要自己判断该找什么，于是找到桌子、注意到花瓶，再寻找适合放花瓶的置物架。

06

代码开源

SuperNav的代码已经完全开源：https://github.com/zju3dv/SuperNav。欢迎导航方向的朋友来尝试。

论文全文：https://arxiv.org/abs/2610.12126v1

项目主页与演示视频: https://zju3dv.github.io/SuperNav/

07

Q&A

▎AI科技评论：⽂章中提到，项⽬的⼀个转折点是在今年 6 ⽉将 Kimi Code 接⼊ Habitat-GS 仿真器。从纯粹的Coding Agent ⾛向 Physical Agent，团队在这个过程中感受到的最⼤技术鸿沟是什么？

A：最⼤的技术鸿沟是，Ag ent调⽤ 的⼯具在物理世界中执⾏存在噪声和误差，所以需要设计Agent根据⼯具反馈的信息调整决策。此外，编程任务往往能⽤编译错误、测试结果来检查进展；⽽导航中的反馈要含糊得多，⼀次移动指令执⾏结束，可能只是机器⼈停下了，并不代表它到了正确的位置。

还有⼀个差别是，机器⼈只能看到当前位置附近的环境，不像Coding Agent能几乎完整地观察工作上下文。导航机器人每次⾏动都会改变它接下来能看到什么，⾛错路也要付出实际的移动成本。我们后来的⼯作就围绕这些问题展开：把观察、移动和执⾏反馈整理成模型容易使⽤的⼯具，再把搜索、核验、受阻恢复等经验写成可以按需读取的 Navigation Skills。希望模型每做出⼀个决定，都能从下⼀次观察中检查这个决定是否有效，并据此继续⾏动。

▎AI科技评论：在导航“⼩脑”的设计上，团队最终放弃了离散的 WASD 控制，转⽽采⽤了基于 Pixel Goal 的⽅案。为什么直接 WASD 控制的路径⾛不通？Pixel Goal 这种“视觉指点 + 底层运动”的解耦设计，在计算效率和抗错率上带来了哪些具体优势？

A：直接 WASD 控制完成导航任务，其实成功率很⾼，就是效率太慢了，需要⾮常多的Agent Steps。此外，如果每⼀次底层前进、转向都交给⼤模型决定，它就需要花很多轮观察和推理，才能完成⼀段很普通的移动。例如模型已经决定去⻔⼝，接下来还要不断判断转多少、⾛⼏步、有没有偏。这些细⼩的控制问题会占⽤⼤量交互，造成上下⽂的极度冗余，也容易让每⼀次偏差在连续动作中累积。

Pixel Goal 把⼀次决策变成“去画⾯⾥的这个位置”。模型可以指向⻔⼝的地⾯，也可以指向⽬标物体，由底层执⾏器把它转成可以接近的位置，再完成⼀段移动。模型不必先把图像中的⽬的地翻译成⼀串⽅向键操作。移动结束后，⼯具返回新画⾯和执⾏状态，模型再判断下⼀步。

计算上的收益主要来⾃减少⾼成本的⼤模型往返。⼀次选点可以对应底层多次运动更新，⼤模型集中处理搜索⽅向、⽬标辨认和任务进度。当然，选点本身不会让⼤模型单次推理变快，收益取决于它能减少多少不必要的决策回合。

容错上的好处是，细⼩的运动偏差可以在底层闭环中修正；如果⼀条路确实⾛不通，再把失败反馈给上层，让它重新选点或换路。这样，模型选对了⽬的地之后，不必同时把沿途每⼀个动作都算对。不过，Pixel Goal 也不能保证选点正确。看错⽬标、点到不可达区域，仍然需要靠执⾏反馈和到达后的重新观察来发现。

▎AI科技评论：真实物理世界充满了动态变化。SuperNav 在从虚拟仿真器跨越到真实的四⾜机器⼈ Go2 身上时，遇到了哪些意想不到的“坑”？团队是如何解决 Sim-to-Real 差异的？

A：⼀开始我们使⽤的导航⼩脑⼯具是基于Diffusion Policy的⽅法，发现在仿真器⾥⾯效果很好，但在真机上总是效果不好，Go2⽆法很好地完成Diffusion Policy预测的导航轨迹。最后我们暂时妥协，只能使⽤基于局部建图的传统规划器。

我们在实验中发现，我们的导航系统不需要任何⽹络fine-tuning，不管是mesh场景，gs场景，unity建模场景还是真实世界场景，对我们的智能都没有任何影响，这里遇到的Sim-to-Real gap主要集中在真机适配过程中的⼯程问题上。⼀个很具体的问题是：图像上指得很清楚的⼀个点，到了机器⼈这⼀侧，还要确定它在空间中对应哪⾥，以及机器⼈应该停在哪⾥。

在仿真中，我们可以直接获得深度、相机位姿和可通⾏区域；到了真机，这些条件要靠传感器、标定和定位来建⽴。我们最终选⽤的是宇树Unitree Go2 来进⾏部署⼏何执⾏器，它会结合相机内外参、拍摄这张图时的机器⼈位姿，以及 LiDAR 地图中的三维点，关联选中像素附近的表⾯，再确定接近位置。

▎AI科技评论：SuperNav 提倡“摒弃为每个新环境预先建图”。这是否意味着，传统的 SLAM 技术在未来的通⽤具身智能时代会被边缘化？您如何看待⼤模型驱动的 Agentic Navigation 与纯端到端视觉导航路线的未来关系？

A：我们并不认为 SLAM 会因此被边缘化。我们希望降低的是进⼊新环境之前的准备成本，让机器⼈可以带着任务开始观察和探索。执⾏过程中，定位和空间⼏何仍然很有⽤。Go2 的实现就会累积 LiDAR 观测，在线建⽴通⾏代价图，并使⽤机器⼈提供的⾥程计。

我们最新的⼯作也在探索如何把SLAM这个成熟的⼯具⽤在Agentic Navigation System中。SLAM 擅⻓解决机器⼈在哪⾥、周围空间是什么样的问题。⼤模型参与导航后，主要补充的是任务理解和搜索决策。这些能⼒可以和⼏何定位、建图⼀起⼯作。在⻓距离、⻓时间运⾏中，更可靠的定位和地图维护仍可能给整个系统带来直接收益。

总的来说，我们对 Agentic 的理解是：随着导航技术发展，各种⽅法都可以通过⼯具接⼝接⼊统⼀框架，由智能体根据任务需要调⽤，发挥各⾃的优势。⽐如，SLAM 提供定位和空间信息，⼏何规划器寻找可⾏路径，学习策略处理局部运动，⼤模型则结合⽤户意图和执⾏反馈，决定什么时候调⽤哪种能⼒、失败后如何调整。

因此，我们更关⼼的是，新⽅法能为整个系统补上什么能⼒。当更好的定位算法或端到端运动策略出现时，我们希望能够把它接进来，让已有的任务理解、搜索和核验能⼒继续发挥作⽤。SuperNav 的视觉点接⼝就是⼀个具体尝试：上层表达去哪⾥，下层既可以由⼏何⽅法执⾏，也可以由学习策略执⾏。我们期待这种分⼯让不同技术的进步更容易转化为完整机器⼈的能⼒。

为了方便大家抱团交流、互通会议消息，我们专门建了IROS2026参会交流群！进群你会解锁这些「福利」

• 会议情报站：投稿 DDL、格式规范、评审进度……关键节点第一时间送达，再也不怕错过 deadline，投稿准备稳稳的。

• 同行茶话会：天南海北的同行都在群里，聊心得、碰思路、攒人脉，科研路上我们同行。

• 前沿补给站：最新研究成果、热点方向实时同步，结合会议主题帮你捋清投稿脉络，给论文灵感加满油。

• 现场后援团：（会议期间专属开启）：到了会场也不用慌——

  路线导航：场馆分布、报告厅怎么走，群里随时问；

  议题共读：热门 session、Keynote 探讨，错过也能追；

  Poster 汇编：现场海报精华整理，一键收藏不遗漏；

  约局广场：约饭局、采访局、交流局……想唠嗑、想合作、想面基，群里发起就成。

进群传送门：扫码进群或添加微信Luyoyo_2026，备注：IROS + 单位/学校+姓名+方向。

搞科研/搞技术，信息差很重要。

来，一起快人一步！

上车，带你看遍全球 AI 顶会精华

可独家畅览：

专家演讲PPT

大会报告全文

热门论文解读

学术新星访谈

未经「AI科技评论」授权，严禁以任何方式在网页、论坛、社区进行转载！

公众号转载请先在「AI科技评论」后台留言取得授权，转载时需标注来源并插入本公众号名片。