通用基础模型通过工具参与机器人任务,为动作策略的数据扩展之外提供了另一条泛化路径:利用已有知识与推理,在执行过程中组织技能、验证结果并适应变化。本文是一篇观点与路线图论文,核心贡献不是新模型,而是统一Agentic Robotics的概念与评价方式。
论文按功能划分S2决策、S1技能与工具、S0实时控制,强调S2由基础模型和embodied harness共同实现;后者负责上下文、工具接口、规划、记忆与验证。针对物理世界的响应时限,提出capped scaling:在固定决策时限内提升能力。评测框架覆盖9个维度、53个子维度,其中29个与具身特性密切相关,区分模型能力与完整系统表现,要求独立验证结果并计入真实运行时间。最终,论文以动作原语、任务、工作流、长期职责四级路线,重新定义机器人进步的尺度:不仅能执行指令,还能在变化中持续完成受托工作。
![]()
论文题目:
Envisioning Agentic Robotics: A New Era of Robotic Systems
论文链接:
https://arxiv.org/abs/2611.18359v1
项目链接:
https://grid-robotics-official.github.io/agentic-robotics-roadmap/
从GPT-6 Astra的RoboCurve视频刷屏,到Fable 5.2在RoboDojo刷新成绩,具身最近出现了一个越来越明显的变化。
前几个月,大家讨论的是怎样训练一个更强的机器人策略:更多真机数据、更大的Model、更好的跨本体迁移。
现在,一批通用基础模型开始绕过这条路径。
它们理解任务、观察环境、编写代码、调用工具,动作失败后还能寻找原因并重新尝试。部分仿真任务中,通用模型配合Agent Harness,已经能够达到甚至超过专门训练的机器人策略。
问题随之也变得尖锐:
如果通用基础模型可以直接控制机器人,我们还需要为每类任务单独训练VLA和WAM吗?System 0 / 1 / 2 到底如何划分,又该如何协作?一个基础模型要具备哪些能力,才能支撑不同形态机器人的 System 2? 从数字世界走向物理世界,哪些经验可以迁移,哪些基础需要重建?
还有一个很关键的判断:Agentic Robotics 接下来的 roadmap 是什么?
近日,Grid Robotics发布了最新的84页综述《Envisioning Agentic Robotics: A New Era of Robotic Systems》,正在回答这个问题。
这篇survey没有发布一个新模型,也没有再造一套机器人Benchmark。
它做的事情更基础:为正在快速涌现的Agentic Robotics建立定义、系统架构、评测框架和发展路线图。
![]()
一、VLA和WAM没有消失,
它正在从“大脑”变成一种技能
过去的机器人系统,大多围绕动作策略组织。
用户给出一句任务指令,VLA或WAM根据视觉观测生成动作目标,再由底层控制器把动作转化为电机指令。无论模型中是否包含推理、子任务预测或上下文适应,系统的主角仍然是动作策略。
这篇综述将其称为Policy-centric Robotics。
Agentic Robotics改变了这个范式。
在新的系统中,基础模型负责理解用户真正想要什么,把任务拆解成若干步骤,选择VLA、WAM、运动规划器、感知模块或代码工具,并根据执行结果决定继续、重试、重新规划,还是停止。
VLA和WAM依然重要,只是它们被放到了可调用的技能层。
但从机器人系统看,被划分成了三个功能层级:
•System 2:理解意图、规划决策、调用能力并验证结果
•System 1:提供VLA、WAM、导航、感知和运动规划等技能
•System 0:处理逆运动学、关节控制、平衡和全身控制等实时问题
不过需要注意的是,这是一种功能划分,不等同于必须要三个模型。一个模型可以承担多个层级,一个层级也可以由多个模型和模块共同完成。
![]()
真正决定System 2身份的,是它能否完成两类决策:
一类是判断下一步怎样推进,包括继续、重试、换工具、重新观察、向用户询问或者停止;另一类是根据证据判断,上一个动作是否真的实现了预期结果。
只有规划,没有验证,系统依然没有闭环。
这也是Agentic Robotics与传统“LLM+机器人”方案最关键的区别。
![]()
二、模型只是System 2的一半,
另一半叫Embodied Harness
这篇综述最有价值的判断之一,是将System 2定义为:
基础模型与Embodied Harness共同构成的决策系统。
基础模型提供知识、理解和推理;Harness则负责把持续变化的物理世界整理成模型能够处理的context,并把模型的决策转化为受约束、可追踪、可验证的执行过程。
其中,这套Harness至少包含五个核心部分:
• context管理器:维护世界、用户与机器人身体的状态;
• 工具接口:向模型暴露VLA、WAM、感知、运动规划和代码工具;
• 规划器:拆解任务并根据执行结果更新计划;
• 记忆系统:保存上下文窗口之外的信息;
• 验证器:判断每一步及整个任务是否真正完成。
此外,机器人还需要实时事件监测器。它持续关注用户指令、机器人身体状态和场景变化;一旦检测到碰撞、人员进入工作区或用户突然喊停,可以中断System 2,必要时直接触发System 0的减速或停止。
模型可以慢慢思考,物理世界不会暂停。
因此,安全不能只依赖模型“判断正确”。力、速度、工作空间和紧急停止等硬约束,仍需由Harness、技能层和底层控制系统共同保证。
此外,这篇综述还进一步提出了“执行合同”的概念。
每个机器人技能都应明确输入参数、坐标系、单位、前置条件、预期结果、超时机制、取消方式以及执行结束后的状态。
一次物理调用需要经历:
提议 → 准入 → 下发 → 执行 → 确认终止 → 验证效果 → 提交进度
这套流程看起来像工程细节,却直接决定机器人是否会在超时后重复执行动作,是否会在取消命令尚未真正生效时启动下一个动作,以及是否会把“控制器运行结束”误认为“任务已经成功”。
物理世界中的杯子摔碎后,没有Ctrl+Z。
Harness因此不是模型外围的简单封装。
它更接近机器人系统的运行时操作系统。
![]()
Agentic Robotics参考架构
此外最近不少工作也显示,S2可以跳过S1直接控制S0,包括伯克利&英伟达发布的ATLAS。
三、同一个模型,换一套Harness,
结果可能相差52个百分点
如果只看模型排行榜,很容易低估Harness的影响。
但这篇综述的多项研究显示,在模型保持不变时,仅修改验证器、记忆、接口和工具调用后的决策流程,就能让成功率变化约9至35个百分点;在另一项研究中,将智能体限制在技能接口内,影响最高达到52个百分点。
之前的EmbodiedSkillBench则给出了一个更有冲突的结果。
技能接口让相对较弱的GPT-5.6-Sol成功率从11%提高到63%;但同样的接口,却把GPT-6 Astra从92%降到了61%。
当Astra可以自行决定调用、修改或忽略技能时,成功率又恢复到85%。
这意味着,工具并非越多越好。
当技能的能力低于模型原本可以完成的水平,工具会反过来限制模型。真正重要的是,Harness能否根据模型能力、任务状态和物理约束,提供合适的抽象层级。
同样的问题也出现在RoboDojo的成绩中。
综述统计了多组GPT-6 Astra结果:22.48%、37.82%、46.9%、69.9%、81.9%和85.0%。这些数字看似都在衡量同一个模型,背后使用的任务说明、经验记忆、工具库、推理预算、步数限制和上下文示例却并不相同。
它们无法直接排列高低。
所以每项System 2结果都应附带一张“Harness Card”,需要披露:
• 使用的模型版本与推理预算;
• Harness版本、提示词、技能库、记忆和验证器;
• 机器人本体以及System 1、System 0接口;
• 模型能够看到哪些观测,是否使用特权信息;
• 模型推理时,世界是否暂停;
• 实验次数、置信区间和人工干预;
• 取消执行与人工接管的具体机制。
这相当于提醒整个行业:以后再看到一个机器人基础模型刷新成绩,不能只问“用了哪个模型”。
还要问:
模型外面究竟搭了什么系统?
四、数字Agent的成功配方,
到了物理世界同时失效
为什么Coding Agent进步如此快,机器人Agent却困难得多?
这篇综述将数字智能体的快速发展归结为四个条件:
1. 输入输出接口天然适合模型;
2. 任务结果能够自动验证;
3. 训练数据足够丰富;
4. 环境可以低成本复制、重置和并行运行。
写代码时,模型可以直接读取文件和日志,输出文本或程序;编译器与单元测试能够快速判断结果;几十年积累的代码和文档形成了大规模训练语料;运行环境还能随时重置和并行复制。
![]()
机器人几乎同时失去了这四个条件。
相机只能看到局部场景,遮挡、噪声和延迟长期存在;质量、摩擦、柔顺性和接触力很难从视觉中直接获得。动作也不是一条指令就能自动生效,它还要经过坐标变换、运动规划、控制器和执行器。
任务结果同样很难判断。
视觉语言模型在证据模糊时存在偏向“成功”的倾向,机器人也经常过早宣布任务完成。
数据更是长期问题。
人类视频更容易规模化,却缺少机器人动作、接触力和触觉信息;触觉数据的规模化成本更高。
环境也无法像软件沙箱一样随时恢复。
仿真器适合刚体运动,但在柔性物体、液体、摩擦、磨损和复杂接触上仍有差距。真机训练的每次失败,都可能意味着人工复位、设备损耗甚至安全风险。
所以,数字Agent的五条方法论——闭环反馈、工具合同、上下文管理、执行与验证分离、能力技能化——可以迁移。
![]()
但支撑这些方法的基础设施必须重新建设:
• 用带来源、时间和不确定性的状态估计替代直接读取环境;
• 用校准过的验证器替代编译器和单元测试;
• 用部署、遥操作、人类视频和仿真组成具身数据引擎;
• 用经过真机校准的仿真与自动复位系统替代软件沙箱。
Agentic Robotics并非只是给数字Agent装上机械手那么简单,而是需要重建一整套“可行动、可验证、可恢复”的基础设施。
五、机器人需要的Scaling,
受到物理时间的上限约束
通用模型通常遵循一条直觉:给它更多推理Token和更长思考时间,能力会继续提升。
这篇综述将其称为Monotonic Scaling。
但机器人无法无限遵循这条曲线。
物体正在滑落、人员突然进入工作区、机器人即将失衡时,一条十秒后才得到的正确答案,可能已经成为错误动作。
![]()
这篇survey因此提出了Capped Scaling:
在固定决策时限内,提高模型能够达到的能力。
当前不同系统之间的时间尺度差异非常明显。
System 0通常运行在50Hz至1kHz;System 1的控制技能大约运行在5Hz至200Hz。GPT-6 Astra直接作为System 2使用时,单次决策可能需要7.7秒至39.86秒,比System 1的控制更新慢约40至8000倍。
![]()
这并不说明通用模型无法用于机器人。
它意味着System 2必须把快速闭环交给System 1和System 0,只在真正需要理解、规划、诊断和重新决策时介入。
这篇综述中汇总的RT-Safe实验更能说明问题。
![]()
在仿真世界暂停、等待模型完成推理时,困难路线的安全成功率为19.8%;当环境继续运行,安全成功率下降到0.7%,碰撞次数增加12.3倍。
很多漂亮的Agentic Robotics成绩,都建立在“世界愿意等模型想完”这个前提上。
真实世界不会。
所以,未来机器人模型需要比较的,除了任务成功率,还包括推理延迟、观测信息的新鲜程度、Token消耗、任务成本和错过决策时限的概率。
六、九维评测框架:
把模型能力与系统能力分开
RT-Safe给出了一个很刺眼的结果。
同样的模型、同样的任务,仅仅因为仿真环境不再暂停,安全成功率就从19.8%下降到0.7%,碰撞次数增加12.3倍。
这说明,进入物理世界后,一个结果衡量的早已不只是模型本身。
机器人没有完成任务,可能是模型没有理解场景,也可能是规划出现偏差、Harness调用了错误工具、技能接口限制了模型、底层控制没有跟上,或者决策到达时,环境已经发生变化。
这些失败最后都会被压缩成同一个数字:任务失败。
反过来,一个较高的成功率,也可能来自更丰富的工具、更长的推理时间、特权信息,甚至仿真世界在等待模型完成思考。
如果不把这些变量拆开,排行榜越丰富,行业可能反而越难判断:提升究竟来自模型,还是来自模型外面的系统?
因此,Agentic Robotics需要一套新的评测尺度。它既要衡量基础模型具备哪些能力,也要解释这些能力进入Harness、技能与机器人身体后,能否形成可靠的闭环结果。
![]()
围绕Embodied System 2,这篇综述归纳出八项核心能力:
• 知识;
• 理解;
• 推理;
• 工具使用;
• 记忆;
• 跨本体能力;
• 安全;
• 效率。
加上成本之后,形成9个评测维度、53个子项。其中29项与具身强相关,传统语言模型评测很少覆盖。
这个框架最重要的意义,是把模型能力与闭环系统能力分开。
模型能够识别物体滑落,属于理解;判断应该调整抓点还是重新抓取,属于推理;能否通过工具接口执行修正,属于工具使用;修正后物体是否稳定,仍需系统在闭环中验证。
如果只看最终成功率,很难知道失败来自模型、Harness、技能、控制器还是物理环境。
![]()
全篇survey对现有结果的判断也相当克制。
通用模型配合Harness,已经在部分范围较窄的仿真任务中超过专用策略;但在要求跨域、主动探索或身体理解的任务上,成绩依然不高:
• RobotWorld:19.0%;
• RoboQuest:23.2%;
• HumanCLAW:16.8%。
HumanCLAW中,最好的模型能够在64.9%的任务里找到目标,最终完成率却只有16.8%。机器人知道东西在哪里,身体依然到不了。
安全也存在明显的“文本—行动鸿沟”。
同一批模型面对危险文本指令时,拒绝率达到72%;切换到真实机器人末端控制后,拒绝率只剩18%。
模型知道什么危险,不代表它在行动过程中真的会停下来。
七、从完成动作到承担职责,
机器人的路线图变了
Grid Robotics最后在综述中提出了一套四级Roadmap。
它不再按参数量、任务数量或单次成功率衡量进步,而是看人类能够放心把多大的责任交给机器人。
有点像自动驾驶的定义,蛮有意思。
L1:Primitive
执行一个局部动作,例如抓起杯子、触碰把手,并检查结果。持续时间通常从亚秒到数秒。
L2:Task
协调多个技能完成一项完整任务,例如制作咖啡并送到用户手中。机器人需要拆解任务、监控执行并处理失败,通常持续数分钟。
L3:Workflow
统筹多个相互依赖的任务,例如同时为四个人准备早餐。机器人需要管理时间、优先级和共享资源,持续数小时。
L4:Role
长期承担一项职责,例如根据家庭成员的作息和偏好,每天负责早餐,并主动维护库存和购物清单。时间跨度达到数天甚至更长。
![]()
目前机器人正在提高L1和L2的可靠性,L3刚刚出现少量公司演示与仿真结果。
在非结构化环境中,还没有机器人能够在无人修复的情况下长期承担L4角色。
此外,这篇综述也对任务的space划了等级,发现现在大部分都是在Workcell、Room中测试,S2未来有望拓展到更大空间(Building,Site)。
![]()
八、写在最后
这篇84页白皮书没有证明Agentic Robotics已经解决了机器人泛化。
它真正完成的是一次重新分工。
模型仍然重要。
但模型不再独自代表机器人的智能水平。
Harness如何管理上下文,接口如何定义能力,reasoning efficiency,验证器怎样判断任务结果,安全机制能否在模型失误时及时接管,正在成为同等重要的竞争变量。
-The End-
本周上新!
扫码观看!
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章,并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励
投稿方式
发送邮件到
yimingzhang@thejiangmen.com
或添加工作人员微信(aceyiming)投稿,沟通投稿详情
关于我“门”
将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。
将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。
如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:
bp@thejiangmen.com
![]()
点击右上角,把文章分享到朋友圈
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.