网易首页 > 网易号 > 正文 申请入驻

从模型到闭环系统,Agentic Robotics离可靠执行还有多远?

0
分享至

通用基础模型通过工具参与机器人任务,为动作策略的数据扩展之外提供了另一条泛化路径:利用已有知识与推理,在执行过程中组织技能、验证结果并适应变化。本文是一篇观点与路线图论文,核心贡献不是新模型,而是统一Agentic Robotics的概念与评价方式。

论文按功能划分S2决策、S1技能与工具、S0实时控制,强调S2由基础模型和embodied harness共同实现;后者负责上下文、工具接口、规划、记忆与验证。针对物理世界的响应时限,提出capped scaling:在固定决策时限内提升能力。评测框架覆盖9个维度、53个子维度,其中29个与具身特性密切相关,区分模型能力与完整系统表现,要求独立验证结果并计入真实运行时间。最终,论文以动作原语、任务、工作流、长期职责四级路线,重新定义机器人进步的尺度:不仅能执行指令,还能在变化中持续完成受托工作。


论文题目:
Envisioning Agentic Robotics: A New Era of Robotic Systems

论文链接:
https://arxiv.org/abs/2611.18359v1

项目链接:
https://grid-robotics-official.github.io/agentic-robotics-roadmap/

从GPT-6 Astra的RoboCurve视频刷屏,到Fable 5.2在RoboDojo刷新成绩,具身最近出现了一个越来越明显的变化。

前几个月,大家讨论的是怎样训练一个更强的机器人策略:更多真机数据、更大的Model、更好的跨本体迁移。

现在,一批通用基础模型开始绕过这条路径。

它们理解任务、观察环境、编写代码、调用工具,动作失败后还能寻找原因并重新尝试。部分仿真任务中,通用模型配合Agent Harness,已经能够达到甚至超过专门训练的机器人策略。

问题随之也变得尖锐:

如果通用基础模型可以直接控制机器人,我们还需要为每类任务单独训练VLA和WAM吗?System 0 / 1 / 2 到底如何划分,又该如何协作?一个基础模型要具备哪些能力,才能支撑不同形态机器人的 System 2? 从数字世界走向物理世界,哪些经验可以迁移,哪些基础需要重建?

还有一个很关键的判断:Agentic Robotics 接下来的 roadmap 是什么?

近日,Grid Robotics发布了最新的84页综述《Envisioning Agentic Robotics: A New Era of Robotic Systems》,正在回答这个问题。

这篇survey没有发布一个新模型,也没有再造一套机器人Benchmark。

它做的事情更基础:为正在快速涌现的Agentic Robotics建立定义、系统架构、评测框架和发展路线图。


一、VLA和WAM没有消失,
它正在从“大脑”变成一种技能

过去的机器人系统,大多围绕动作策略组织。

用户给出一句任务指令,VLA或WAM根据视觉观测生成动作目标,再由底层控制器把动作转化为电机指令。无论模型中是否包含推理、子任务预测或上下文适应,系统的主角仍然是动作策略。

这篇综述将其称为Policy-centric Robotics。

Agentic Robotics改变了这个范式。

在新的系统中,基础模型负责理解用户真正想要什么,把任务拆解成若干步骤,选择VLA、WAM、运动规划器、感知模块或代码工具,并根据执行结果决定继续、重试、重新规划,还是停止。

VLA和WAM依然重要,只是它们被放到了可调用的技能层。

但从机器人系统看,被划分成了三个功能层级:

•System 2:理解意图、规划决策、调用能力并验证结果

•System 1:提供VLA、WAM、导航、感知和运动规划等技能

•System 0:处理逆运动学、关节控制、平衡和全身控制等实时问题

不过需要注意的是,这是一种功能划分,不等同于必须要三个模型。一个模型可以承担多个层级,一个层级也可以由多个模型和模块共同完成。


真正决定System 2身份的,是它能否完成两类决策:

一类是判断下一步怎样推进,包括继续、重试、换工具、重新观察、向用户询问或者停止;另一类是根据证据判断,上一个动作是否真的实现了预期结果。

只有规划,没有验证,系统依然没有闭环。

这也是Agentic Robotics与传统“LLM+机器人”方案最关键的区别。


二、模型只是System 2的一半,
另一半叫Embodied Harness

这篇综述最有价值的判断之一,是将System 2定义为:

基础模型与Embodied Harness共同构成的决策系统。

基础模型提供知识、理解和推理;Harness则负责把持续变化的物理世界整理成模型能够处理的context,并把模型的决策转化为受约束、可追踪、可验证的执行过程。

其中,这套Harness至少包含五个核心部分:

• context管理器:维护世界、用户与机器人身体的状态;

• 工具接口:向模型暴露VLA、WAM、感知、运动规划和代码工具;

• 规划器:拆解任务并根据执行结果更新计划;

• 记忆系统:保存上下文窗口之外的信息;

• 验证器:判断每一步及整个任务是否真正完成。

此外,机器人还需要实时事件监测器。它持续关注用户指令、机器人身体状态和场景变化;一旦检测到碰撞、人员进入工作区或用户突然喊停,可以中断System 2,必要时直接触发System 0的减速或停止。

模型可以慢慢思考,物理世界不会暂停。

因此,安全不能只依赖模型“判断正确”。力、速度、工作空间和紧急停止等硬约束,仍需由Harness、技能层和底层控制系统共同保证。

此外,这篇综述还进一步提出了“执行合同”的概念。

每个机器人技能都应明确输入参数、坐标系、单位、前置条件、预期结果、超时机制、取消方式以及执行结束后的状态。

一次物理调用需要经历:

提议 → 准入 → 下发 → 执行 → 确认终止 → 验证效果 → 提交进度

这套流程看起来像工程细节,却直接决定机器人是否会在超时后重复执行动作,是否会在取消命令尚未真正生效时启动下一个动作,以及是否会把“控制器运行结束”误认为“任务已经成功”。

物理世界中的杯子摔碎后,没有Ctrl+Z。

Harness因此不是模型外围的简单封装。

它更接近机器人系统的运行时操作系统。


Agentic Robotics参考架构

此外最近不少工作也显示,S2可以跳过S1直接控制S0,包括伯克利&英伟达发布的ATLAS。

三、同一个模型,换一套Harness,
结果可能相差52个百分点

如果只看模型排行榜,很容易低估Harness的影响。

但这篇综述的多项研究显示,在模型保持不变时,仅修改验证器、记忆、接口和工具调用后的决策流程,就能让成功率变化约9至35个百分点;在另一项研究中,将智能体限制在技能接口内,影响最高达到52个百分点。

之前的EmbodiedSkillBench则给出了一个更有冲突的结果。

技能接口让相对较弱的GPT-5.6-Sol成功率从11%提高到63%;但同样的接口,却把GPT-6 Astra从92%降到了61%。

当Astra可以自行决定调用、修改或忽略技能时,成功率又恢复到85%。

这意味着,工具并非越多越好。

当技能的能力低于模型原本可以完成的水平,工具会反过来限制模型。真正重要的是,Harness能否根据模型能力、任务状态和物理约束,提供合适的抽象层级。

同样的问题也出现在RoboDojo的成绩中。

综述统计了多组GPT-6 Astra结果:22.48%、37.82%、46.9%、69.9%、81.9%和85.0%。这些数字看似都在衡量同一个模型,背后使用的任务说明、经验记忆、工具库、推理预算、步数限制和上下文示例却并不相同。

它们无法直接排列高低。

所以每项System 2结果都应附带一张“Harness Card”,需要披露:

• 使用的模型版本与推理预算;

• Harness版本、提示词、技能库、记忆和验证器;

• 机器人本体以及System 1、System 0接口;

• 模型能够看到哪些观测,是否使用特权信息;

• 模型推理时,世界是否暂停;

• 实验次数、置信区间和人工干预;

• 取消执行与人工接管的具体机制。

这相当于提醒整个行业:以后再看到一个机器人基础模型刷新成绩,不能只问“用了哪个模型”。

还要问:

模型外面究竟搭了什么系统?

四、数字Agent的成功配方,
到了物理世界同时失效

为什么Coding Agent进步如此快,机器人Agent却困难得多?

这篇综述将数字智能体的快速发展归结为四个条件:

1. 输入输出接口天然适合模型;

2. 任务结果能够自动验证;

3. 训练数据足够丰富;

4. 环境可以低成本复制、重置和并行运行。

写代码时,模型可以直接读取文件和日志,输出文本或程序;编译器与单元测试能够快速判断结果;几十年积累的代码和文档形成了大规模训练语料;运行环境还能随时重置和并行复制。


机器人几乎同时失去了这四个条件。

相机只能看到局部场景,遮挡、噪声和延迟长期存在;质量、摩擦、柔顺性和接触力很难从视觉中直接获得。动作也不是一条指令就能自动生效,它还要经过坐标变换、运动规划、控制器和执行器。

任务结果同样很难判断。

视觉语言模型在证据模糊时存在偏向“成功”的倾向,机器人也经常过早宣布任务完成。

数据更是长期问题。

人类视频更容易规模化,却缺少机器人动作、接触力和触觉信息;触觉数据的规模化成本更高。

环境也无法像软件沙箱一样随时恢复。

仿真器适合刚体运动,但在柔性物体、液体、摩擦、磨损和复杂接触上仍有差距。真机训练的每次失败,都可能意味着人工复位、设备损耗甚至安全风险。

所以,数字Agent的五条方法论——闭环反馈、工具合同、上下文管理、执行与验证分离、能力技能化——可以迁移。


但支撑这些方法的基础设施必须重新建设:

• 用带来源、时间和不确定性的状态估计替代直接读取环境;

• 用校准过的验证器替代编译器和单元测试;

• 用部署、遥操作、人类视频和仿真组成具身数据引擎;

• 用经过真机校准的仿真与自动复位系统替代软件沙箱。

Agentic Robotics并非只是给数字Agent装上机械手那么简单,而是需要重建一整套“可行动、可验证、可恢复”的基础设施。

五、机器人需要的Scaling,
受到物理时间的上限约束

通用模型通常遵循一条直觉:给它更多推理Token和更长思考时间,能力会继续提升。

这篇综述将其称为Monotonic Scaling。

但机器人无法无限遵循这条曲线。

物体正在滑落、人员突然进入工作区、机器人即将失衡时,一条十秒后才得到的正确答案,可能已经成为错误动作。


这篇survey因此提出了Capped Scaling:

在固定决策时限内,提高模型能够达到的能力。

当前不同系统之间的时间尺度差异非常明显。

System 0通常运行在50Hz至1kHz;System 1的控制技能大约运行在5Hz至200Hz。GPT-6 Astra直接作为System 2使用时,单次决策可能需要7.7秒至39.86秒,比System 1的控制更新慢约40至8000倍。


这并不说明通用模型无法用于机器人。

它意味着System 2必须把快速闭环交给System 1和System 0,只在真正需要理解、规划、诊断和重新决策时介入。

这篇综述中汇总的RT-Safe实验更能说明问题。


在仿真世界暂停、等待模型完成推理时,困难路线的安全成功率为19.8%;当环境继续运行,安全成功率下降到0.7%,碰撞次数增加12.3倍。

很多漂亮的Agentic Robotics成绩,都建立在“世界愿意等模型想完”这个前提上。

真实世界不会。

所以,未来机器人模型需要比较的,除了任务成功率,还包括推理延迟、观测信息的新鲜程度、Token消耗、任务成本和错过决策时限的概率。

六、九维评测框架:
把模型能力与系统能力分开

RT-Safe给出了一个很刺眼的结果。

同样的模型、同样的任务,仅仅因为仿真环境不再暂停,安全成功率就从19.8%下降到0.7%,碰撞次数增加12.3倍。

这说明,进入物理世界后,一个结果衡量的早已不只是模型本身。

机器人没有完成任务,可能是模型没有理解场景,也可能是规划出现偏差、Harness调用了错误工具、技能接口限制了模型、底层控制没有跟上,或者决策到达时,环境已经发生变化。

这些失败最后都会被压缩成同一个数字:任务失败。

反过来,一个较高的成功率,也可能来自更丰富的工具、更长的推理时间、特权信息,甚至仿真世界在等待模型完成思考。

如果不把这些变量拆开,排行榜越丰富,行业可能反而越难判断:提升究竟来自模型,还是来自模型外面的系统?

因此,Agentic Robotics需要一套新的评测尺度。它既要衡量基础模型具备哪些能力,也要解释这些能力进入Harness、技能与机器人身体后,能否形成可靠的闭环结果。


围绕Embodied System 2,这篇综述归纳出八项核心能力:

• 知识;

• 理解;

• 推理;

• 工具使用;

• 记忆;

• 跨本体能力;

• 安全;

• 效率。

加上成本之后,形成9个评测维度、53个子项。其中29项与具身强相关,传统语言模型评测很少覆盖。

这个框架最重要的意义,是把模型能力与闭环系统能力分开。

模型能够识别物体滑落,属于理解;判断应该调整抓点还是重新抓取,属于推理;能否通过工具接口执行修正,属于工具使用;修正后物体是否稳定,仍需系统在闭环中验证。

如果只看最终成功率,很难知道失败来自模型、Harness、技能、控制器还是物理环境。


全篇survey对现有结果的判断也相当克制。

通用模型配合Harness,已经在部分范围较窄的仿真任务中超过专用策略;但在要求跨域、主动探索或身体理解的任务上,成绩依然不高:

• RobotWorld:19.0%;

• RoboQuest:23.2%;

• HumanCLAW:16.8%。

HumanCLAW中,最好的模型能够在64.9%的任务里找到目标,最终完成率却只有16.8%。机器人知道东西在哪里,身体依然到不了。

安全也存在明显的“文本—行动鸿沟”。

同一批模型面对危险文本指令时,拒绝率达到72%;切换到真实机器人末端控制后,拒绝率只剩18%。

模型知道什么危险,不代表它在行动过程中真的会停下来。

七、从完成动作到承担职责,
机器人的路线图变了

Grid Robotics最后在综述中提出了一套四级Roadmap。

它不再按参数量、任务数量或单次成功率衡量进步,而是看人类能够放心把多大的责任交给机器人。

有点像自动驾驶的定义,蛮有意思。

L1:Primitive

执行一个局部动作,例如抓起杯子、触碰把手,并检查结果。持续时间通常从亚秒到数秒。

L2:Task

协调多个技能完成一项完整任务,例如制作咖啡并送到用户手中。机器人需要拆解任务、监控执行并处理失败,通常持续数分钟。

L3:Workflow

统筹多个相互依赖的任务,例如同时为四个人准备早餐。机器人需要管理时间、优先级和共享资源,持续数小时。

L4:Role

长期承担一项职责,例如根据家庭成员的作息和偏好,每天负责早餐,并主动维护库存和购物清单。时间跨度达到数天甚至更长。


目前机器人正在提高L1和L2的可靠性,L3刚刚出现少量公司演示与仿真结果。

在非结构化环境中,还没有机器人能够在无人修复的情况下长期承担L4角色。

此外,这篇综述也对任务的space划了等级,发现现在大部分都是在Workcell、Room中测试,S2未来有望拓展到更大空间(Building,Site)。


八、写在最后

这篇84页白皮书没有证明Agentic Robotics已经解决了机器人泛化。

它真正完成的是一次重新分工。

模型仍然重要。

但模型不再独自代表机器人的智能水平。

Harness如何管理上下文,接口如何定义能力,reasoning efficiency,验证器怎样判断任务结果,安全机制能否在模型失误时及时接管,正在成为同等重要的竞争变量。

-The End-

本周上新!

扫码观看!

“AI技术流”原创投稿计划

TechBeat是由将门创投建立的AI学习社区(www.techbeat.net)。社区上线700+期talk视频,3000+篇技术干货文章,方向覆盖CV/NLP/ML/Robotis等;每月定期举办顶会及其他线上交流活动,不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台,希望为AI人才打造更专业的服务和体验,加速并陪伴其成长。

投稿内容

// 最新技术解读/系统性知识分享 //

// 前沿资讯解说/心得经历讲述 //

投稿须知

稿件需要为原创文章,并标明作者信息。

我们会选择部分在深度技术解析及科研心得方向,对用户启发更大的文章,做原创性内容奖励

投稿方式

发送邮件到

yimingzhang@thejiangmen.com

或添加工作人员微信(aceyiming)投稿,沟通投稿详情

关于我“门”

将门是一家以专注于数智核心科技领域的新型创投机构,也是北京市标杆型孵化器。 公司致力于通过连接技术与商业,发掘和培育具有全球影响力的科技创新企业,推动企业创新发展与产业升级。

将门成立于2015年底,创始团队由微软创投在中国的创始团队原班人马构建而成,曾为微软优选和深度孵化了126家创新的技术型创业公司。

如果您是技术领域的初创企业,不仅想获得投资,还希望获得一系列持续性、有价值的投后服务,欢迎发送或者推荐项目给我“门”:

bp@thejiangmen.com


点击右上角,把文章分享到朋友圈

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

别买!基本假的!又一产品大翻车,成本只有 10 元,很多人长期上当

云居历史
2026-11-20 00:35:53
CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

CCTV5直播中沙男篮世预赛,周琦是赢球关键,郭士强算盘打得很好

体育大学僧
2026-11-21 11:40:50
体操冠军被欠社保91个月!曝光后7小时补齐 官媒:这效率让人不安

体操冠军被欠社保91个月!曝光后7小时补齐 官媒:这效率让人不安

念洲
2026-11-21 08:37:10
上海普陀祥和名邸业主反映小区内千余棵树遭“砍头式”修剪 物业:流程合规

上海普陀祥和名邸业主反映小区内千余棵树遭“砍头式”修剪 物业:流程合规

信网
2026-11-21 10:46:04
回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

回顾:山东女子野生虎区强行下车,与幼虎合照,10分钟后悲剧发生

兰姐说故事
2025-01-17 10:30:03
我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

我退休金7千,存款有100万,血的教训告诉我,不要和谁上演黄昏恋

白云故事
2025-05-27 08:05:08
日本发布了最新中日关系民意调研结果!出乎人意料

日本发布了最新中日关系民意调研结果!出乎人意料

荆楚寰宇文枢
2026-11-20 22:39:50
耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

耻辱罚球!火箭124-133掘金,看数据:他是头号罪人!

运筹帷幄的篮球
2026-11-21 12:17:53
贵金属价格波动加剧,工商银行发布市场风险提示

贵金属价格波动加剧,工商银行发布市场风险提示

环球网资讯
2026-11-20 15:52:21
本田新车官宣:11月21日,正式发布

本田新车官宣:11月21日,正式发布

3C毒物
2026-11-21 10:42:57
李乃文51岁重庆买房:戏熬出来,家安下来

李乃文51岁重庆买房:戏熬出来,家安下来

可乐谈情感
2026-11-21 15:32:05
习酒前董事长钟方达被双开,此前被传已去世

习酒前董事长钟方达被双开,此前被传已去世

21世纪经济报道
2026-11-20 21:36:51
终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

终于知道男生长得帅能带来多少好处!看网友分享目瞪口呆,大为震撼

夜深爱杂谈
2026-11-19 20:44:12
贵州支教女老师遇害,6岁学生保留证据21年,真凶令人难以置信

贵州支教女老师遇害,6岁学生保留证据21年,真凶令人难以置信

晓艾故事汇
2024-11-25 23:58:32
特朗普公开表示:我支持黄仁勋重返英伟达,若董事会聪明的话,应该接受他的道歉;中美可搭建超级智能共同护栏,但美国仅对华输出老旧芯片

特朗普公开表示:我支持黄仁勋重返英伟达,若董事会聪明的话,应该接受他的道歉;中美可搭建超级智能共同护栏,但美国仅对华输出老旧芯片

吉刻新闻
2026-11-21 15:47:50
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
皇马阿隆索下课时胜率70.6%仍下课,弗洛伦蒂诺为何请回穆里尼奥

皇马阿隆索下课时胜率70.6%仍下课,弗洛伦蒂诺为何请回穆里尼奥

蓝猫说剧
2026-11-21 11:28:04
我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

我姐在银行干活,2023年忽悠我买了100克金条保值,485块一克,扔进去四万八,今年金价窜到800多,拿去卖的时候傻眼了...

财经要参
2026-11-03 12:00:06
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

1970年西哈努克被推翻流亡北京,五年间生活优渥甚至想迎娶女演员,回国后亲人接连遇难,他为何没有选择复仇

唠叨说历史
2026-11-10 19:55:18
2026-11-22 00:07:00
将门创投 incentive-icons
将门创投
加速及投资技术驱动型初创企业
2545文章数 597关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
游戏
本地
教育
公开课

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

PC Gamer试玩GTA6百小时:双主角出色但任务重复

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

教育要闻

曾经“感动中国”的庞众望完成清华大学博士论文答辩,本人发声:将继续潜心钻研,在科研探索的道路上不断前行

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版