网易首页 > 网易号 > 正文 申请入驻

魔法原子具身 Agent 框架拿下 MolmoSpaces 全球第一

0
分享至

南派资讯:近日,在由艾伦人工智能研究所(AI2)发起的全球权威具身智能零样本评测基准 MolmoSpaces 最新榜单上,魔法原子旗下面向通用机器人操作的 VLM Agent 框架 EchoPolicy-0 以 75.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第一,覆盖全部 4 个 v1 任务。

同一榜单、同一分组下,魔法原子自研具身智能 Agent 框架 MagicBrain 凭借 3.4B 参数规模,以 72.4%的机器人操作平均成功率位列 MolmoSpaces Combined 榜单全球第四,其抓取成功率达到 94.4%,远超行业平均水平。



魔法原子旗下具身智能 Agent 框架 EchoPolicy-0 位列 MolmoSpaces 榜单第一

MolmoSpaces 榜单是目前全球具身智能领域最具公信力的零样本评测基准,面向操作、导航与更长程的具身任务。MolmoSpaces 生态包含超过 23 万个室内环境、约 13 万个物体资产,为评测提供了丰富的变化来源。机器人需要面对超出固定演示环境的情况,在不同背景、几何结构与物体分布下寻找目标,并根据局部条件完成任务。

同时,MolmoSpaces 包含可移动的刚体物体和带关节的交互对象,机器人不仅要在图像中找对目标,还必须通过真实的仿真接触改变对象状态,让机器人的作业任务具有实质难度。

MolmoSpaces 的基准明确给出初始场景、机器人与相机配置、任务指令和成功条件,完整清单、统一计分与公开结果能够把零散演示转化为可比较的数据。魔法原子 EchoPolicy-0 与 MagicBrain 框架参与的四项务分别涉及自由物体抓取、关节物体交互和多阶段操作,从不同侧面考察具身智能 Agent 框架的系统能力,而不是只看一个单项指标。

2026 年以来,具身智能正从演示阶段走进真实产线,竞争重心上移到机器人的“大脑”——具身智能大模型。随着机器人运动控制能力快速提升,机器人的身体更灵活、更耐用,大脑的实际应用也随身体边界的打开而快速演进。相应地,市场的研究方向正在转向:如何完成更复杂的任务,如何快速上手新任务。MolmoSpaces 的评测,也同样关注具身智能大模型的泛化能力。

魔法原子研发实验室 MagicLab Studio 负责人表示:“在具身大脑路线的选择上,我们认可分层架构这种方式,并发现指令遵循能力是当前模型在通用任务上遇到的一个难点。EchoPolicy 通过 Agent 框架及轨迹打分的方式来保证指令遵循能力;MagicBrain 通过端到端视觉引导的方式来优化指令遵循效果,两者均取得了较好的结果。”

机器人要完成一项任务,需要把语言目标、视觉观察与物理动作持续连接起来。例如抓住物体之后,要判断是否真的拿稳;打开柜门之前,要找到可交互的位置;一次动作没有达到预期,机器人需要根据新情况调整计划。

这些动作看起来不同,但属于具身智能机器人跨任务需要面对的共通问题:目标在哪里,当前状态是什么,应该调用哪种能力,动作是否达到目的,以及失败后如何继续。

魔法原子 MagicLab Studio 围绕这些跨任务共通的问题,将视觉语言模型、几何操作工具与通用动作策略组织为统一的 VLM Agent 框架 EchoPolicy-0 ,让观察环境、理解目标、选择能力、执行动作,以及观测验证结果形成闭环。不同任务共享这套机制,具体的接触和运动由相应执行器完成。

EchoPolicy-0 框架研发负责人表示:“ EchoPolicy-0 的通用性体现在让能力能够被统一调用、组合和验证。 EchoPolicy-0 当前版本已在 Franka 单臂平台上完成四类操作验证。”

在 VLA 的使用方式上,魔法原子 MagicLab Studio 引入了 VLM 目标引导的多候选轨迹选择:让动作模型先提出多种可能的运动,将候选投影到图像平面,再依据 VLM 指定的目标选择更匹配的轨迹,并在执行后持续验证。高层视觉理解由此参与低层动作选择,而不仅停留在任务分解。



EchoPolicy-0 VLM 框架多候选轨迹选择原理

EchoPolicy-0 框架在 MolmoSpaces 的四项操作任务上完成了 3915 局全量评测,取得了 75.4% 的四项任务等权平均成功率,截至 2026 年 10 月 13 日,位列 MolmoSpaces Combined 榜单球第一。

魔法原子 MagicLab Studio 将 EchoPolicy-0 框架在 MolmoSpaces 上的四项评测视为统一框架的一次系统验证,同时用逐局结果指导后续迭代。EchoPolicy-0 展示了一条面向通用机器人操作的系统路线,统一 Agent 框架能够组织不同类型的操作能力:由 VLM Agent 组织语义目标和任务状态,由几何工具提供可检查的空间交互,由通用动作策略生成候选,通过 VLM 目标引导的轨迹选择约束动作方向,再由持续验证把它们连接起来。

EchoPolicy-0 针对具身智能模型落地场景,回答了一个问题:模型提出来的动作,怎么保证选的是对的那一个。 它不改模型的输入,而是在模型给出的多套候选动作里,按视觉目标筛出更匹配的一条,并在执行后持续验证。对下游客户而言,这条路线的价值不在单点成功率上——新增一类任务时,不必再从零搭一套系统,只要把能力接进同一套框架即可。

具身智能 Agent 框架 MagicBrain 来自魔法原子 MagicLab Studio ,在 MolmoSpaces 的抓取、抓取放置、打开与关闭四项操作任务上, MagicBrain 完成了 3915 局全量评测,四项 v1 任务平均成功率全球第四。其中,抓取(Pick-v1)、抓取放置(Pick & Place-v1)两项任务均拿下了所在任务榜单的全球第一,抓取任务成功率更是高达 94.4%。

视觉-语言-动作(VLA)是当前具身智能领域备受关注的一类模型架构,其语言跟随能力是行业内一个由来已久的共性问题。让模型执行“把苹果放进篮子”这类指令,包含了两件对它并不容易的事:先理解“苹果”这个名词,再在像素层面找出哪个是“苹果”。

魔法原子 MagicLab Studio 在研发测试中发现,抓取失败的案例里,绝大多数不是动作执行不稳,而是抓错了对象,或者放错了位置。换句话说,VLA 在动作学习上已经足够强,真正的短板在把名词短语绑定到图像区域,这也是它训练信号最稀疏的一环——想抓“苹果”却抓成旁边的“梨”,错不在手,而在眼睛。

实际上,VLA 对视觉信号的跟随能力,强于对语言指令的跟随:“听懂话”是 VLA 的短板,“看懂图”才是长板。为此,MagicBrain 采用了一套被称为 In-Context Visual Guidance(上下文视觉引导)的技术路线,VLA 只负责做动作,找目标这件事,交给更擅长看图的 VLM Agent。



具身智能Agent框架 MagicBrain 三层架构层级图

未来,这套视觉引导技术也可以迁移到交互等更多场景——毕竟,给模型“画”出该看的东西,不只适用于抓取。MagicBrain 提供了一个更省力的分工范式。语言说清“做什么”,像素说清“是哪个、在哪里”,把两路信息各交给擅长的模型,它没有引入新的模型结构,没有堆砌更大的参数量,只是重新排布了信息的传递路径。

“我们在 VLA 理解语言的基础上,让它进一步去‘看见’,并且知道该看什么”,魔法原子 MagicLab Studio 负责人表示,这一技术路线不依赖提升参数规模来换取大模型性能,此次参与评测的模型参数规模仅为 3.4B。

这意味着,任何具备基础数据能力的团队都能低成本复现,不卷模型大小也能拿到增益——在具身智能走向规模化的路上,“组合而非全能”的分工思路,或许比“一个模型通吃”更接近现实。

行业层面,魔法原子回答了一个备受关注的问题:VLA 到底能不能用得起、用得上。抓取与放置是具身智能从实验室走向真实场景的高频基础动作——工厂分拣、仓储搬运、家庭整理都依赖它。抓取成功率从此前 70% 到 94.4% 的跨越,意味着 VLA 正从“演示可用”逼近“产线可用”的临界线。对行业而言,每一点成功率提升,都在扩大可商业化的场景边界。

“在 MolmoSpaces 榜单上拿到了全球第一,但魔法原子关心的,是榜单背后那个真正的问题:具身智能机器人的大脑,到底应该怎么长,长在哪里。”魔法原子 MagicLab Studio 负责人表示。

魔法原子认为,具身智能应沿着分层协同的技术路线推进:由上层模型负责理解、规划与纠错,由底层模型负责将任务意图转化为可靠的物理动作。

上层模型要承担视觉理解、任务分解、规划决策、错误修正和记忆管理。目前前沿基础模型在这些方面已有较好基础,但仍需针对具身场景中的空间关系、物理约束和持续交互做适配。上述负责人认为,行业短期应重点建设围绕模型运行的 Harness,将上下文管理、工具调用、执行反馈和评测机制组织起来,并探索以反馈驱动的迭代优化,包括 RSI 方向;长期则需要依托真实场景数据开展自主训练与后训练,逐步增强模型本身的具身理解和决策能力。

该负责人表示,承担动作生成与控制执行的底层模型,可以采用 VLA、WAM 或其他混合架构。架构选择应服务于实际任务,重点考察指令遵循、动作精度、执行效率及泛化能力。

目前,分层架构本身在行业内已被广泛讨论,其中一个关键问题仍未得到充分解决:上层的任务意图,如何被底层准确理解并稳定执行。

魔法原子 MagicLab Studio 在实验中发现,现有动作模型在分布外(OOD)场景下仍容易出现目标选择错误、空间约束理解偏差等情况。为此,团队尝试了两种互补的解决思路。

第一种是本次拿下 MolmoSpaces 榜单第一的 EchoPolicy-0,通过 Agent 调度、候选选择和闭环验证,提高执行与指令的一致性。其中,上层模型将任务分解为明确的子目标,系统对底层模型生成的多条候选动作轨迹进行评估,选择更符合当前指令的候选;执行后,再依据新观测判断进展,决定继续、重试、重规划或回退,并按需调用几何工具完成特定操作。

这一技术路线的优势在于可以在不重新训练底层模型的情况下,通过改进调度、选择和验证机制快速迭代,提升已有模型的任务完成能力。

MagicBrain 的思路是通过显式视觉引导和配套训练,提高动作生成阶段的目标对齐能力。

其中值得借鉴的是上下层之间的视觉引导机制。MagicBrain 将上层识别出的交互目标、放置区域以及短期运动历史,以视觉标记的形式注入底层模型的观测,让任务意图直接对应到图像中的具体位置。该方法无需改变 VLA 的网络架构,通过配套后训练,使模型学会将视觉标记与操作语义、动作行为联系起来,从而降低仅依赖语言指令时的歧义。

两种思路分别作用于“动作生成”与“执行、选择、验证”两个环节,具有较强的互补性:视觉引导帮助底层生成更符合目标的动作,Agent 调度则负责选择、执行、检查和纠错。

此次 EchoPolicy-0 拿下第一、MagicBrain 拿下第四,两条路径的有效性都得到了验证。

谈及未来,魔法原子表示:“下一阶段,我们将进一步探索二者结合,形成从任务理解到物理执行的完整反馈闭环,并进入真实工业场景,持续检验任务成功率、运行稳定性和部署成本,并在这一过程中完善数据与模型平台。将经过验证的能力沉淀为可复用的技能模块、标准接口和解决方案,同时系统积累成功、失败及人工纠正数据,建立“部署—采集—训练—评测—

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
她是好声音最“水”冠军,夺冠一个月后无人问津,如今判若两人

她是好声音最“水”冠军,夺冠一个月后无人问津,如今判若两人

嘴角上翘的弧度
2026-10-15 17:49:48
北京王府井奥莱UP TOWN将于12月15日正式闭店

北京王府井奥莱UP TOWN将于12月15日正式闭店

每日经济新闻
2026-10-16 14:22:21
饭圈起源!世界第二站姐10个千人粉丝群曝光:操控数据 不许报道姐失利

饭圈起源!世界第二站姐10个千人粉丝群曝光:操控数据 不许报道姐失利

星光坠落r
2026-10-16 03:08:22
美国人突然发现一个事实:只要不惹中国,全球就一个对手也没有

美国人突然发现一个事实:只要不惹中国,全球就一个对手也没有

荷兰豆爱健康
2026-10-14 16:09:48
31岁律师精英身亡!长得很漂亮,从业4年就当合伙人,同行曝猛料

31岁律师精英身亡!长得很漂亮,从业4年就当合伙人,同行曝猛料

观史搜寻着
2026-09-07 19:07:18
世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

世界首次500强差距断崖:日本149家,美国151家,中国3家,如今呢

福建睿平
2026-08-28 07:25:16
一场4-0,让19岁天才一战封神:戴帽创造历史,身价只有2000万欧

一场4-0,让19岁天才一战封神:戴帽创造历史,身价只有2000万欧

足球狗说
2026-10-16 06:16:00
葡萄牙足协主席:C罗是实现欧国联夺冠目标的关键一环

葡萄牙足协主席:C罗是实现欧国联夺冠目标的关键一环

懂球帝
2026-10-16 22:51:09
环京300公里划为“禁飞区” ,掀起新一波京企“外迁潮”

环京300公里划为“禁飞区” ,掀起新一波京企“外迁潮”

起喜电影
2026-10-17 00:11:05
江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

江西省农业厅副厅长曹爱珍:仅5年从教师晋升副县长,耀眼明星终落马

十为先生
2026-09-11 14:18:51
樊振东恋爱真相大白!在德国的现状曝光,难怪首次谈及退役及心愿

樊振东恋爱真相大白!在德国的现状曝光,难怪首次谈及退役及心愿

趣味八卦
2026-10-03 11:11:17
中菲两军热线中断,菲律宾防长口出狂言:中方必须妥协方可恢复?

中菲两军热线中断,菲律宾防长口出狂言:中方必须妥协方可恢复?

阿绐聊社会
2026-10-17 04:23:44
降温前被“收编”,天安门陪武警站岗执勤的小橘猫或将正式入编“宫猫”,故宫博物院工作人员:正在医院检查,后续会优先找领养

降温前被“收编”,天安门陪武警站岗执勤的小橘猫或将正式入编“宫猫”,故宫博物院工作人员:正在医院检查,后续会优先找领养

大风新闻
2026-10-15 17:53:08
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
蒋中正的手写任命书冲上热榜!为什么当代人不识草书却贬低草书?

蒋中正的手写任命书冲上热榜!为什么当代人不识草书却贬低草书?

小豫讲故事
2026-10-14 06:00:17
CCTV5直播,中国男篮VS沙特男篮,已无容错率,这一战十分关键!

CCTV5直播,中国男篮VS沙特男篮,已无容错率,这一战十分关键!

体坛小快灵
2026-10-16 09:16:09
赛季5次首发!巴萨纸片人决意留队 经纪人会见德科表忠心

赛季5次首发!巴萨纸片人决意留队 经纪人会见德科表忠心

球事百科吖
2026-10-17 04:59:02
200架轰炸机,70架预警机,1300架战斗机,亚洲第一空军浮出水面

200架轰炸机,70架预警机,1300架战斗机,亚洲第一空军浮出水面

历史点行
2026-10-14 18:30:13
皇马左后卫之争:23岁新星防守更稳,穆里尼奥面临艰难抉择

皇马左后卫之争:23岁新星防守更稳,穆里尼奥面临艰难抉择

赛场名场面
2026-10-16 17:27:21
手握105万大军,冈村宁次听到投降第一反应:不是谢罪,是这招!

手握105万大军,冈村宁次听到投降第一反应:不是谢罪,是这招!

纪史行者
2026-10-16 03:30:03
2026-10-17 05:47:00
南派财经
南派财经
争取发出南派的声音
2615文章数 177关注度
往期回顾 全部

科技要闻

杨天若院士:AI是中国弯道超车的机会

头条要闻

李斌、何小鹏等多人发声 "特斯拉会飞"有三大疑问待解

头条要闻

李斌、何小鹏等多人发声 "特斯拉会飞"有三大疑问待解

体育要闻

工资一分不要,曼联名将想把母队带回西甲

娱乐要闻

郭富城现身香港大学,袁咏仪夫妇全程冷漠不搭话

财经要闻

港交所拟2028年下半年实施T+1结算

汽车要闻

特斯拉会飞?全新Roadster亮相

态度原创

教育
数码
家居
时尚
本地

教育要闻

人工智能时代让一切都变快了,那人的竞争优势就是感知情感和能慢下来的能力

数码要闻

曝英特尔将推8E + 4Xe版"Panther Lake"锐炫G掌机处理器

家居要闻

2026建博会(广州) 公装联探展交流活动

大学宿舍,精神炼狱

本地新闻

因新荣记出圈,这座浙东小城才是吃货天堂

无障碍浏览 进入关怀版