网易首页 > 网易号 > 正文 申请入驻

唯一超过Fable 5.2:不走VLA,也不走WAM,他们用旧Claude拿了第一

0
分享至

11 月 10 日,Anthropic 发布新一代模型 Fable 5.2,再次将通用大模型的物理行动能力推向新的高度。

在 Anthropic 公布的评测结果中,Fable 5.2 在 RoboDojo Sim 双臂机器人仿真评测中取得了 64.9% 的正确率,较上一代 Fable 5.1 大幅提升,也显著领先 GPT-6 Astra。Anthropic 还展示了模型完成拧瓶盖、操作魔方、绘画等机器人任务的能力。通用的物理行动能力正在成为前沿模型竞争的新焦点。





截至 11 月 11 日,在 Robodojo Sim Agent 榜单上,Claude Fable 5.2 可以排名第二,仅次于 10 月 30 日登榜的 Q0-Preview :任务成功率达到 68.87%,综合得分 74.2。Q0-Preview 也是该榜单开榜以来首个综合得分突破 70 的方案。比成绩更值得关注的是技术路径。Q0-Preview 没有沿用 VLA 或 WAM 技术范式,而是采用 Agent 路线,探索如何发挥前沿多模态大模型的任务规划、空间感知、记忆反馈、工具调用等复合能力,自主实现复杂物理操作任务。



令人惊讶的是,Q0-Preview 背后驱动的基座大模型竟然不是广受好评的 GPT 6 Astra,而是 Claude 的上一代模型 Opus 5.5!而 Anthropic 官方汇报 Opus 5.5 的正确率仅有 39.4。因此,当通用大模型开始加速进入物理世界,更深层的问题也随之浮现:通用大模型的物理行动能力边界在哪里?如何融合大模型的空间理解和推理能力和对具身的 know-how 得到更好的物理行动能力?

本文作为 Q0-Preview 的技术前瞻,简要介绍乾章智能(Qoo Tech)在 Physical Agent 上的探索。

Q0-Preview 官测代码已开源。

GitHub 地址:https://github.com/XPolicyLab/XPolicyLab/tree/main/policy/Q0_Preview

一个开放性的问题:驱动大模型进行具身操作的本质是什么?

Q0-Preview 的核心观点是:确定每个操作阶段的接触位置与接触姿态。

以抓取苹果这个简单任务为例,识别到苹果这个目标物体之后,还需要确定抓取苹果的哪个部位、夹爪从哪个方向接近,以及以什么朝向夹持。将这些判断转化为机械臂的目标位姿,进一步生成可执行动作,这个问题就迎刃而解。

核心方案:空间计算即可具身操作

通用多模态智能体已具有出色的多模态感知和编程能力,但是对于具身控制而言,这两个能力是否能够以及如何充分被利用是一个新的开放性问题。

回到刚刚我们抛出的问题,控制本身即预测接触信息和接触姿态,姿态本身也可以由多个点确定下来,因此多模态智能体在其中就可以承担了一个桥梁的作用,感知多个像素点通过计算的方式计算接触信息在空间的坐标从而实现操作。

因此,Q0-Preview 提出充分利用模型的空间感知与编程能力,即通过单 / 多目观察识别目标像素位置,结合相机内外参与像素坐标计算工具进行空间计算,即将图像中的接触目标像素定位到世界坐标系。

具体而言,对于夹爪,模型可以通过三个空间参考点表达夹爪目标位姿和接触信息,即两个有序点的中点确定参考接触位置、连线确定夹持方向,第三个点补充接近方向。由此,位置与姿态的表示以及接触信息被统一为可计算的空间计算问题。

多模态智能体根据观测和指令决定当前阶段的子任务,并提交目标位置姿态与夹爪指令。下游 cuRobo 等运动规划组件将其转化为连续动作。执行后,多模态智能体根据新观测检查结果并调整下一步,形成 “观察 — 计算 — 执行 — 反馈” 的闭环。

Harness:让大模型真正

从 “会算” 到 “会做”

围绕上述核心方案,Q0-Preview 构建了一套 Harness,规范模型与观测、工具及执行模块之间的交互。

1. 明确执行边界以及工具调用

统一模型可获取的观测、机器人状态和先验信息,约定思考与工具调用预算,以及控制指令的输出格式。任务按短动作组推进,在必要的中间阶段设置视觉检查点,根据执行结果决定继续或重新规划。规范模型调用现成或者自行编写程序实现图像裁剪、局部放大等工具辅助空间计算。

2. 通过仿真试错积累通用操作经验

在开发阶段通过仿真试错,总结可供通用的模型参考操作规则。例如,利用空闲手的腕部相机辅助观察、减少遮挡;规划路径时兼顾碰撞规避与后续可见性;根据抓取、搬运和放置等阶段调整运动速度等等。这些技能可以在仿真中学习迁移到真机上。

3. 补充任务要求,明确完成条件

针对部分任务说明较为笼统的问题,Q0-Preview 补充静态任务规则、完成条件及必要的操作建议,减少模型理解与评测要求之间的偏差。执行过程中不会读取任何评测器的实时奖励或环境判定信号。

4. 管理上下文与任务记忆

保留初始信息、近期观测和紧凑的任务记忆,记录已确认的进展、当前状态与后续目标,控制上下文增长带来的开销。同时,通过明确接口隔离上游决策与下游执行,使多阶段操作能够持续衔接。

能力展示

值得关注的是,Q0-Preview 在多个维度展现出令人惊艳的表现,在某些任务表现的丝滑程度甚至超越了专家遥操作。

1. 双臂同步操作

在同一行动阶段为左右臂分别设置目标,同步推进可以并行的操作。



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ

2. 双臂协同操作

围绕共同目标安排双臂分工,根据支撑、交接等动作之间的依赖关系协调执行。



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ

3. 精准操作

通过多视角观察后的空间计算确定位置和朝向,并利用接近后的新观测修正偏差。



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ

4. 自适应调整

根据物体状态变化和动作执行结果,重新定位目标、调整姿态或修订操作计划。



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ

5. 记忆

保留此前获得的信息与已完成步骤,在后续阶段据此决策,完成依赖历史信息的任务。



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ



视频链接:https://mp.weixin.qq.com/s/C3PfYyQM07XLwfE7xCGwAQ

物理智能的真正挑战才刚刚开始

乾章智能(Qoo Tech)提出的 Q0-Preview 展示了前沿基础大模型在具身操作中的潜力。基础大模型正在为具身领域带来新的技术拐点:将语义理解、空间推理和工具调用,与机器人操作中的关键约束相结合,有机会以简洁直接的方法取得显著进展。

然而,要想推动基础大模型在真实具身环境和任务上落地,仍面临多方面严峻挑战。

首先是推理效率与成本。前沿大模型为了完成看似简单的具身操作,可能消耗百万级 Token 和数小时的推理时间。这样的时间与经济成本,距离实际部署的要求仍有明显差距。如何在保持操作能力的同时,减少冗余推理与工具调用,提高决策效率,是具身 Agent 必须解决的问题。

更基础的问题是:大模型的具身操作能力究竟来源于哪里?GPT 6 Astra 是前沿大模型投向具身领域的一声惊雷,其时外界纷纷猜测 GPT 6 Astra 的训练数据添加了非常多的具身 EGO 数据,因而带来了空间理解和具身操作能力的跃迁。然而,Q0-Preview 基于 Opus 5.5 的实践,促使我们进一步思考:具身数据、代码生成、工具调用乃至三维生成等因素,到底是谁对大模型物理操作能力产生了突出贡献?模型自身的能力与 Harness 的设计又如何相互作用?这些问题尚不能由单一的榜单成绩回答,需要通过系统性的对照实验厘清,才能为未来的数据建设、训练目标与系统设计提供更明确的方向。

此外,较长的推理延迟,也限制了当前具身 Agent 对动态环境的适应能力。在真实世界中,物体与环境不会等待模型完成思考,观测到执行之间的变化可能使原有计划失效。如何及时响应动态变化,将视觉与力、触觉反馈结合,并在长期运行中应对扰动、恢复失败、保持操作可靠性,仍需要持续探索。

尽管上述挑战仍待解决,基础大模型展现出的零样本泛化能力,已经为具身智能带来了新的技术路径。Q0-Preview 的探索让我们看到,将通用模型能力与具身领域的知识和约束相结合,有望持续拓展机器人的任务边界。基础大模型所开启的可能性,正在预示具身智能新拐点的到来!

团队将近期发布技术报告与更快速干净的新版代码,补充技术细节、展示更多真机实验,并进一步讨论当前方法的能力边界与后续方向。敬请期待!

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
2020年,我国男性比女性多3502万,到了2026年,男女比令人意外

2020年,我国男性比女性多3502万,到了2026年,男女比令人意外

抽象派大师
2026-11-22 01:36:00
同居第二晚,女友脱了裤子,我愣愣看了半天

同居第二晚,女友脱了裤子,我愣愣看了半天

新时代的两性情感
2026-11-20 17:15:15
神舟二十四号乘组3名航天员参加全系统合练!

神舟二十四号乘组3名航天员参加全系统合练!

轻舟一号
2026-11-21 19:39:31
波罗申科的预言7年后成真:选泽连斯基当总统,千万乌克兰人将付出代价

波罗申科的预言7年后成真:选泽连斯基当总统,千万乌克兰人将付出代价

磊子讲史
2026-10-27 14:51:43
50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

50岁舒淇状态吊打同龄人,极致自律曝光:几乎不乱吃,有空就运动

观鱼听雨
2026-11-21 19:16:00
赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

赵本山的小女儿球球直播时承认父亲公司的那些知名艺人,她和哥哥管不了,也没那个能力管

一盅情怀
2026-11-16 16:02:42
这首诗,夸王忠林“不负山河”

这首诗,夸王忠林“不负山河”

陈鹰
2026-11-21 00:18:05
越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

越来越多的迹象表明:内塔尼亚胡间接上成为了中国的“大恩人”?

无情有思可
2026-11-19 08:11:29
曾因准确预判俄乌冲突而闻名的日本学者矢野义昭此前断言,若中日再度开战,日本绝不会沦为第二个乌克兰

曾因准确预判俄乌冲突而闻名的日本学者矢野义昭此前断言,若中日再度开战,日本绝不会沦为第二个乌克兰

人生录
2026-10-29 00:50:04
妻子趁着丈夫坐牢,找了另外一个人搭伙过日子,10年后丈夫出来了

妻子趁着丈夫坐牢,找了另外一个人搭伙过日子,10年后丈夫出来了

爱下厨的阿酾
2026-11-19 11:37:29
《星际迷航》传奇帕特里克·斯图尔特死因公布,享年86岁

《星际迷航》传奇帕特里克·斯图尔特死因公布,享年86岁

浅遇时光
2026-11-20 13:48:40
特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

特朗普APEC期间下榻深圳东海朗廷酒店,内部房间曝光

极目新闻
2026-11-20 18:45:32
仅播4集,就轻松拿下热榜第一,终于又有黑马剧可以追了!

仅播4集,就轻松拿下热榜第一,终于又有黑马剧可以追了!

仙味少女心
2026-11-21 19:48:33
民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

民意彻底逆转!乌克兰人最恨的不是普京,也不是特朗普,而是曾承诺让乌克兰更好的泽连斯基;而他当初能上台,这件事本身就相当离奇

人生录
2026-10-12 15:41:39
哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

哈登51+6+6超越奥尼尔!骑士拒步行者24分逆转 米切尔20分

醉卧浮生
2026-11-21 10:57:09
聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

聊聊你祖宗干的好事儿有多精彩!网友:我爸80年代差点被满门抄斩

夜深爱杂谈
2026-11-06 21:52:01
WTT球星赛落幕!日本夺4冠、户上隼辅2次登顶,国乒无缘5项决赛

WTT球星赛落幕!日本夺4冠、户上隼辅2次登顶,国乒无缘5项决赛

全言作品
2026-11-21 23:30:31
再过十年,进一千球也不算什么了!哈兰德比同龄C罗多进165球

再过十年,进一千球也不算什么了!哈兰德比同龄C罗多进165球

体育世界
2026-11-21 22:32:19
苏林在昆明再提滇越铁路建设,还想要高铁技术、为越南高铁融资

苏林在昆明再提滇越铁路建设,还想要高铁技术、为越南高铁融资

品茗谈史论世事
2026-11-20 16:44:26
郭德纲认义父后王惠受牵连,早年被扒个“底朝天”,难怪面相变了

郭德纲认义父后王惠受牵连,早年被扒个“底朝天”,难怪面相变了

秋枫凋零
2026-11-22 02:48:53
2026-11-22 03:36:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14525文章数 142762关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

头条要闻

菲总统马科斯APEC欢迎曲为《孩子》引发热议 本人回应

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

官媒发文 官宣赵丽颖新身份,进步很大

财经要闻

最大回撤超37%,黄金崩盘了吗?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

数码
旅游
艺术
游戏
房产

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

旅游要闻

广西南宁:冬日繁花似锦

艺术要闻

内娱体态天花板又出手了。刘诗诗这组写真,脖子以下全是“教科书”

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版