网易首页 > 网易号 > 正文 申请入驻

苹果给Claude、Gemini装上机械臂,没人教也会拿勺子干活,还能自己纠错

0
分享至

桌面上放着一只芥末瓶,机械臂伸过去,够不到。按照惯常的逻辑,任务失败,或者请求人类干预。

但这次它没有停。

它在周围扫了一眼,找到一把木勺,伸手把芥末瓶拨倒,然后换了个角度,抓住了瓶盖,把它放进碗里。


苹果 11 月 6 日发布的机器人操控论文 AMP1(Agentic Manipulation Policies 1)记录了上述片段。没有人在提示词里告诉它可以借助工具,也没有人为它编写对应的子程序。

从拍照到写 Python,再到计算末端轨迹、执行、复查,全程只有一个通用大模型在控制。

论文传送:https://arxiv.org/abs/2611.09892

类似的场景还有:目标物体被遮挡时,它会主动搬走挡路的东西,然后重新扫视;一颗石榴太宽,标准平行夹爪抓不起,它把石榴顶在重物上固定,再用夹爪从下面兜起来,像铲车一样;真机上动作出现偏移,它比对图像和指令位置,诊断出是相机标定误差,自行修正参数后继续;下完一盘国际象棋,把棋子放回对应的抽屉里关好。



AMP1 的思路不是近两年机器人领域的主流思路。

视觉-语言-动作模型(VLA)和世界动作模型(WAM)的核心逻辑是数据驱动:用大量机器人示教录像训练一个专用策略,把观察直接映射到动作。而 AMP1 让通用大模型实时看图、写代码、下发轨迹,每次都从零开始,不依赖任何预设技能或专项训练数据。

论文把这类方案统称为 「Agentic Manipulation Policies」 。

在 RoboLab-120 仿真基准的 120 个任务里, Gemini 4 Argon 搭配 AMP1 框架成功率是 85.6%,Claude Opus 5.5 配套时为 82.8%; 当时排行榜上最强的 VLA 和 WAM 分别是 49.2% 和 42.9%。

真机测试(Franka 机械臂,12 个任务,共 108 次试验)中,AMP1 开启错误恢复功能后成功 104 次,成功率 96.3%;不开启时为 94 次,对应 87.0%。对比组里,FLUX 3 Action 成功率 45.4%,π0.5 为 27.8%。


大模型坐进驾驶舱

AMP1 的基本架构可以用四个词概括:观察、推理、执行、复查。

每一轮,模型从三个摄像头读取图像,获取深度信息和相机标定参数,然后写 Python 代码计算末端执行器的运动轨迹,先预览确认可达,再下发给机械臂,动作结束后再拍一次照,决定下一步。

论文统计了 AMP1 在仿真任务里反复发明的基本动作模式:约 61% 的任务里它会先用点云对齐抓握轴,66% 的任务会先测量容器尺寸,40% 的任务里会在动作被系统拒绝后自行修复计划,39% 的任务会在动作失败后先诊断原因再重规划。


同一套框架下,各模型在仿真基准上的表现差距相当明显。Opus 5.5 在仿真基准里的成功率是 82.8%,Haiku 5.5 是 51.6%,更旧的 Opus 4.5 只有 35.2%。

从感知角度看,去掉深度信息后,Opus 5.5 的成功率几乎没差,只从 82.8% 降到 81.1%。代价是它需要更努力地「想」,这表现为每个任务平均调用模型的次数从 34.8 次增加到 46.3 次。

但弱模型就不行了。去掉深度和标定信息后,Haiku 5.5 的成功率从 51.6% 直接掉到 10.7%。就算再多给它推理计算量,也无济于事。


论文还测试了把图像替换成文字描述的方案,结果与此前部分工作的建议相反:Opus 5.5 在只收到文字描述时,成功率大致减半。视觉里包含夹爪与物体的几何对齐细节难以通过语言准确传达。

给 AMP1 加上跨回合持久记忆之后,在双臂操控基准 RoboDojo 的表现变化更明显。零样本成功率从 26.4% 升至 84.1%,超过了当时排行榜首位的 68.9%。

连续学习实验里,把 42 个任务按随机顺序各走一次,整体成功率从 26.4% 升到 57.6%,更早任务积累的经验对后续没见过的任务也有迁移效果。

AMP1 也让我联想到 VIA(Visual Interface Agent)与 CaP-X(Code-as-Policy)。

VIA 就试图绕过传统机器人必须依赖大量动作数据训练的路线,让 Claude Code、Codex 这样的 AI Agent 直接操纵现实世界中的机器人。CaP-X 探索了用 Gemini-3-Pro 和 Claude Opus 4.5 完成长程操控任务,同样不需要后训练。


图源:VIA: Visual Interface Agent for Robot Control https://via.hengyuanhu.com/?utm_source=chatgpt.com

国内从业者的一些梳理指出,机器人示教数据的采集成本高、泛化差的问题始终存在。

AMP1,某种意义上是对这个困境的一种绕路。

慢,是个大问题吗

真机测试里,AMP1 完成一次成功任务平均需要 280 秒,其中推理时间约 211 秒。对比组的 FLUX 3 Action 平均用 44 秒,π0.5 是 62 秒。

机械臂大部分时间在等模型「想」,而且 AMP1 目前无法在轨迹执行中途重新决策。我们也可以看到,论文里的测试场景基本上是准静态的,物体不会移动,也不需要毫秒级反应。

所以,AMP1 目前还不能用于时间敏感的任务。

论文里提到了几种加速路径:把每次任务写好的代码留存,下次直接复用;在本地运行快速反馈控制器,减少对云端模型的调用;在当前轨迹执行的同时规划下一段;用 AMP 产生的运动数据去蒸馏更小的本地模型。记忆实验的结果印证了这个方向。

在过去几年里,给定能力水平的推理成本每年约降低一个数量级,如果这个趋势延续, 今天的速度劣势会慢慢被时间消耗掉。

对行业来说,AMP1 或许在于它改变了竞争层的位置。机器人制造商不一定需要开发自己的通用认知模型,可以直接购买或部署其他公司的模型能力。

11 月 4 日,苹果研究团队同期提交了人形机器人论文 HALO,部署在宇树 G1 上,在 6 个未预先扫描的真实房间完成 360 次单任务测试,平均成功率超 90%。规划模型运行在机器人背上的 Mac mini M4 Pro 里,调用的是千问系列模型,同样不是苹果自家模型。


图源:Perceptive Humanoid Motion from Simulation https://arxiv.org/html/2611.06908

两天后,AMP1 出现。从这两篇论文看,苹果在把机器人从硬件设计推向软件能力,而且不打算依赖自己的模型。Mark Gurman 此前报道过苹果正在研发带机械臂的桌面设备,台灯机器人的原型视频也早已公开。


台灯机器人

对硬件厂商来讲,机器人的软件研发门槛可能下降,应用场景可能增加,硬件厂商的潜在客户也会增加。

但反过来,如果大家都用差不多的通用模型,机器人本身的差异化就可能回到机械设计、执行器、传感器、可靠性和成本。

那对只会组装标准化机械臂、却没有部署渠道和工程优势的公司来说,未必是好消息。

未来的机器人硬件企业,可以宣称自己拥有最强 AI 模型,但也要试着让任何主流模型都能够安全、稳定、低成本地控制自家机器人。

我们正在招募伙伴

简历投递邮箱hr@ifanr.com

✉️ 邮件标题「姓名+岗位名称」(请随简历附上项目/作品或相关链接)


特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

红军过草地其实仅用五六天,巨大非战斗减员源自哪里?有何隐情?

幻梦人生
2024-12-08 04:05:03
利好!又有两家A股公司推出回购方案,其中一家上月刚完成一轮1亿元回购

利好!又有两家A股公司推出回购方案,其中一家上月刚完成一轮1亿元回购

每日经济新闻
2026-11-22 19:41:14
长荣曾拒挂旗帜、订单转向日韩,合作接连遇挫,如今怎么样了?

长荣曾拒挂旗帜、订单转向日韩,合作接连遇挫,如今怎么样了?

玲儿爱唱歌
2026-11-21 06:32:49
为什么都在宣传用了新能源车就回不去了?看网友评论:引万千共鸣

为什么都在宣传用了新能源车就回不去了?看网友评论:引万千共鸣

另子维爱读史
2026-08-04 21:35:07
黄酒为啥成不了主流?原以为能有共鸣,谁料评论一边倒

黄酒为啥成不了主流?原以为能有共鸣,谁料评论一边倒

夜深爱杂谈
2026-10-24 20:18:23
警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

警惕!MCN杀猪盘套路:专挑女大学生下手,完不成直播任务就逼陪客抵债

拍案社会
2026-11-15 10:08:36
黄金持续暴跌

黄金持续暴跌

91.6陕西交通广播
2026-11-22 18:22:23
比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

比大学生去送快递更恐怖的是:越来越多研究生们开始去收废品

晨光苏醒a
2026-11-22 05:16:06
实不相瞒,这就是现实!中国石油已经出现大问题?

实不相瞒,这就是现实!中国石油已经出现大问题?

照亮你的前行之路
2026-11-22 11:49:21
余文乐公开病情:严重到不能开车、不敢坐飞机,此前已与妻子离婚

余文乐公开病情:严重到不能开车、不敢坐飞机,此前已与妻子离婚

动物奇奇怪怪
2026-11-22 18:40:14
3比2赢球却折损大将:杜埃右膝前十字韧带断裂将手术

3比2赢球却折损大将:杜埃右膝前十字韧带断裂将手术

篮坛第一线
2026-11-23 01:26:27
奔驰GLC新款上市,现款25万级定位

奔驰GLC新款上市,现款25万级定位

米粒说车唯一呀
2026-11-22 16:17:49
若不出意外,2027年开始,药房、诊所、牙科将迎来"大洗牌"

若不出意外,2027年开始,药房、诊所、牙科将迎来"大洗牌"

古渡观书
2026-11-23 01:15:39
华为首款鸿蒙AI手机5699元被嫌贵,网友:老百姓不需要这么贵的手机

华为首款鸿蒙AI手机5699元被嫌贵,网友:老百姓不需要这么贵的手机

东方豪侠
2026-11-21 13:58:26
卖掉上海8套房,只为逼儿子专心踢球,张玉宁父亲到底在赌什么?

卖掉上海8套房,只为逼儿子专心踢球,张玉宁父亲到底在赌什么?

翰飞观事
2026-11-22 09:34:27
他批判了自己的父亲,却依然没能证明忠诚

他批判了自己的父亲,却依然没能证明忠诚

熊倌儿
2026-11-19 09:55:32
72小时变3分钟!中国用AI把工业软件重做一遍,西方傻眼了

72小时变3分钟!中国用AI把工业软件重做一遍,西方傻眼了

王嚾晓
2026-11-23 00:20:33
曝85花想复婚被拒绝,靠着孩子拿捏前夫,重回顶流之位难如登天!

曝85花想复婚被拒绝,靠着孩子拿捏前夫,重回顶流之位难如登天!

嘴角上翘的弧度
2026-11-22 01:51:42
她一生“风流成性、老少通吃”,撩汉无数,现如今56岁却依旧单身

她一生“风流成性、老少通吃”,撩汉无数,现如今56岁却依旧单身

秋姐居
2026-11-19 12:10:42
06年男子打工借宿同学家,被同学母亲一眼看中,意外改变了他一生

06年男子打工借宿同学家,被同学母亲一眼看中,意外改变了他一生

小月文史
2025-03-11 18:44:56
2026-11-23 02:11:00
AppSo incentive-icons
AppSo
让智能手机更好用的秘密
7092文章数 26945关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

头条要闻

“所有金条都卖光了” 有人一次性花超85万买金条

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨颖姐弟烧香被偶遇,清秀少年变粗犷大叔

财经要闻

沪深交易所、中国结算推出一揽子降费措施

汽车要闻

插混尊贵型真的超值 15万级的第二代海豹07配置拉满

态度原创

教育
本地
手机
亲子
房产

教育要闻

“巨资培养的姐弟俩,只能在家里做饭”,一段窝囊视频,却戳中了无数人的情绪点

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

手机要闻

安卓同时期No.1,OPPO Reno17火了,友商又要羡慕了

亲子要闻

难怪养孩子3岁不离手5岁不离眼!看评论区我呆住,人心险恶亲戚歹毒

房产要闻

黄埔商业规划曝光!科学城能级跃升,核心入场券已锁定

无障碍浏览 进入关怀版