网易首页 > 网易号 > 正文 申请入驻

平均成功率91%!苹果研究团队披露机器人“大脑”进展

0
分享至

澎湃新闻记者 秦盛

苹果研究团队披露机器人“大脑”研究进展。

当地时间11月4日,苹果研究团队在预印本平台arXiv提交论文《Perceptive Humanoid Motion from Simulation》,披露了人形机器人自主控制系统HALO。研究团队将该系统部署在宇树科技的G1人形机器人上进行验证,让机器人将在仿真环境中学到的动作,带到陌生的现实房间中执行。

研究团队还公开了数据生成、模型训练和部署代码,涵盖动作生成、动作跟踪、任务编排以及仿真和真实机器人运行等环节。


搭载HALO系统的宇树G1机器人在不同真实环境中演示钻过桌底、坐上沙发和推箱子等任务。图片来源:HALO研究团队

项目页面展示了机器人听从指令推箱子、跟随人、坐上椅子,以及侧身穿过半开的门、俯身或爬行穿过桌底等动作。这些任务需要机器人理解周围环境,并根据空间条件调整身体姿态。

执行任务时,HALO由三个层级协同控制。最上层是基于视觉语言模型(VLM)的任务编排模块,默认采用千问Qwen3.6-35B-A3B,在机器人搭载的Mac mini上本地运行,与动作生成器共用模型服务引擎,无需联网即可工作。系统也可选择通过API调用云端模型,以获得更强的推理和规划能力。

这一层需要处理指令中的模糊信息,并根据环境安排动作。例如,“坐下”没有明确指定目标,需要机器人从眼前场景中判断坐在哪里;“坐到椅子上”在路径畅通时可以直接执行,但如果有桌子挡路,就需要拆成俯身通过、接近椅子、坐下等连续子任务。任务编排模块通过机器人视角的视频持续观察环境,判断当前动作是否成功,并据此推进计划或重试,每次向动作生成器下达一个明确的子任务。

中间的动作生成层采用另一款千问模型Qwen3.5-2B。研究团队将其作为参数冻结的编码器,与负责生成动作的DiT解码器配合,根据机器人看到的画面和当前子任务,规划未来约5秒的全身动作。这一层每秒重新规划约3次,使动作计划能够随环境变化持续更新。

底层则是经强化学习、策略蒸馏等步骤训练的动作跟踪器,以每秒50次的频率运行,结合深度图像和机器人自身状态,将动作计划转化为关节控制指令。

三个层级分别承担任务安排、动作规划和身体控制,协同完成从理解指令到执行动作的过程。



HALO的三层控制架构:视觉语言模型负责任务编排,作生成模块规划全身动作,经强化学习训练的动作跟踪器执行关节控制。图片来源:HALO项目页面截图拼接

据论文披露,研究团队在6个未预先扫描或建图的真实环境中开展360次单项任务测试,平均成功率为91%。另在一个真实环境中,对3种组合任务分别开展10次测试,平均成功率为70%。其中,“俯身通过障碍—走向目标—推箱子”这一组合的成功率为50%。

机器人如何获得完成这些任务所需的数据,是这项研究关注的问题。研究团队在1000个程序生成的模拟家庭环境中,合成了约300小时的主要训练数据,将机器人“看到什么”“接到什么指令”和“如何运动”配对起来。

具体而言,系统先生成动作,再将动作放进虚拟房间,最后从机器人的视角生成画面。项目页面以“坐到扶手椅上”为例,将其拆成向前走、转身和坐下等片段,由动作生成模型根据文字提示、路径点和关键姿态生成动作序列,再通过几何检查筛选动作,减少脚部滑动、身体穿入地面等问题。

随后,系统将动作安排到程序生成的房间中,检查机器人与家具的位置关系,寻找没有碰撞的摆放方案,再利用仿真工具渲染机器人执行动作时看到的画面。训练中还会改变光照、色调、画面模糊程度等条件,使视觉输入更加多样。这样,同一套流程就能生成包含指令、视觉画面和全身动作的配套数据。


HALO的合成数据生成与训练流程:先生成动作轨迹,将其放入虚拟场景,再渲染机器人视角的画面,形成配套训练数据,用于训练动作生成器和动作跟踪器。图片来源:HALO论文

据介绍,研究团队使用250张英伟达H100 GPU,耗时约48小时合成主要训练数据。动作生成器通过模仿学习训练,使用64张B200;动作跟踪器经强化学习、策略蒸馏等步骤训练,使用4张H100。

需要指出的是,仿真生成数据并未完全摆脱人工参与。团队表示,新增物理任务仍需人工编写提示词、设计动作关键帧,部分动作还使用了人类视频或动捕素材。

研究团队同时指出,目前机器人主要依赖视觉感知,难以直接感知接触情况;当物体离开相机视野或被遮挡时,涉及较多接触的任务表现会下降。加入触觉感知,是后续改进方向之一。

本期编辑 徐滁

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
我儿子今年35岁,每月收入6800,在我死乞白赖的逼迫下,他结婚了,可我现在却后悔了,不该劝他结婚

我儿子今年35岁,每月收入6800,在我死乞白赖的逼迫下,他结婚了,可我现在却后悔了,不该劝他结婚

蝉吟槐蕊
2026-11-17 16:30:32
中足联就中青赛决赛开出罚单,浙江、申花发声明接受处罚

中足联就中青赛决赛开出罚单,浙江、申花发声明接受处罚

澎湃新闻
2026-11-18 09:15:07
7天不撤诉每天罚500万欧元,闻泰和安世这场争夺战变味了

7天不撤诉每天罚500万欧元,闻泰和安世这场争夺战变味了

再战五百回合
2026-11-18 00:50:03
美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

美国、俄罗斯、欧洲猛然发现一件头疼事:低估了中国,高估了自己

文史达观
2025-03-27 12:59:20
28+15+7,断崖式下跌,遭不住,新生代太NB了!

28+15+7,断崖式下跌,遭不住,新生代太NB了!

体育新角度
2026-11-17 22:33:42
告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

告诉大家一个很玄学的事,家里谁做饭,就决定了这家的福气

麓谷隐士
2026-11-18 00:05:08
深圳APEC主持人阵容果然拉满,这阵仗不愧是顶流!

深圳APEC主持人阵容果然拉满,这阵仗不愧是顶流!

阿废冷眼观察所
2026-11-18 06:19:05
什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

什么是“性成瘾”?对性有极度的渴望和无法克制,研究还表明女性性成瘾的概率远高于男性!

黯泉
2026-11-16 18:53:19
高考700分没去清北,读了复旦医学院,如今还得靠爸妈养家:高分学医这笔账,到底亏在哪一步

高考700分没去清北,读了复旦医学院,如今还得靠爸妈养家:高分学医这笔账,到底亏在哪一步

狐狸先森讲升学规划
2026-11-17 10:50:31
12连胜的马刺今晚冲13连胜,对手是坎宁安领衔的活塞

12连胜的马刺今晚冲13连胜,对手是坎宁安领衔的活塞

绿茵狂热者
2026-11-18 10:40:10
炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

澳洲红领巾
2026-11-17 11:17:20
APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

APEC还没开,华强北先爆单了!让老外把钱包“掏空”的秘籍是啥丨大象财富

大象新闻
2026-11-17 20:45:45
红军到陕北后没吃没穿,是如何度过难关的?毛泽东:要感谢三个人

红军到陕北后没吃没穿,是如何度过难关的?毛泽东:要感谢三个人

阿胡
2026-11-08 10:49:27
时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

时间定了,中方宣布安排,11月19日这一天,全世界都将拭目以待

古书奇谈
2026-11-17 10:23:42
台上卖力地表演,台下的看客不买账了!

台上卖力地表演,台下的看客不买账了!

胖胖说他不胖
2026-11-17 11:50:11
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

霍启刚又幸福了!44岁郭晶晶官宣喜讯,让霍震霆和整个贵妇圈沉默了

不写散文诗
2026-11-15 15:09:22
终于看懂了!高油价正在复制香烟的涨价套路,老百姓却不玩了!

终于看懂了!高油价正在复制香烟的涨价套路,老百姓却不玩了!

江启
2026-11-17 01:14:38
“四人帮”之一的姚文元刑满出狱,提出两个要求,简直是痴心妄想

“四人帮”之一的姚文元刑满出狱,提出两个要求,简直是痴心妄想

扬平说史
2025-07-07 23:37:32
国足平巴林,赛后传四个坏消息!邵佳一下课声再起,主场哨引争议

国足平巴林,赛后传四个坏消息!邵佳一下课声再起,主场哨引争议

南海浪花
2026-11-18 01:17:35
2026-11-18 10:56:49
澎湃新闻 incentive-icons
澎湃新闻
专注时政与思想的新闻平台。
948401文章数 5098836关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

更豪华更好开 问界新M8细节升级见真章

态度原创

数码
本地
时尚
教育
公开课

数码要闻

苹果公布2026古典乐年度专辑:任奫灿《哥德堡变奏曲》获奖

本地新闻

乌兰察布:以前种土豆,现在种Token

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版