网易首页 > 网易号 > 正文 申请入驻

以人为中心刷新榜单SOTA!大晓机器人发布“一脑多型”具身操作VLA模型

0
分享至


记者今天从大晓机器人获悉,该公司联合香港中文大学多媒体实验室(CUHK MMLab)正式发布全新“一脑多型”具身操作VLA模型 ACE-Ego,并向行业开源。作为“以人为中心”ACE研发范式在具身模型预训练的核心落地成果,ACE-Ego提出大规模第一视角人类视频与多型机器人数据高效联合预训练的新范式,在两大国际权威具身智能基准上双双领先,并在复杂零售场景中展现出强泛化落地能力。

在国际公认的人形机器人操作基准 RoboCasa GR1 TableTop 上,ACE-Ego 以72.8%的平均成功率刷新当前最高纪录,夺得榜首,大幅超越英伟达 GR00T、PI π₀.₅、京东JoyAI-RA 等主流模型;在高难度双臂操作基准 RoboTwin 2.0 的强域随机化测试中,ACE-Ego 以90.62%的成功率展现出远超行业平均水平的环境鲁棒性。

去年12月,大晓机器人提出“以人为中心(Human-centric)” 的ACE具身研发范式,将人类与物理世界的互动规律作为核心研究起点,构建了一套从“环境式数据采集—开悟世界模型3.0—具身交互”的全链路技术体系。不同于行业传统“以机器为中心”、依赖大批量高成本真机遥操作数据的路线,ACE-Ego 将海量低成本的第一视角人类视频转化为可用于模型训练的有效监督信号。通过统一相机空间动作表示、统一本体形态编码、时间对齐动态分块、可靠性自适应目标函数四大核心机制,它系统性地破解了人与不同型号机器人数据在空间坐标系、本体结构、时序频率、标签质量上的四重异构难题,实现使用大规模高质量人类第一视角视频与数千小时多机型机器人数据的协同训练。

实验结果证实了大规模第一视角人类视频能够有效提升VLA模型预训练和下游适配能力:在RoboCasa基准上,引入第一视角人类视频进行联合预训练,相比于仅使用机器人数据进行预训练,模型成功率从68.3% 提升至 72.8%,实现了4.5%的显著性能跨越。这充分证明了“以人为中心”的大规模数据预训练对提升具身模型泛化能力的巨大价值。

目前,ACE-Ego 已能稳定完成塑料袋打包、鞋子装入鞋盒等长周期、强接触的复杂零售操作,覆盖商品整理、打包履约等典型线下零售环节,突破了此前模型仅能完成简单桌面抓取的能力边界,为具身智能走向产业规模化落地提供了高性价比的技术方案。

刷新两大国际具身智能基准,全面领跑通用操作模型

在 RoboCasa GR1 TableTop 人形桌面操作基准上,ACE-Ego以72.8%的平均成功率,大幅刷新榜单纪录。该基准基于 GR1 人形机器人平台设置24项典型家庭任务,涵盖18项抓取放置重排与6项铰接物体交互,是衡量人形机器人通用操作能力的核心标尺。

在该榜单上,第二名小鹏DIAL模型成绩是70.2%、京东JoyAI-RA(63.2%)、高德ABot-M0(58.3%)、FLARE(55.0%)、英伟达GR00T-N1.6(47.6%)。性能增益覆盖抓取放置、铰接操作全品类任务,其中盘子叠放、托盘移锅等任务成功率突破98%,证明其能力提升来自框架底层优化,而非特定任务过拟合。

在RoboTwin 2.0双臂操作基准中,ACE-Ego 同样稳居VLA类模型榜首,展现出极强的环境鲁棒性。该基准包含50项覆盖抓取、放置、工具使用、双臂协同的复杂任务,设置干净场景(Easy)与强域随机化场景(Hard)两种模式,其中 Hard 模式随机改变光照、纹理、物体位置等条件,高度模拟真实世界不确定性。

ACE-Ego在 Easy模式下成功率达91.12%,Hard模式达90.62%,超越腾讯混元Hy-VLA(90.9%/90.1%)、 京东JoyAI-RA(90.48%/89.28%)、蚂蚁灵波LingBot-VLA(88.56%/86.68%)、PI π₀.₅(82.74%/76.76%)、生数Motus(88.66%/87.02%)、高德ABot-M0 (86.06%/85.08%)等对比模型。

从干净场景到强随机化场景,ACE-Ego 性能仅衰减0.5个百分点,远低于行业平均水平,意味着其习得技能具备极强的环境适应性,更贴近真实商业部署要求。

零售场景全链路落地验证,实操能力解锁商业价值

从鞋盒规整入盒、咖啡定量分装,再到柔性塑料袋打包,ACE-Ego 在典型零售场景中展现出全栈式真实操作能力,覆盖商品陈列、履约打包、货品分拣等线下零售核心作业环节。

机械臂精准识别鞋盒与双鞋的空间位置,按照零售场景的标准陈列方位将鞋依次平稳放入盒内;随后精准定位鞋盒翻盖的铰链转轴与边缘,沿自然合盖轨迹平稳完成翻盖扣合,全程无碰撞、无挤压,展现出对铰接类物体的几何操作理解与精准空间定位能力。

机械臂抓取咖啡勺后,从敞口咖啡罐中平稳舀取定量咖啡豆,抬臂、平移、对准杯口一气呵成,精准控制倾倒角度与速度将咖啡豆全部注入杯中,全程无撒漏。整套长时序操作连贯流畅,体现模型对长程动作序列的规划能力与末端执行的精细对准精度。

机械臂抓取轻薄购物塑料袋的袋口,顺势撑开袋身形成稳定容纳空间,将目标物品平稳放入袋中后收紧袋口完成打包。全程应对塑料袋柔软易变形、无固定形态的特性,实现了柔性物体的稳定抓取与形态操控。

四大核心机制破局异构融合,解锁人机协同预训练新范式

双榜登顶与下游任务高效适配的卓越表现,源于ACE-Ego依托“以人为中心”的研发范式,针对具身智能行业痛点实现的重大技术突破。面对人-机数据在空间、结构、时间、训练监督信号四个维度严重不匹配的行业挑战,ACE-Ego 创新构建了“大规模人类第一人称视频 + 多具身机器人数据”的全链路融合方案。通过自研的四大核心机制,ACE-Ego 分别从空间、结构、时间以及训练监督四个维度统一表示与对齐,彻底破解了人机数据不兼容的难题。这四大机制并行发力,成功支撑了大规模人机异构数据的同框训练,将具身操作模型推入多源协同预训练的新阶段。


机制一:第一视角统一动作空间表达,让不同人与不同机型的动作 “说同一种语言”。ACE-Ego 以头部相机坐标系为统一基准,将多机型机器人末端执行器轨迹、不同人类视角视频重建的手部运动全部投影到机器人“第一视角”下,让动作指令与视觉观测对齐至统一坐标系,免去跨平台复杂坐标校准,新本体部署仅需替换一组相机外参。

机制二:URDF(统一机器人描述格式)本体形态映射,让模型知晓 “谁在做动作”。不同机器人的关节结构、物理尺寸差异巨大,人体运动模式与机器人更是截然不同。为此,ACE-Ego 创新性地将 URDF(统一机器人描述格式)映射为跨本体的统一中间层编码。对于机器人,它通过解析 URDF 文件将运动学特征编码并输入动作解码器;对于人类数据,则通过学习专属的“代理形态嵌入”来模拟人体结构。这种“形态条件”仅在动作解码阶段注入,不干扰视觉语言主干网络,不仅保留了主干网络强大的通用视觉理解能力,更带来了极快的新机适配速度——在面对 ARX 双臂机器人等全新未知机型时,仅需不到200条动作数据,即可在极短时间内完成适配部署。

机制三:时间对齐动态分块,让不同“手速”数据步调一致。不同机器人平台控制频率从10Hz到30Hz不等,固定帧数的动作块对应物理时长差异显著,直接混训会扰乱时序逻辑。ACE-Ego 打破按帧切分的传统做法,以物理时长为标准划分动作块,确保所有数据源预测相同时长的未来动作窗口;搭配分桶采样策略,按任务类型、时序阶段、块长组合成批,大幅降低填充开销,稳定梯度更新,让跨频率数据的联合训练平稳落地。

机制四:可靠性自适应目标函数,带噪声数据“按需采信”。人类视频数据中的动作标签由视觉算法重建获得,动作标签带有一定重建噪声,若与高精度传感器数据同权训练反而会拉低模型精度。ACE-Ego 设计了双层训练目标体系:机器人传感器数据作为“准确”监督信号,全权重锚定核心控制精度;人类采集动作作为重要多样性补充信号也参与训练,实行三级加权机制 —— 通道级重点采信高可靠位置信号,数据集级按重建质量设置权重上限,帧级通过运动平滑度动态过滤异常片段。这套 “信息过滤器” 既充分释放了大规模人类视频场景的多样性潜力与行为广度,又牢牢守住机器人高精度数据的质量底线。

四大机制环环相扣,打通了 “人类视频规模化扩量 + 机器人数据保障精度” 的全新技术路径,为具身操作模型的规模化训练打开了成本与规模的双重增长空间。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
非必要不做肠镜?医生:只要做过肠镜,患者一定多加关注这4点!

非必要不做肠镜?医生:只要做过肠镜,患者一定多加关注这4点!

芹姐说生活
2026-07-09 23:13:04
2026年,结婚人数又破纪录了!

2026年,结婚人数又破纪录了!

巢客HOME
2026-06-21 07:20:07
黄海会师!中国头号帮手就位,5国合堵日本,美国很识趣开始后撤

黄海会师!中国头号帮手就位,5国合堵日本,美国很识趣开始后撤

云舟史策
2026-07-09 07:13:02
正常人可以偶尔偷吃一颗伟哥吗?有什么副作用?本文为你讲出实情

正常人可以偶尔偷吃一颗伟哥吗?有什么副作用?本文为你讲出实情

健康科普365
2026-05-09 21:05:04
尴尬!俞敏洪直播过半,朱时茂突然起身离场,成方圆拿出一把吉他

尴尬!俞敏洪直播过半,朱时茂突然起身离场,成方圆拿出一把吉他

火山詩话
2026-07-08 07:14:23
傻眼!南通一网红“巨无霸”翻车!

傻眼!南通一网红“巨无霸”翻车!

好通网
2026-07-09 11:38:50
特朗普“变脸”

特朗普“变脸”

第一财经资讯
2026-07-09 22:58:52
北京16岁美少女“鱼干”去世!患两种恶疾去年截肢,爸爸故意拖延

北京16岁美少女“鱼干”去世!患两种恶疾去年截肢,爸爸故意拖延

裕丰娱间说
2026-07-09 09:15:53
世界杯八强开战:姆巴佩率法国对决黑马摩洛哥

世界杯八强开战:姆巴佩率法国对决黑马摩洛哥

甜份超标的我
2026-07-10 00:26:11
人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

人伦大乱正在毁掉无数中国家庭:3种乱象就在日常,拖垮一家人

阿凯销售场
2026-07-04 15:35:28
期待!中国金花郑钦文收获WTA500华盛顿站外卡

期待!中国金花郑钦文收获WTA500华盛顿站外卡

环球网资讯
2026-07-09 10:28:08
记者:应该让历史所有世界杯冠军直接获得世界杯正赛资格

记者:应该让历史所有世界杯冠军直接获得世界杯正赛资格

懂球帝
2026-07-09 17:09:08
向肛门充入氧气并且憋住,人类或许真的可以用屁股呼吸!医疗新可能!

向肛门充入氧气并且憋住,人类或许真的可以用屁股呼吸!医疗新可能!

果壳
2026-07-07 16:34:22
双台风来袭,京东互联网医院提醒:非必要不外出、注意饮水卫生、警惕蛇虫咬伤

双台风来袭,京东互联网医院提醒:非必要不外出、注意饮水卫生、警惕蛇虫咬伤

21世纪经济报道
2026-07-09 23:54:06
司晓迪对男星大点兵不到3天,范丞丞用一个举动,给鹿晗上了一课

司晓迪对男星大点兵不到3天,范丞丞用一个举动,给鹿晗上了一课

叨唠
2026-07-08 21:50:23
孙宇晨前女友曾颖自曝!收过徐波生育offer,30岁直接被淘汰

孙宇晨前女友曾颖自曝!收过徐波生育offer,30岁直接被淘汰

雷科技
2026-07-09 16:47:49
工人坠亡近百万赔偿金无人继承:父亲去世,母亲和姐姐失联40年 公司希望找到其亲人|红星寻人

工人坠亡近百万赔偿金无人继承:父亲去世,母亲和姐姐失联40年 公司希望找到其亲人|红星寻人

红星新闻
2026-07-09 00:03:48
江西南昌市新建区人民政府党组成员、副区长邹致满接受纪律审查和监察调查

江西南昌市新建区人民政府党组成员、副区长邹致满接受纪律审查和监察调查

中国能源网
2026-07-09 16:11:03
2500公里远程突袭!乌军炸毁俄最大炼油厂,俄全国陷入燃油荒

2500公里远程突袭!乌军炸毁俄最大炼油厂,俄全国陷入燃油荒

青松解局
2026-07-08 18:40:51
Papi的“课题分离“火了,评论区:上一个让我听懂的是薇娅

Papi的“课题分离“火了,评论区:上一个让我听懂的是薇娅

百味娱人
2026-07-08 10:38:39
2026-07-10 00:40:49
文汇报 incentive-icons
文汇报
华语世界高品质人文阅读平台
282967文章数 310141关注度
往期回顾 全部

科技要闻

字节杀回来了!深度实测Seedream 5.0 Pro

头条要闻

洪水卷来眼镜蛇广西60岁老人被咬去世 全村仍然在搜蛇

头条要闻

洪水卷来眼镜蛇广西60岁老人被咬去世 全村仍然在搜蛇

体育要闻

王楚谈埃及判罚争议:足球没有绝对公平

娱乐要闻

陈翔发文“苍天饶过谁”登热搜,旧事再引关注

财经要闻

中国房地产十年

汽车要闻

悦己更悦人 阿维塔07L加长了更加上了豪华

态度原创

房产
本地
时尚
亲子
公开课

房产要闻

猛踩油门!绿地,又拿下海南一个大城更!

本地新闻

重庆人有自己的避暑桃花源 | 夏天就去「酉」风的地方!

让我们恭喜这位男士,击败13位前任,成功入赘豪门

亲子要闻

“你儿子成年后保准会雌化!”家长无知教育并嘴硬:他很男人的!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版