1700万帧、全模态时空对齐：大晓ACE-Data-0重新定义L5级具身数据标准

近日，大晓机器人联合南洋理工大学 S-Lab 重磅开源 L5 级多模态具身物理智能数据集 ACE-Data-0。基于全球首创的具身模型信息密度定律与以人为中心的环境式数据采集方案 2.0，并依托环境式采集引擎 ACE，该数据集通过对真实物理交互、长程任务过程与多模态因果信号的高保真采集和高精度标注，为全球具身模型提供面向泛化、反思与进化的高质量数据底座。

ACE-Data-0 不再把活动切割成孤立短片，而是连续记录感知、行动、接触和状态变化，让不同模态共同描述同一个物理过程。其核心特征可以概括为：完整感知、长时序任务、多模态同步。

Paper：ACE-Data-0: Human-Centric Ambient Capture as Embodied Data Engine

arXiv：https://arxiv.org/abs/2607.28625

Project Page：https://ace-data-engine.github.io/ACE-Data-0/

Hugging Face：https://huggingface.co/datasets/ACERobotics/ACE-Data-0

多模态同步采集：把所有信号锁定在同一时空

多模态数据真正的难点，不是设备够不够多，而是不同设备产生的数据能否准确对应。摄像机、动作捕捉系统、触觉手套和音频设备通常拥有独立时钟与不同采样频率。即使只有几毫秒偏差，也可能出现画面中的手尚未接触杯子，触觉信号却已经产生的问题；如果不同摄像机、人体和物体没有统一空间基准，也无法准确建立几何关系。

ACE-Data-0 通过时间同步与空间标定，把视频帧、人体动作、物体状态、触觉读数和音频统一到同一条时间线，并将外部摄像机、持续运动的第一人称设备、人体、双手和物体配准至共享世界坐标系。数据同步采集第一人称视频（四路鱼眼+IMU）、多视角第三人称视频、全身与手部运动、物体六自由度轨迹、多通道音频与触觉信号，并将全部模态对齐至同一时间线和空间坐标系。

因此，每次采集并不是一组互不相关的数据流，而是一份对同一物理过程的统一记录。研究者可以直接找到某个视频帧对应的人体姿态、物体位置、接触压力和声音变化，也可以比较第一人称与第三人称视角下的同一事件。ACE-Data-0 进一步提供相机参数和同步时间线、人体及手部状态、物体网格与六自由度位姿、边界框、运动轨迹、手—物接触信息，以及与物理时间线对齐的自然语言描述。

其中，大量标注直接来自经过标定的采集系统，而非完全依赖模型事后估计。这使数据在遮挡、快速运动和长期任务中拥有更稳定的一致性，也让模型能够真正学习发生在同一时刻的视觉、动作、声音和接触。

桌面+房间双系统：兼顾精细操作与长程活动

为兼顾精细手部操作与房间尺度活动两类需求，大晓将环境式采集引擎 ACE 设计为桌面尺度与房间尺度两套互补配置。

桌面尺度系统面向精细化手—物交互，在操作区域周围布置多视角摄像机、光学动作捕捉和触觉设备，重点记录抓取、倾倒、擦拭、切割、折叠等任务中的手部姿态、物体轨迹和接触变化。房间尺度系统覆盖厨房、餐厅、客厅、卧室等完整家居空间，通过广基线摄像机和全空间动作捕捉，持续记录参与者的全身运动、跨区域移动，以及发生在场景不同位置的连续交互。

采集过程中，参与者佩戴第一人称设备，系统同步记录四路鱼眼视频、IMU、头戴设备位姿、全身运动和手部关节状态；多视角外部摄像机则补足第一人称视角中容易被遮挡的身体和环境信息。

两套配置共享统一的数据采集、同步、标定、质检和标注流程，在数据格式、坐标系统和时间线上完全一致。ACE-Data-0 包含 1700 万帧视频、200 个任务类别、50 名参与者、2 个真实家庭场景和 7.5 万个交互片段，覆盖原子级人—物交互、长时序家庭场景活动链及人与场景交互。

目标级采集：保留真实行为差异

ACE-Data-0 覆盖三类互补任务。原子级人—物交互约3分钟（倒水、清洗、擦拭、切割、折叠等），长时序家庭场景活动链可持续20—30分钟（从打开冰箱到烹饪装盘的全流程），人—场景交互约5分钟（移动、坐下、开关家具、取放物品等）。

与严格规定每一步动作的脚本式采集不同，ACE-Data-0 采用目标级指令。参与者只被告知最终任务，不被要求遵循固定流程，因此可以自由选择物品、操作顺序和移动路径，也可能在过程中犹豫、改变计划、返回上一步或处理意外情况。同样是整理房间，有人先收拾桌面，有人先整理沙发；同样是准备食物，不同参与者会选择不同工具和顺序。

这些差异在标准化采集中可能被视为噪声，但对于真正进入家庭场景的机器人来说，正是必须理解的现实。ACE-Data-0 保留这些自然变化，使数据不再只提供理想化动作模板，而是记录人类真实完成任务时的规划、调整和恢复过程。

三级评测基准：找出模型在哪一步失效

基于 ACE-Data-0，大晓建立了由底向上的三级具身感知评估基准。第一级是底层信号推断，研究模型能否从视觉观测中预测接触与触觉信息；第二级是场景组成要素恢复，评估模型在遮挡、复杂姿态和持续运动下恢复人体与手部运动状态的能力；第三级是具身交互理解，要求模型从第一人称和第三人称视频中恢复接近、抓取、调整和释放等完整手—物交互过程。

研究团队进一步评测了30多种代表性方法。结果显示，现有模型在接触、严重遮挡、第一人称自运动、极端视角和长时间任务中仍存在明显能力缺口。

这套基准不只判断任务最终是否成功，更试图回答：模型究竟在哪一步失效？一次失败可能源于没有感知到接触，也可能来自物体状态估计错误、任务上下文丢失、动作顺序理解偏差，或手部运动恢复不准确。分层评测将这些问题拆解开来，帮助研究者判断模型已经理解了什么，又在哪一层发生能力断裂。

ACE-Data-0 的价值也不止于评测。由于第一人称视频、多视角第三人称视频、人体与物体轨迹、音频、触觉和语言标注处于统一时空框架，它可以进一步服务于模仿学习、机器人策略学习、世界模型、VLA，以及人类示范向不同机器人本体的迁移。

具身数据建设不能只追求小时数和轨迹数，更需要保留真实世界中的物理联系、任务结构、接触反馈与状态演化。“ACE-Data-0”中的“0”，代表这套具身数据体系的起点。

大晓开发者社群，开门了！

我们的开悟世界模型，不复刻世界，只锚定动作。

如果你也关注 Physical AI /世界模型，是时候，一起开悟了

Mbot具身智能实验室

让尖端科技触手可及，人人皆可探索未来

Mbot基础交流群等你加入，下方扫码联系

具身-杰西

Mbot具身-小助手

Mbot-视频号

Mbot-公众号