北京
无需大量真实世界数据，教会机器人实现灵巧作业
训练机器人灵巧操作策略，通常依赖真实世界演示数据，但这类数据若要覆盖大量任务，成本十分高昂。该方案扩展性较差，因为每一项新任务都需要操作人员、实体机器人，还要反复开展数据采集工作。近期一项研究解决了这一难题：将绝大部分数据采集工作转移至仿真环境完成，再利用少量真实世界数据，把策略迁移适配到实体硬件上。
在仿真环境中采集多样化演示数据
预训练阶段，操作人员在物理仿真器内操控一台 56 自由度双臂灵巧机器人：借助 VR 头显追踪人手，通过逆运动学驱动机器人的机械臂与手指。由于数据采集无需依赖实体硬件，虚拟物体可以快速重置。5 名操作人员在 6 种场景、数百个物体样本下，累计采集 75 小时的演示数据，执行开放式任务，记录达成每个目标的多种不同操作方式。 研究人员利用这份数据训练了一个参数量达 2.22 亿的扩散变换器模型。该模型基于多视角图像与本体感受信息预测动作片段，依托感知运动历史，实现具备响应能力、时序连贯的控制效果。
依托高精度真实世界遥操作完成微调
预训练完成后，研究团队通过短时微调环节，将训练得到的策略部署到实体硬件。硬件平台搭载两台 YAM Pro 机械臂，每台机械臂装配一只 22 自由度 Sharpa 灵巧手；同时配备三台 RealSense D405 相机，分别采集俯视视角以及两只机械手的第一人称视角画面。 针对每项任务，研究人员使用一套复刻仿真环境配置的遥操作系统，采集 12 小时的真实演示数据。该阶段操作人员佩戴 MANUS 数据手套实现手指追踪，搭配外接 Quest 控制器完成手腕追踪，替代仿真环境里 VR 头显自带的手部追踪功能。团队表示，这套组合实现了更流畅、精度更高的控制，这对于机器人应对遮挡、远距离作业场景至关重要。
大规模仿真数据结合少量真实数据的实验结果
在全部五项双臂任务（摆放盘子、堆叠杯子、玩叠叠乐、悬挂马克杯、把瓶子投进收纳箱）中，经过仿真预训练的策略，性能均优于直接使用同等真实演示数据从零训练的同架构策略。并且前者全程训练损失值更低，研究人员认为该特征对应着更优秀的真机表现。 该研究证明：对灵巧操作策略做真机适配时，大规模仿真预训练能够降低对真实世界演示数据的依赖。在真实数据采集过程中，MANUS 数据手套作为遥操作系统的一部分完成手指追踪。据研究人员反馈，这套系统可以输出更顺滑、精度更高的控制信号，尤其适合存在遮挡以及远距离操作的工况。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
