首个面向柔性衣物灵巧操作的仿真平台来了，北大、伯克利联合发布

本论文共同第一作者为王昱然、吴睿海、陈越，导师为北京大学董豪老师。课题组致力于统一的物体表征操作研究，以实现具有可解释性和泛化能力的物体操作策略。

在机器人操作领域，柔性物体，尤其是衣物的操控始终是一个值得关注的难题。与刚体或铰接物体相比，衣服具有近乎无限的状态空间，以及复杂的动力学特性，这使得现有方法在应对衣物操作时表现欠佳。

董豪课题组已在柔性物体操作领域进行了诸多探索，其中：（1）GarmentLab作为首个全面的衣物和柔体操作环境与基准平台，提供了关于柔体、流体、可变形物体的各种仿真和针对二指夹抓取的大量操作任务；（2）GarmentPile重点关注堆叠柔性物体的相关操作，通过功能可供性（Affordance）使机器人能够针对不同堆叠状态下的衣服泛化并高效完成调整和操作。

然而，基于灵巧手（尤其是双臂协同）的柔性衣物操作仍未被充分探索，当前，机器人在柔性衣物灵巧操作中面临三大核心挑战：

数据难题：灵巧手的高维动作空间与衣物的复杂状态，使得策略学习对数据依赖极大，且不同任务对抓取姿态的要求差异明显，导致现有仿真环境中往往需要大量人工遥操作或专家策略进行示范，效率极低。

仿真环境的局限性：真实的衣物操作往往涉及与衣架、人体等刚性或铰接物体的交互，而现有仿真器在物理准确性与真实感方面存在不足，难以支持高质量的灵巧操作研究。

算法泛化能力弱：现有的强化学习和模仿学习主流方法往往依赖复杂的奖励设计或大量示教数据，难以推广至形状、状态高度变化的全新衣物实例，实用性受限。

为应对上述挑战，北京大学联合加州大学伯克利分校研究团队提出了全新仿真平台DexGarmentLab，这是首个专为灵巧（特别是双手）衣物操作设计的高保真仿真环境。DexGarmentLab 基于 Isaac Sim 4.5.0 搭建，具有以下三个显著优势：

（1）多样化、高真实性的仿真场景

涵盖来自 ClothesNet 数据库的 8 大类共计超 2500 件的柔性衣物；配套 15 个高质量灵巧手（尤其针对双臂）衣物操作任务场景；柔性衣物仿真具备真实物理属性，显著缩小 “仿真到现实” 的差距。

（2）自动化数据采集管线

提出利用衣物结构对应关系，仅基于单次专家示范，自动生成多样化的操作轨迹，大幅减少人工成本。

（3）泛化能力强的策略框架 HALO

提出分层策略 HALO（Hierarchical gArment-manipuLation pOlicy），结合功能可供性（affordance）与扩散方法（diffusion），自动生成可泛化的操作轨迹，在面对形状与状态变化巨大的衣物时，表现出优于现有模仿学习方法的稳定泛化能力。

大量实验验证表明，DexGarmentLab 搭配 HALO 策略，不仅在模拟环境中具备高效学习与泛化能力，在现实应用中也表现出显著优势，向真正实用的衣物灵巧操作又迈进了一大步。

• 论文标题：DexGarmentLab: Dexterous Garment Manipulation Environment with Generalizable Policy
• 论文主页：https://wayrise.github.io/DexGarmentLab/
• Github 链接：https://github.com/wayrise/DexGarmentLab

DexGarmentLab 介绍

（一）DexGarmentLab 仿真环境

先前的柔性物体仿真工作存在诸多问题，很难恰当地模拟柔性衣物在日常生活中非常常见的折叠和交互行为。为此，我们引入了 adhesion，friction，particle-adhesion-scale, particle-friction-scale 等参数来增强柔性衣物物理仿真的真实性。

得益于 friction 和 adhesion，灵巧手能够依靠物理作用力直接抓取并提起衣物，而无需额外的 attach block 辅助 （attach block 在 GarmentLab 中被用于二指夹抓取，但是这种方式不适合灵巧手抓取）。

particle-adhesion-scale 和 particle-friction-scale 有助于稳定粒子系统，防止粒子之间发生过多的自碰撞，从而使得衣物能够保持相对稳定的折叠状态，避免变得凌乱。

我们共提出了涵盖 8 个衣物类别的 15 项衣物操作任务，涵盖了衣物自交互（如摊开、折叠）和衣物与环境交互（如悬挂、穿戴、收纳）两大类任务场景。在衣物自身交互任务中，关键变量包括衣物的位置、朝向与形状；而在衣物与环境交互任务中，还需考虑环境交互物体的位置（如衣架、挂钩、人体等），以全面模拟现实中的操作情境。

（二）自动数据收集

自动数据采集流水线介绍：

（1）单次专家示范：针对每个任务，首先通过一次专家示范提取关键信息，包括手部抓取姿态、任务执行顺序，以及衣物上的抓取点；

（2）利用 Garment Affordance Model (GAM)：通过功能可供性模型（GAM），将专家示范中的抓取点映射到形变各异的新衣物上，自动识别目标抓取位置；

（3）自动执行任务序列：基于推理得到的抓取点和手部姿态，自动执行任务序列，实现高效、可扩展的数据采集流程。

注意：轨迹会根据衣物结构和场景配置进行自适应调整，也就是说，不同衣物和场景会生成不同的操作轨迹（如提升高度、放置位置等），确保操作行为更加贴合实际，同时也增加了任务操作难度。

我们在项目主页中可视化了各种任务场景的配置及各种任务的示例视频，在此我们挑选了九个典型任务进行全流程的展示。

Fling_Dress（整理裙子）

Fold_Tops（折叠上衣）

Hang_Coat（悬挂外套）

Hang_Trousers（晾晒裤子）

Store_Tops（收纳上衣）

Wear_BaseballCap（戴棒球帽）

Wear_BowlHat（戴帽子）

Wear_Scarf（戴围巾）

Wear_Glove（戴手套）

（三）泛化策略: HALO

我们采用分层架构实现了具有泛化能力的策略框架 HALO，在衣物操作任务中相比现有模仿学习算法展现出更优的泛化表现。该策略分为两个阶段：

阶段 Ⅰ：可操作点生成

利用 Garment Affordance Model (GAM) 生成具备泛化能力的可操作点，帮助机器人精准定位并移动至目标区域。

阶段 Ⅱ：结构感知扩散策略（SADP）

我们引入 Structure-Aware Diffusion Policy (SADP)，将衣物点云（辅以左右手的可操作点 Affordance 作为绑定特征）、交互物体点云、环境点云以及机器人当前关节状态作为条件输入，生成机器人的联合动作控制信号。输出包含每只手 24 自由度、每条手臂 6 自由度，总计 60 自由度的控制指令。

我们的分层策略在仿真和真实世界中均展现出非常强的泛化能力和非常稳定的执行能力。在仿真任务里，我们测试了除 Wear_Glove 外的全部 14 个任务；在真实世界里，我们在四个典型任务上对所提出的方法进行了评估：折叠上衣（Fold Tops）、悬挂上衣（Hang Tops）、佩戴围巾（Wear Scarf）和佩戴帽子（Wear Hat），每个任务在测试时均选取了每类 3 件不同衣物，每件衣物设置 5 种初始变形状态。

如下表所示，从仿真实验和真机实验的任务执行量化结果来看，HALO 均优于各种 beseline 与 ablation。

仿真实验结果

真机实验结果

四个任务中，Fold_Tops 是衣物自交互任务，Hang_Tops、Wear_Scarf、Wear_Hat 是衣物与环境交互任务。在测试过程中，衣物样本在形状、长度、变形程度等方面均存在较大差异，同时衣物与交互物体的位置也各不相同。

尽管存在上述变化，HALO 中的 GAM 模块依然能够准确定位抓取区域，而 SADP 模块则根据衣物和交互物体的状态生成自适应操作轨迹，确保操作动作既稳定又具备良好的泛化能力。

总结

DexGarmentLab 为柔性衣物操作提供了先导的仿真环境、高效的数据采集方式以及泛化的操作策略，基于 DexGarmentLab 可以拓展一系列的柔性衣物工作，包括二指夹交互任务、灵巧手交互任务、移动操作任务、堆叠衣物交互任务等。期待更多基于 DexGarmentLab 的工作可以探索并实现更加广泛的柔性物体操作应用，助力具身智能迈向通用的家居场景！