模仿学习如何赋能灵巧操作？这有一份「2021-2025」全景技术图谱

来源：市场资讯

（来源：机器之心）

作者团队涵盖天津大学、山东大学、KTH、ETH、MIT、南方科技大学、北京通用人工智能研究院和中科院自动化所等机构，在机器人学习、灵巧操作、多模态感知等方向具有持续研究积累。

灵巧操作（Dexterous Manipulation）要求机器人通过多指末端执行器完成抓取、旋拧、插拔等精细任务，其核心挑战在于高维动作空间、复杂接触动力学与实时力控的耦合。传统模型依赖方法难以泛化至未见过物体与场景，而纯强化学习又面临样本效率低、奖励设计难等瓶颈。

与强化学习通过试错优化奖励信号不同，模仿学习（Imitation Learning, IL）通过直接从人类示范中捕获细粒度协调行为，避免显式建模复杂接触动力学与设计稀疏奖励函数，为灵巧操作提供了一条数据驱动的新路径。

然而，该领域研究长期分散于不同数据范式、算法框架与硬件平台，缺乏系统性整合。近期，来自天津大学、山东大学、KTH、ETH、MIT、上海交通大学、南方科技大学、北京通用人工智能研究院和中科院自动化所的综述论文《Dexterous Manipulation through Imitation Learning: A Survey》首次对这一方向进行了全景式梳理，涵盖 2021–2025 年关键进展，旨在为研究人员提供模仿学习灵巧操作领域的全面视角。

• 论文标题：Dexterous Manipulation Through Imitation Learning: A Survey

• 论文链接：https://ieeexplore.ieee.org/document/11305224/

该综述指出，模仿学习的核心价值在于避免显式建模与大规模试错，直接利用人类示范数据学习策略。但其有效应用依赖高质量数据、适配算法、可靠硬件与标准化评估的协同。

理论支撑

从认知科学到优化理论的跨学科根基

模仿学习在灵巧操作中的有效性并非经验巧合，而是植根于多层级理论体系。在认知层面，Bandura 的社会学习理论为「观察 - 模仿」范式提供了行为学依据，而灵长类镜像神经元的发现则从神经机制上解释了动作观察与执行的表征共享现象。

在控制层面，内部模型理论（internal model theory）与最优反馈控制框架为策略的预测 - 校正闭环设计提供了数学工具，例如 DMP（Dynamic Movement Primitives）通过微分方程参数化运动基元，实现了对人类示范轨迹的紧凑表征与泛化生成。

在优化层面，行为克隆的负对数似然目标、逆强化学习的特征计数匹配约束、以及对抗模仿的 Jensen-Shannon 散度最小化，均对应明确的统计学习理论保证，这为算法收敛性与样本复杂度分析奠定了基础。

数据资源

从遥操作到互联网规模弱监督

高质量示范数据是模仿学习的基础。早期工作依赖遥操作或动作捕捉系统，代表性数据集如 BridgeData V2、RH20T 提供 RGB-D 视觉、关节状态、力 / 扭矩等多模态同步记录。近年研究转向更具可扩展性的范式：

• 高保真几何建模：ARCTIC 数据集通过手 - 物网格重建，实现复杂交互几何的精确建模；

• 双手协同标注：OAKINK2 聚焦双人操作，提供多视角 3D 姿态标注，支持对称 / 非对称任务学习；

• 合成与增强技术：MimicGen 利用几何 - 语义一致性约束从少量演示生成物理合理轨迹；RoboAgent 通过视频语义扩展动作多样性；

• 弱监督视频学习：VideoDex、NIL 等方法尝试从互联网未标注操作视频中提取策略，推动灵巧操作向无监督学习演进。

主流灵巧操作数据集对比

模仿学习数据集质量评估规则

学习方法

行为克隆的演进与多模态融合

模仿学习范式持续多样化，核心进展包括：

• 行为克隆改进：Implicit Behavioral Cloning 通过能量模型捕获多模态动作分布；Diffusion Policy 利用扩散模型生成高维连续动作，其迭代去噪机制可有效建模动作分布的多峰特性与时序依赖，在插拔、旋拧任务中展现优越性能；

• 对抗模仿鲁棒性：GA-GAIL 引入任务目标引导判别器训练，提升对噪声 / 次优示范的鲁棒性；

• 视频驱动学习：按技术路线分为运动中心建模（DexMV）、合成视频生成（Gen2Act）、表征学习（Ag2Manip）与任务定制架构（Bi-KVIL）四类，后者通过显式建模双手协调关系提升复杂环境复现能力；

• 触觉 - 视觉融合：新一代触觉传感器（GelSight、TacTip）提供高分辨率接触信息，与视觉形成互补。触觉信号可检测视觉遮挡下的微滑移与接触力变化，为策略提供冗余感知通道；ViTacFormer、KineDex 等工作实现跨模态特征融合，使策略在低光照或遮挡条件下仍能稳定执行。

模仿学习方法分类体系

不同模仿学习方法的比较

基于视频的灵巧操作模仿学习方法分类

硬件平台

从灵巧手到人形本体

目前，灵巧手的设计正从高成本、封闭式工业系统向低成本、开源化、模块化方向演进。

Shadow Dexterous Hand 以 24 自由度和高精度力控，长期作为高保真遥操作的黄金标准；LEAP Hand 凭借简易制造工艺与良好运动性能，已成为大规模模仿学习实验的常用平台；Linker Hand L20 采用连杆驱动设计，每个手指配备 4 个电机，工作空间与指尖力接近人类手，在高灵巧性工业应用与学术研究中广泛使用；Allegro Hand 采用直接驱动，结构紧凑且响应迅速；BarrettHand 通过欠驱动实现自适应抓取，在工业场景中广泛应用；而 DLR/HIT Hand II 等早期平台则为多指力控与传感集成提供了重要参考。这些硬件进步降低了研究门槛，也为算法与物理世界的紧密耦合创造条件。

三种末端执行器在灵巧操作中的性能比较

代表性机器人手的关键特征

灵巧策略的部署效能高度依赖本体构型，除灵巧手外，整体硬件平台同样不可忽视。论文指出，高自由度人形平台（如配备 Shadow Hand 的双臂系统）虽能复现精细手指运动，但其动作空间维度激增会加剧模仿学习的分布偏移风险；而轻量化本体（如 LEAP Hand+ 移动基座）通过结构简化降低策略学习难度，却可能牺牲复杂任务的执行能力。

更关键的是，本体动力学特性（如关节摩擦、传动迟滞、质量分布）会引入示范数据与实机执行间的系统误差，这要求策略设计必须考虑「感知 - 决策 - 执行」链路的端到端鲁棒性。近期工作如 Mobile ALOHA 通过 whole-body teleoperation 采集全身协同数据，正是为了弥合「手部策略」与「全身运动」间的表征鸿沟。

灵巧操作操作系统

算法落地的工程接口

「操作系统」指支撑策略执行的基础软件栈与任务调度框架。论文指出，分层模仿学习框架需通过高层任务分解与底层动作执行的解耦，实现长时程任务的稳定复现；而遥操作数据采集系统则依赖 ROS-native 接口、多传感器时间同步协议及低延迟通信中间件，确保示范轨迹的时空一致性。

此外，为解决跨平台复现难题，综述呼吁社区共建标准化部署环境，包括统一的仿真参数配置、硬件抽象层接口及评估指标注册表，以降低「代码可跑」与「结果可复现」之间的鸿沟。

评估协议

标准化 benchmark 的迫切需求

当前灵巧操作评估存在显著瓶颈：多数研究在私有任务或特定平台验证，任务定义（如成功判定阈值）、评价指标（如轨迹误差 / 任务完成率 / 能耗）、硬件依赖（如是否要求特定灵巧手型号）缺乏统一标准，难以实现跨方法、跨平台的公平比较。

综述呼吁社区共建标准化 benchmark，涵盖插拔、旋拧、穿线、布料操作等典型任务，并引入物理可行性、能耗、失败恢复率等综合指标。

灵巧操作关键挑战的重要性与解决难度矩阵

总结与展望

本综述不仅提供技术地图，更指出未来方向：算法需降低对特定硬件 / 环境的依赖，提升跨平台迁移能力；评估体系亟需标准化以支持公平比较；研究重心正从单次短时任务转向长期交互与多技能组合，要求系统具备分层规划、在线适应与任务组合能力。

灵巧操作的价值在于赋能具身智能体完成复杂物理交互。从家庭服务到工业装配，具备类人手部灵活性的机器人将拓展人工智能应用边界。本综述为此领域研究者提供了一幅清晰、系统且面向未来的全景图谱。