伦敦帝国理工学院研究团队提出新策略，机器人与人双手交接大物体

近年来，随着协作机器人的广泛应用，人机交互（HRI）领域，尤其是机器人与人类之间的物体交接研究，已日益凸显其重要性和普遍性。

特别是近两年，在人形机器人领域的热潮推动下，这一议题愈发受到社会各界的广泛关注。

然而，截至目前，多数相关研究仍局限于诸如单臂交接小型物体、固定位置交换等简单场景，且常面临无法有效感知并适应人类行为的问题。

图1 人-灵巧手机器人物体交接

当涉及在复杂环境中转移大尺寸物体时，由于交互距离近、物体体积庞大、存在梯子等障碍物、机器人操纵器限制以及视觉遮挡等多重挑战，相关研究较为匮乏。

以双手物体切换为例，在此类应用中，机器人需在复杂多变的环境中实时确定切换位置的现实场景，这与人类操作的流畅与自如相比，存在很大差距。

那么，机器人与人类之间的物体交接要实现如人与人之间那般自然流畅，主要难点究竟有哪些？

▍提出新策略，实现人与机器人大尺寸物体自然交接

机器人与人类实现物体交接的主要难点在于，机器人缺乏如人类般复杂的感觉系统与意识，无法准确感知人类同事的身体状态与个人偏好。

目前，关于机器人与人类间的物体交接研究，主要聚焦于两大核心领域：一是切换前阶段，包括通信、抓握规划、感知、交接定位、运动规划与控制等多个环节；二是物理切换阶段，着重于故障处理与握持力的精细调节。

在切换前阶段，即预交接阶段，动态调整在线交接位置仍是一大挑战。尽管已有研究尝试解决这一问题，但大多局限于单臂交接，难以有效应对大物体造成的视觉遮挡。而物理交接阶段则更侧重于故障处理与抓握力的精准调控。

除了上述两个阶段的研究，研究人员的目光近年来逐渐从理想的实验室环境转向更为自然的交接场景，如“躺在车下”或梯子作业等现实情境中的物体交接。同时，也有研究利用高斯过程回归与奖励学习来优化动态交接过程。然而，对于双手交接等更为复杂的挑战，相关研究相对有限。

图2 相关发表信息

近日，来自英国伦敦帝国理工学院电气与电子工程系、个人机器人实验室的研究团队，为了将技术提升至人与人之间交接的流畅度水平，对自然、复杂环境中的双手交接场景进行了深入探索。

为了解决复杂环境中的遮挡问题，研究团队为双手机器人开发了一种可以绕过遮挡的机载鲁棒多传感器感知系统，用于提高机器人的感知能力。该系统引入了测量置信度估计技术，用于增强加权平均数据融合算法，使其能够适应大物体切换与复杂环境所带来的遮挡挑战。

图3 在复杂环境中进行机器人到人类双手切换的拟议技术，通过提出的多传感器融合方法解决人类偏好和遮挡问题。

同时，团队还提出了一种抗遮挡的多传感器融合技术和在线切换位置更新框架。多传感器融合技术通过在不同位置布置视觉感知传感器，形成不同视野的互补；而在线切换位置更新框架则允许操作员在操作过程中灵活调整交接位置，以更舒适地接管物体，并适应操作员的需求。

为验证所提融合方法的有效性，研究团队设计了机器人与人类的双手物体交接应用实验。实验中，人类操作员站在梯子上，机器人将手持的箱子平稳转移到人类身上，同时确保根据人类偏好自适应地交付物体。这一实验场景充分展示了所提方法在挑战性环境中的实用性与有效性。

图4 双手物体切换时，不同人类偏好图示

此外，研究团队还建立了一个笛卡尔空间控制器，采用四元数方法与领导者-跟随者控制结构，实现了机器人的柔顺运动。为了评估遮挡弹性框架、大型物体交付、在线交接定位与自适应人类偏好框架的重要性，研究团队设计了四个不同的实验，涵盖了不同的人类偏好以及过程开始后的重大交接位置变化。

实验过程中，研究团队将所提的多传感器融合技术与单一传感器方法（顶部与底部传感器）及简单平均传感器数据的方法进行了对比。结果显示，多传感器融合方法实现了86.7%以上的交接成功率，明显优于依赖单一传感器方法或简单平均传感器数据的传统技术。

该研究成果的相关论文已以“Naturalistic Robot-to-Human Bimanual Handover in Complex Environments Through Multi-Sensor Fusion”为题发表在《 IEEE Transactions on Automation Science and Engineering 》上。

接下来，一起来和机器人大讲堂深入探索这一研究成果！

▍五大关键模块，实现可靠机器人控制与人性化交接

为了实现人与机器人在自然、复杂环境中的双手交接，研究团队深入剖析并将整个过程精细划分为几个关键模块进行逐一攻克。这些模块包括：用于精准提取人体姿态的感知模块、传感器框架与机器人框架之间的精确校准、以及抗遮挡的多传感器数据融合技术。

在攻克这些技术难点的基础上，研究团队进一步提出了高效的机器人控制策略以及涉及人类偏好的机器人到人类物体交接策略，就机器人的运动规划和执行进行了优化，并充分考虑了人类操作员的偏好和舒适度，从而实现了更加自然、流畅的机器人到人类的物体交接。

图5 所提出方法的流程图包括感知模块、校准、数据融合算法、根据切换策略的在线规划器和机器人控制图的子模块。

具体来说：

A. 感知模块

在感知模块方面，研究团队采用了具有强大环境适应性和在部分遮挡情况下依然能够准确识别人体姿势能力的微软Azure Kinect传感器。利用Azure Kinect软件开发工具包（SDK）和人体跟踪SDK，系统能够实时追踪包含32个主要关节的人体骨架。确保在0.5至3.86米的工作范围内，以高达30帧/秒的速率提供精确的人体姿态数据。

B. 校准

为了确保来自不同传感器的数据能够无缝融合并用于机器人控制，研究团队首先进行了传感器间校准，使用Horn方法计算校准矩阵，将两个Kinect传感器的测量值统一到同一参考框架。随后，通过深度视觉信息和Nelder-Mead方法完成手眼校准，确保机器人能够在其参考框架内准确接收并处理来自传感器的数据。

图6 当人站在梯子上时，机器人与人之间进行大尺寸箱子双手交接的自然物体交接实验装置，并用定义的坐标系进行注释。

C. 数据融合

针对复杂环境中可能出现的遮挡问题，研究团队提出了一种噪声估计方法。该方法通过跟踪存在性和数据抖动两个指标评估测量置信度，并据此为传感器数据分配权重。此外，研究团队还开发了一种数据融合技术，能够在某个传感器被遮挡时，自动切换至另一个传感器，确保数据的连续性和交接过程的稳定性。

D. 机器人控制

为了实现双手同步且精确的操作，研究团队采用了PD+重力笛卡尔空间控制器及基于单位四元数的方向控制器。前者结合位置和方向误差计算，后者通过无奇异性的四参数表示优化机器人方向控制，确保交接过程中的稳定性和准确性。

E. 交接策略

为了提升用户体验，研究团队还设计了一种自适应交接策略。该策略能够根据人类伙伴的手部姿态（向上或向下）和偏好姿态动态调整交接位置和方向。该策略还利用抗遮挡感知模块实时更新交接位置，确保即使在复杂环境下也能成功完成交接。此外，通通过实时更新交接位置以应对复杂环境中的变化，以及采用领导者-跟随者策略来同步双臂运动，研究团队避免了物体损坏，确保了交接过程的顺畅和高效。

图7 所研究的切换场景的架构

通过综合运用先进的感知技术、精确的校准方法、智能的数据融合策略、可靠的机器人控制算法及人性化的交接策略，研究团队成功实现了人与机器人在自然、复杂环境中的双手交接，为未来的机器人交互应用奠定了坚实基础。

▍四大实验场景，证明提出策略双手物体交接有效性

为了模拟自然环境下人与机器人之间的物体交接，研究团队进行了一项双手交接实验，其中人类操作员站在梯子上，从机器人手中接过一个大箱子并将其放置在架子上。

由于搬运该物体需要双手操作，因此人类伙伴在攀爬梯子时必须抓住梯子的支撑物以确保安全。同时，由于工作空间限制，机器人无法直接将物体放置在架子上。因此，研究团队采用了将箱子送到人类手中的方式。

图8 双手朝下的四组实验

实验中使用了一个尺寸为45×35×25厘米的箱子作为交接对象，实验平台包括一台配备Ridgeback移动底座和两个双指夹持器的Baxter机器人。

研究团队设计了一组包含①向下交接：接收者双手向下，物体从下方交接②向上交接：接收者双手向上，物体从上方交接③位置更新向下：开始与向下交接相同，但在过程中接收者改变了交接位置④位置更新向上：开始与向上交接相同，但在过程中接收者改变了交接位置，四种不同人类偏好和交接位置显著变化的实验场景，每种场景重复30次，总共进行了480次实验。

实验结果显示：

A.校准

传感器间和手眼校准的均方根误差（RMSE）在（x, y, z）方向上分别为（0.0105, 0.0095, 0.0152）米，欧几里得距离为0.0241米。图9展示了校准后传感器估计的左手掌位置轨迹，手眼校准的RMSE在（x, y, z）方向上分别为（0.0050, 0.0060, 0.0129）米，欧几里得距离为0.0167米。校准后的测量值之间的欧几里得距离均方根为0.0282米，表明校准成功。

图9 经过传感器间校准和手眼校准后，机器人参考系中传感器 1 (S1) 和传感器 2 (S2) 估计的左手手掌位置的验证会话轨迹。

B.数据融合

在遮挡情况下，数据融合算法通过估计传感器置信度并结合数据，成功克服了遮挡问题。图10展示了遮挡发生时，基于加权平均的数据融合方法如何依赖于置信度更高的传感器，提供连续的手部估计。

图10 实验期间，传感器 1 (S1)、传感器 2 (S2) 和传感器融合估计 (Sf) 会估算出左手手掌位置，然后计算传感器权重（分别为 S1 和 S2 的 W1 和 W2）进行数据融合。实验中，遮挡发生在 S2 角度，如图所示。

C.机器人控制

在搬运箱子时，研究团队首先测试了具有领导者-跟随者控制结构的柔顺运动。给领导者（本实验中选择左操作器为领导者）输入空间中的圆形轨迹，并使用两个末端执行器之间的固定变换矩阵计算跟随者（本演示中选择右操作器为跟随者）的相应轨迹。图11展示了领导者和跟随者操作器的轨迹控制结果，跟踪性能良好。图12进一步说明了交接位置更新时，机器人如何调整轨迹以确保交接成功。

图11 轨迹控制是在具有主从控制结构的柔性运动限制下通过双手操作实现的。在本场景中，左侧机械手（蓝线）充当主机械手，右侧机械手（红线）被选为本演示中的从机械手。

图12 实验 3 的机器人控制轨迹以及期望的 (十d ) 和当前 (十丙) 为左机械臂的位置。发起交接后，交接位置在动作过程中发生较大变化，需要机器人改变其轨迹才能成功交接。

D.交接实验

为了比较所提出的方法，研究团队测试了一个双手物体交接框架，分别使用1) 仅顶部传感器（S1）输入、2) 仅底部传感器（S2）输入、3) 两个传感器数据的简单平均值、以及4) 所提出的多传感器融合系统。图13报告了每种方法和每个实验的交接成功率和交接持续时间（每种情况重复30次，总共480次实验）。可以看出，所提出的多传感器融合算法结合了不同视角传感器的优势，即使在遮挡情况下也能成功交付大尺寸物体。

图13 四组实验的切换性能比较

以上实验结果表明，研究团队所提出的多传感器融合技术和机器人控制策略在复杂环境下的双手物体交接任务中表现出色，这为未来的人机交互应用提供了有力支持。