厦大廖新勤AM：视触融合用于机器人看谱弹琴与水下抓取

具身智能通过与环境的实时互动，在“感知‑决策‑执行”的闭环中优化自身行为，从而突破了传统人工智能在非结构化场景中的能力限制。即时获取环境反馈并动态调整策略，显著提升了系统在多种现实任务中的表现。触觉感知能提供直接的物理状态信息，辅助实时行为调控，但由于其依赖接触的特性，在非接触状态下难以形成连续完整的空间感知。视觉感知虽可对环境状态进行整体估计，却无法获得直接的接触反馈。这一局限性促使视触融合机制成为关键发展方向，即通过结合视觉的态势估计与触觉的接触信息，突破单一模态的感知约束，实现更接近人类的环境理解水平。此类跨模态融合将推动具身智能的演进，并借助自主闭环优化，以实现具身系统物理交互能力的跃迁。

近日，厦门大学廖新勤团队提出了一种新型的织物基事件驱动触觉界面（FED触觉界面）。通过巧妙利用织物固有的编织结构并采用交叉纤维电极设计，该界面在实现超高压力灵敏度的同时，保持了宽广的检测范围。其独特的事件驱动特性，建立了适用于具身智能感知的“接触事件‑力学映射”范式。得益于防水与可水洗的特性，该界面拓展了具身系统在水下环境中进行精细操作与探索的可能性。更为重要的是，受人类跨模态协同机制的启发，该团队进一步构建了视触融合架构（VTF架构），通过跨模态感知协同与决策级融合，开辟了自适应优化的新路径。该仿生架构实现了视觉路径规划与实时触觉力校正之间的良好协调，突破了水下透明物体抓取等复杂环境中操作的局限性。并在对易混淆物体的识别中通过并行特征融合的方式实现了97.7%的准确率，较单模态方法有显著提升。通过视触觉模态间的信息深度耦合，该研究在环境交互与认知决策之间建立了连接，推动了面向实际应用的智能自适应系统的发展，是机器人智能向前迈进的重要一步。相关工作以“Bioinspired Cross-Modal Self-Adaptive Machine Intelligence for Event-Driven and Ultrahigh-Precision Underwater Grasping”发表在《Advanced Materials》（IF 26.8，一区TOP）上。

【VTF架构的概念和说明】

在人类与环境的交互中，视觉与触觉感知各有其优势与局限。触觉感知能通过直接接触获取物体的物理属性并提供实时力反馈以辅助抓取操作，但受限于局部接触信息，难以精确定位且缺乏预感知判断，导致抓取效率受限。相比之下，视觉感知能有效获取物体的形状、颜色和空间位置，为交互提供初步评估与路径规划，但其易受光学条件影响，且无法直接感知物理属性。受人类多感官协同启发，研究团队设计了VTF架构，通过跨模态整合实现闭环决策与动态优化，显著提升了机器人系统的感知与交互性能。基于该架构开发了视触觉融合物品识别系统、自适应抓取系统以及水下交互系统，以验证其在非结构化动态场景下的广泛的适用性与巨大应用潜力。

图1 VTF架构的概念和说明

【 FED触觉界面的设计原理与性能】

FED触觉界面是VTF架构的核心感知部件，器件由交叉纤维电极、织物导电层以及中空垫片以层对层堆叠组装的形式构成。该结构利用交叉纤维电极的应力集中效应与织物编织结构的接触面积调节能力，实现了超过450 kPa的压力检测范围以及246.3 kPa⁻¹的最大检测灵敏度。此外，FED触觉界面具备与人类皮肤相当的快速响应能力（<40 ms）与压力检测极限（<8 Pa），并在超过5,000次压力循环测试后仍保持信号稳定，克服了织物压缩形变缺陷，展现出优异的耐久性。得益于碳纳米管/水基聚氨酯导电复合材料在织物表面的牢固附着，FED触觉界面具备可水洗性能，且在水下的压力响应能力与在空气中基本一致，从而为水下环境中的触觉反馈提供了可靠支持。在实际抓取应用测试中，该柔性界面可贴合于机械夹爪表面，在多种抓握姿态下稳定工作，并能通过检测接触区应力分布的周期性波动，实现对物体多向滑移的感知。

图2 FED触觉界面的设计原理与性能

【VTF自适应抓取系统的构建与应用验证】

自适应抓取是一种智能抓取技术，可根据目标物体的特性动态调整抓取策略和力度。然而，传统抓取系统只限于机械化完成抓取控制，缺乏对不同物体的适应性触觉反馈，且存在无法预先感知物体特征与在非结构化环境中定位困难的局限。为了解决上述问题，研究团队开发了基于VTF架构的自适应抓取系统。VTF自适应抓取系统通过视觉进行抓取路径规划，并评估各类物体的抓取力阈值。同时，FED触觉界面负责在抓取过程中感知施加力大小、接触界面滑动和物体形状变化，为系统提供实时触觉反馈信号。在视觉识别和触觉反馈的协同作用下，VTF自适应抓取系统实现了对不同材料和尺寸物体无损坏、无滑动的高效抓取。

图3 VTF自适应抓取系统的构建与应用验证

【基于VTF架构的钢琴演奏系统和水下抓取系统】

研究团队构建了基于VTF架构的机器人钢琴演奏系统。该系统通过视觉识别乐谱并转化为机械臂动作，同时利用FED触觉界面感知按键力度。虚拟钢琴子系统根据弹奏力度，实时调整音量并以颜色梯度反馈力度大小，从而实现自主动态力弹奏行为，反映出系统在视触觉协同指导下接近人类的交互能力。在高度动态的水下环境中，由于水的独特光学特性，视觉定位面临着重大挑战。受人类在视觉受限场景下探索行为的启发，本研究提出了触觉辅助定位策略。借助FED触觉界面优异的水下传感性能，以接触信息补全视觉缺失的方式，有效克服了水下视觉的局限性，从而实现对非透明/透明水下物体的可靠抓取。

图4 基于VTF架构的钢琴演奏系统和水下抓取系统

【基于VTF架构的物品识别系统】

针对单一感知模态在物体识别中的局限性（如触觉易混淆材质相似物体、视觉易受外观相似性干扰），本研究基于VTF架构提出了并行特征融合物体识别策略。该策略分别通过视觉识别模型与触觉卷积神经网络并行提取外观描述性特征与柔软度特征，有效避免了跨模态间识别干扰。该策略通过在决策层面对跨模态描述性特征进行互补性整合，构建了对识别对象的完整描述。对比单一视觉（73.6%）与单一触觉识别（85.6%），实现了97.7%的识别准确率。这为工业分拣、家庭服务等复杂场景下机器人的鲁棒环境感知与精准识别操作提供了解决方案。

图5基于VTF架构的物品识别系统

总结

在这项研究中，研究者们首先提出了一种基于织物的FED触觉界面，采用交叉纤维电极与编织结构，具备超高灵敏度、宽压力范围及优于皮肤的检测极限与响应速度。其压力/滑动双模检测支持毫秒级反馈，可提升机器人对光滑、易碎物体的操作精度。通过复合导电材料在织物基底上的牢固粘附，FED触觉界面被赋予了优异的水下使用性能以及可水洗特性，为水下抓取应用提供了可靠硬件基础。

为克服单模态感知的固有局限，研究团队受人类跨模态协同机制启发，提出了VTF架构。通过整合视觉与触觉信息，该架构在物品抓取、识别等任务中展现出卓越性能。尤其在面对视觉退化场景时，依托触觉辅助定位，实现了对水下透明物体这类困难目标的有效操作，凸显了跨模态融合在实际环境中的鲁棒性与适应性。VTF架构的提出，推动了具身智能领域的发展，构建了一种仿生式的跨模态感知交互新范式。为开发能够应对复杂动态场景的下一代智能系统提供了关键技术路径，具有重要理论价值与应用前景。