RoboSoft 基于软视觉的触觉第六指

中风后常见的抓握障碍凸显了开发与实施先进补偿策略的迫切需求。本文提出了一种新型系统，通过开发柔性、基于视觉的触觉增强型额外机械手指来帮助慢性中风幸存者。该系统结合视觉触觉感知，能够在检测到滑移时自主调节抓握力。这种协同不仅保证了机械稳定性，还丰富了触觉反馈，模拟了人类与物体交互的动态。本文的方法核心，是一个基于Transformer的框架，该框架在一个涵盖广泛形态特征（包括形状、尺寸、重量、纹理和硬度差异）的综合触觉数据集上进行了训练。

01

主要贡献

（1）提出柔性视觉触觉增强的第六指（VTE-SF）：在指尖集成GelSight传感器，实现类似生物手指的触觉反馈和滑移自适应抓握。

（2）构建基于Transformer的抓握框架：结合MobileViT触觉检测与TimeSformer滑移检测，实现抓握力的自动调节与稳定控制。

02

主要内容

A. 问题描述

中风患者普遍存在手部抓握功能缺陷，表现为无法稳定地持物或在日常操作中出现物体滑落。这一问题不仅影响患者的生活自理能力，也对心理状态带来负面影响。现有的康复与辅助装置存在以下不足：

（1）适应性差：多数装置适用于康复训练环境，缺乏对复杂日常任务的适应能力。

（2）控制复杂：依赖肌电信号或人工触发，操作负担大，且当健手同时参与任务时存在协调性不足。

（3）缺乏实时触反馈：大部分装置不能在滑移发生时自动调节抓握力，导致抓握过程不稳定。

为此，本文提出柔性、基于视觉触觉的第六指（VTE-SF），通过集成GelSight mini视觉触觉传感器 与 Transformer 模型，实现接触检测、滑移检测与抓握力自适应调节，模拟人手自然抓握反馈回路，提升患者日常操作的稳定性与独立性。

B. 主要方法

本研究提出的柔性视觉触觉增强第六指（VTE-SF）整体框架包括硬件结构设计、触觉传感集成、Transformer感知模型构建以及数据集的采集与训练。

在系统设计上，VTE-SF作为一根额外的柔性机械手指，与中风患者患手形成配合，实现稳定的双手抓握。其工作流程为：患者将手靠近目标物体，系统首先通过触觉检测模型识别接触；随后由滑移检测模型判断是否存在物体滑移；若检测到滑移，系统便会自动调节抓握力直至稳定，最后在患者指令下释放，这一闭环过程有效模拟了人手的自然抓握反馈。

▲在系统设计上，VTE-SF作为一根额外的柔性机械手指，与中风患者患手形成配合，实现稳定的双手抓握。

在硬件层面，装置采用刚性PLA与柔性TPU材料相结合的模块化结构，利用腱驱动实现手指的弯曲运动。指尖嵌入了 GelSight mini 传感器，可提供高分辨率的触觉图像信息，帮助识别物体表面形变与滑移。为了保证柔性关节在自重及传感器重量作用下仍能保持稳定，研究者使用 SoRoSim MATLAB 工具箱进行了参数化仿真，对关节厚度与高度进行了优化，结果显示合适的结构参数能够将指尖弯曲控制在总长度的3%以内。

▲研究者使用 SoRoSim MATLAB 工具箱进行了参数化仿真，对关节厚度与高度进行了优化。

在感知算法上，本文提出了一种基于Transformer的双模型结构。其中，轻量化的MobileViT模型用于触觉接触检测，能够在低计算复杂度下保持高准确率；而 TimeSformer 模型则通过联合时序与空间注意力机制，对滑移过程进行建模与识别，从而提升了抓握力调节的智能性与精度。通过消融实验，研究者分析了不同隐藏维度、注意力头数和编码层数对模型性能的影响，结果表明合理的配置不仅能提高准确率，还能在模型复杂度和效率之间取得平衡。

在数据集构建方面，作者基于YCB物体集选取了九类常见日常物品，包括苹果、杯子、西红柿、果酱瓶等，采集了多样化的接触与滑移数据，用于训练和验证模型。最终，触觉检测与滑移检测模型在该数据集上进行了系统性训练，其主要超参数配置如表III所示，涵盖输入帧数、图像尺寸、隐藏维度以及激活函数等关键参数。

03

实 验

为了验证所提出的柔性视觉触觉增强第六指（VTE-SF）的性能，本文从实验系统搭建、模型部署与训练、以及抓握任务测试三个方面展开了研究。

在实验搭建方面，研究团队构建了一个完整的测试平台，包括PC端、供电电源、U2D2通信模块、触发按钮以及VTE-SF装置。系统运行时，按钮用于启动和结束动作，电源为伺服电机提供驱动力，PC负责运行训练好的Transformer模型并实时输出调节命令，从而实现抓握力的闭环控制。

▲研究团队构建了一个完整的测试平台，包括PC端、供电电源、U2D2通信模块、触发按钮以及VTE-SF装置。

在模型训练与部署环节，本文使用了PyTorch框架，在RTX 4090 GPU上进行模型训练。触觉检测模型与滑移检测模型均采用预训练权重进行微调，训练数据包括公开的滑移数据集和基于VTE-SF采集的自建数据集。优化器选用AdamW，训练批次为16和32，训练10个epoch。超参数的详细配置见表III，而滑移检测模型与主流方法的性能对比如表II所示。从结果可以看出，本文提出的模型在准确率上明显优于CNN+LSTM、ViVit、TimeSformer和X-clip等方法，其最高准确率达到0.8923。

在抓握验证实验中，研究者设置了两类典型任务：

（1）日常物体抓取。实验选用图6中的九类物体，分别进行30次抓取。无论是训练中见过的物体还是未见过的新物体，系统均实现了100%的成功率，每次抓取时间不超过20秒。其中，VTE-SF在抓取过程中能够先轻触物体表面，再根据滑移检测结果自动调整抓握力，最终实现稳定持握。

（2）滑移补偿任务。研究者通过逐渐向已抓取物体中加入液体来增加重量，模拟动态负载变化带来的滑移风险。在这种情况下，系统能够通过TimeSformer模型识别滑移信号并自动增强抓握力，30次实验中取得了90%的成功率，有效保证了物体不脱落。

04

总 结

针对中风患者普遍存在的抓握功能障碍，提出了一种柔性、基于视觉触觉的第六指（VTE-SF） 辅助系统。该系统在末端集成 GelSight mini 视觉触觉传感器，能够实时感知物体接触与滑移，并通过 Transformer 框架实现抓握力的自动调节，从而减少患者的认知负担并提高抓握稳定性。在方法上，研究团队设计了模块化柔性手指结构，采用 MobileViT 模型进行触觉检测、TimeSformer 模型进行滑移检测，并通过消融实验优化模型参数。为支持训练与验证，他们构建了一个包含多种日常物体的触觉与滑移数据集。实验结果表明，该系统在已知与未知物体的抓取任务中均取得了 100% 的成功率，在动态滑移补偿实验中成功率达 90%。与传统方法相比，该方法在准确率与计算效率上均有提升。

推文来源：脑机接口社区

原文：Soft Vision-Based Tactile-Enabled SixthFinger: Advancing Daily Objects Manipulation for Stroke Survivors

作者：Basma Hasanen, Mashood M. Mohsan, Abdulaziz Y. Alkayas, Federico Renda and Irfan Hussain

期刊/会议：2025 IEEE 8th International Conference on Soft Robotics (RoboSoft)

引用格式：Hasanen B, Mohsan M M, Alkayas A Y, Renda F, Hussain I. Soft Vision-Based Tactile-Enabled SixthFinger: Advancing Daily Objects Manipulation for Stroke Survivors[J]. 2025 IEEE 8th International Conference on Soft Robotics (RoboSoft), 2025.

在线链接：https://ieeexplore.ieee.org/document/11020866