上海交大谷国迎、朱向阳《自然·通讯》: 视触觉掌指协调的软体机器人手

近年来，机器人手领域显著扩展，从传统的工业应用转向更复杂的人类生活场景。这一转变促使研究者着眼于开发能够提供灵巧运动和丰富触觉感知的机器人手。然而，当前的研究主要集中在手指或指尖触觉感知。而手掌作为一个提供机械支撑和感知反馈的重要接触区域，由于目前感知密度有限以及与手指的交互能力不足，未被充分探索。

人手在日常抓握和操作物体时，手掌与物体间会形成广泛的接触。受此启发，我们提出了一类集成高密度视触觉手掌、灵巧软体手指以及手掌-手指协作策略的机器人手(TacPalm-SoRoHand)。这种设计通过掌-指紧密交互，提高了抓取稳定性，在抓取时精细重建物体表面形貌，并对不同物体准确分类。利用掌-指动态反馈策略，实现了平面物体拾取、连续缺陷检测和实时姿态调整等交互式精细操作。此外，结合人工智能实现了人机协作，开辟了人机共融新思路。 相关成果以题为“Soft robotic hand with tactile palm-finger coordination”发表于Nature Communications期刊。

图1 TacPalm-SoRoHand的总体概念

结构设计

图2 TacPalm-SoRoHand的结构

我们的设计目标是在手掌上实现高密度触觉感知，并具备灵巧的手指运动能力以抓取各种日常物体。基于感知技术和机器人抓取原理，我们认为：视触觉感知原理可集成到手掌区域以提供高密度触觉反馈，而具备强力包络和精确捏取两类功能的三指手足以完成多数抓取任务。因此， TacPalm-SoRoHand的机械结构包括紧凑的视触觉手掌、能够实现两类抓取功能的软体两段式手指，以及掌指连接器。

触觉手掌由微型摄像头、多层感知弹性体、发光二极管环和辅助组件组成。多层感知体包括一个覆盖灰色膜的弹性体层、一个透明亚克力层，以及一个用于扩散光线的漫射层。当物体接触感知体时，感知弹性体发生形变，摄像头记录形变信息。为获取深度信息， 发光二极管环被编程为红、绿、蓝三组，生成不同深度的彩色光梯度。

软体手指由两段纤维增强弹性体腔室、附着在弹性体腔室底部的高模量聚乙烯片，以及由低模量弹性体外皮组成。在气动驱动过程中，弹性体腔室的顶部伸长，而聚乙烯片限制了底部的伸长。顶部和底部伸长差导致手指段的弯曲运动。近端段和远端段可以独立或统一驱动，使手指能够实现强力包络和精确捏取，适用于大多数抓取任务。

性能表征

图3 掌部触觉感知性能

触觉手掌的感知单元总数为1280×800，感知区域为30.08×18.80mm的矩形，感知密度约181000单元/cm²，远高于人手的240单元/cm²。触觉手掌能响应最小约1 kPa的压力，其产生的压痕尺寸随法向压力增加而增大，能够通过几何模型和压痕变化来估计法向压力。法向压力响应较稳定，超5000次加载-卸载循环未出现明显衰减。通过分析触觉图像及其RGB强度分布，发现其内部光照相对均匀。通过校准测试，可生成RGB强度和深度梯度，并依靠快速泊松算法重建物体表面形貌。通过等距条纹块评估了平面形状重建能力，其在亚毫米尺度上具有明显的直线条纹和锯齿状峰值特征。通过三角形台阶块评估了垂直方向形状重建能力。平面和垂直方向的精度分别为92.3%和81%。

软体手指的工作空间呈新月形，可视为三种驱动模式组合的结果：近端驱动、远端驱动、以及两段共享压力的均匀驱动。手指弯曲角度随驱动压力非线性增加至最大204.3±7.6°，与人类手指相当。整手最大抓取力14.6±0.6N，满足多数日常物体的抓取需求。手掌增强了抓取可靠性：通过与细长/扁平物体的尖端/边缘接触来保持物体稳定；其表面柔顺性能与易碎变形物体安全交互；阻挡了松散物体，并能够被动适应大型非凸面物体。

手掌触觉反馈能够辅助抓取。例如，在物体高速递送任务中，配备掌部触觉反馈软体手包络物体成功完成任务，而未配备触觉反馈的软体手则“包不住”而递送失败。在杯盖拾取任务中，配备掌部触觉反馈的软体手实现了更稳健的拾取（20次实验成功率100%），而未配备触觉反馈的成功率仅65%。其原因在于手掌-杯盖触觉反馈可触发软体手指包络杯盖边缘，而不是仅仅捏取其尖端而使其滑落。

视频1 利用手掌触觉反馈协助抓取平面上不同物体

应用验证

抓取过程中的精细物体感知与分类

图5 对不同抓取物品的精细感知和分类

为评估 TacPalm-SoRoHand在抓取过程中感知物体表面特性的能力，我们选择了三类物体。

第一类是 尺寸较大且具有不规则脆弱表面纹理的自然物体，例如苦瓜、饼干和松果。以“ 先近端-再远端”的顺序驱动手指可抓牢物体而不会将其推出，使物体几乎垂直地按压在手掌面而不产生损伤。手掌感知物体的接触压痕，并重建栩栩如生的三维表面形状。

第二类是具有明显几何特征的小型工业部件，例如电路板、止回阀和螺丝。这些物体通常较薄，以“ 先远端-再近端”的顺序驱动手指可准确抓取物体并将其垂直按压。触觉手掌生成的重建图像重现了物体细微的几何特征，为后续操作提供帮助。

第三类是易起皱的织物，特征厚度更薄，仅为0.5mm，且其精细纹理易与手指压痕混淆。以“ 先远端-后近端”的顺序驱动可使手指展平织物并将其垂直按压。手掌生成触觉图像经算法增强后可减少手指压痕的干扰，从而实现了织物复杂纹理重建。此外，可通过快速傅里叶变换以频谱图方式分析纹理的周期性和方向特征。

在此基础上，我们对10种不同织物进行分类。实验前，我们通过 AI算法构建了不同织物类型触觉图像的数据集和学习模型， 实时计算效率高， 处理时间<0.01s。实验 结果表明，该系统对织物的平均分类准确率达97%，误分类发生在织物类型5上，原因是按压过程中获取的触觉图像未能完全反映其大孔状图案。同时，可构建分类准确率矩阵，获得最佳的（准确率> 90%）的 手指力和驱动气压设置区间。

基于手掌触觉反馈的精细操作

视频2 利用手掌触觉反馈与手指步态抓取卡片

精细操作需要手指运动与手掌触觉反馈之间的紧密配合。例如，安装在机械臂上的软体手从桌面上拾取一张卡片，起初只有卡片的顶部表面可供接触。通过协调的两段式循环手指步态策略（起始-接触-拉动-抬起-恢复），软体手逐渐将卡片从桌面移向手掌，从而显露卡片侧边。触觉手掌采用边缘检测算法感知由卡片侧边接触产生的线状压痕，这一信息触发手指驱动系统进行自适应抓取。这种策略具有通用性，不仅限于实心卡片，对于难以用传统方法真空吸附的多孔扁平物体同样适用。

视频3 连续瑕疵检测

这种掌指协作可进一步用于实现对手掌所持物体（如表面带有瑕疵的杂色布料）的连续检测。软体手执行手指步态，逐步拖拽或推动布料朝一个方向移动，使触觉手掌能够连续地检测瑕疵，而不仅限于固定位置。结合颜色差异图像算法，可区分“有瑕疵”和“无瑕疵”区域的压痕差异。这一应用展示了掌指协作将感知边界扩展到原本手掌设计尺寸的物理限制之外，在不引入额外装置的情况下实现了更大区域的自动感知。

视频4 基于掌部触觉反馈的动态姿态调整

进一步，我们通过一个茶壶倒水实验来展示触觉手掌与灵动手指的精妙配合：软体手抓取茶壶，并通过实时手掌触觉反馈动态调整抓取姿态。手掌触觉通过压痕轮廓区域值（ICA）进行量化。在倒水过程中，茶壶重心由于水的移动而发生轻微偏移，在视觉上难以察觉，但会影响抓取稳定性。我们的方法是：当ICA低于阈值，气动驱动系统以预设压力增加手指弯曲程度，调整茶壶姿态并使其在手掌上稳定；在随后倒水过程中，ICA升至阈值以上，确保任务完成。与传统方法（手指同时处理反馈和执行）不同，本方法中的手掌提供稳定支撑和触觉反馈，而手指则作为专用末端执行器。这种功能分离在涉及人类参与的场景中尤其有益，因为传统方法不仅需要复杂的手指接触控制，还可能引入安全风险。

视频5 人机交互应用中的物品自动识别和递送

最后，我们将软体手-机械臂（臂手系统）与AI结合，展示用于识别并递送已包装物体的人机交互应用。在该应用中，五组不同的物体（螺母、豌豆、螺栓、瓜子和西米）分别包装于黑袋中形成“盲袋”。实验前我们通过AI算法预训练触觉图像。在实验中，志愿者需寻找目标物品（如瓜子），并指挥臂手系统从多个盲袋中识别目标，而识别结果实时显示于屏幕。若识别出的物品并非目标，臂手系统继续检查下一个袋子，重复这一过程。一旦找到目标，臂手系统会拉下盲袋并安全地将其递送给志愿者，由志愿者打开盲袋进行验证。实验结果显示，盲袋的平均识别准确率为88%。其中，瓜子的识别准确率为100%；两组物体（螺母与西米，螺栓与豌豆）在一定程度上被误识别为各自组中的后者（混淆率为15%）。这种误识别主要源于它们相似的尺寸、几何形状以及袋子的模糊效应。

总结展望

综上所述，我们开发了 TacPalm-SoRoHand，无缝集成了高密度视触觉手掌、两段式气动软手指及其协调策略。与现有技术相比， TacPalm-SoRoHand在触觉手掌与软体手指之间实现了紧密而广泛的协作：触觉手掌通过多种反馈策略提升了手指的抓取与操作能力，而软体手指则通过灵巧运动增强了物体与手掌的接触交互，进一步优化了触觉感知。这种手掌-手指协作展现了巨大的应用潜力，例如高分辨率三维表面重建、物体分类、 以及动态精细操作，有望推动智能灵巧手的进一步发展，并为新型人机交互应用开辟道路。

上海交通大学博士后张宁斌与任杰骥为论文共同第一作者，谷国迎教授与朱向阳教授为论文共同通讯作者。该研究得到了国家自然科学基金、上海市科委基金、国家博士后创新人才计划、国家博士后面上项目、上海市超级博士后激励计划、腾讯科学探索奖的资助。

论文信息：

Zhang, N., Ren, J., Dong, Y. et al. Soft robotic hand with tactile palm-finger coordination. Nat. Commun. 16, 2395 (2025). https://doi.org/10.1038/s41467-025-57741-6.

https://www.nature.com/articles/s41467-025-57741-6

博 士 后 招 聘

上海交通大学机器人研究所软体机器人学与仿生设计课题组（Soft Robotics and Biodesign Lab）诚聘“软体机器人、机器人仿生设计与系统控制、软物质材料作动与传感、智能可穿戴系统”等方向博士后。

合作导师

谷国迎，上海交通大学教授、博士生导师。主要从事机器人学与软体机器人技术方向的研究。近年来，主持承担了国家杰出青年基金／优秀青年基金、国家自然科学基金重大项目课题、国家重点研发计划、上海市基础研究重点等科研项目十余项，在Science Robotics, Nature Biomedical Engineering, Nature Reviews Materials, Nature Materials, Nature Communications, Science Advances, IEEE Trans. Robotics, Advanced Materials, Soft Robotics等期刊发表录用论文百余篇，研究成果获教育部自然科学一等奖、上海市自然科学一等奖等。担任Soft Robotics、IEEE Trans. Robotics等期刊副主编、中国机械工程学会机器人分会副总干事、上海市机器人学会秘书长等。

申请方式

有意者请将个人简历（pdf）与3篇代表作等相关材料发送至guguoying@sjtu.edu.cn，邮件标题请注明“姓名+毕业学校+应聘职位”，期待您的加盟！

来源：高分子科学前沿

声明：仅代表作者个人观点，作者水平有限，如有不科学之处，请在下方留言指正！