北大×北通院《自然·机器智能》发表F-TAC Hand，提供新灵巧手思路

近年来，随着机器智能和具身人工智能的快速发展，现实场景中的精确感知与运动控制已成为该领域的核心科学问题。其中，灵巧机械手的高精度控制因其复杂性和应用价值，被视为这一领域的标志性挑战。

触觉感知作为人类与环境交互的关键传感模态，在机器人实现精准抓取与灵巧操作中扮演着不可替代的角色。尽管当前灵巧机械手在运动学建模和控制算法方面已取得长足进步，能够较好地复现人手的运动功能，但由于多模态触觉反馈系统的缺失，其在动态交互环境中的实时适应能力仍存在本质性局限，与人类手部的卓越操作性能存在显著差距。

这种感官能力的不足直接导致现有灵巧手系统在面对非结构化环境时表现欠佳，特别是在处理意外接触和微尺度物理交互变化时往往力不从心。这一瓶颈问题严重制约了机器人在真实场景中的操作能力，使得开发具有人类水平自适应能力的智能灵巧手系统，成为当前机器人学和具身智能研究中最具挑战性的前沿课题之一。

▍开发F-TAC Hand，开辟触觉具身智能研究新路径

为应对上述技术挑战，北京通用人工智能研究院与北京大学联合组成研究团队，进行了深入系统研究，并成功研制出一款具有突破性意义的仿生视触觉灵巧手F-TAC Hand。

研究团队通过仿生学原理对手部结构进行优化设计，在硬件架构和控制算法两个维度实现重大突破：

1）硬件创新：研究团队创新性地将17个空间分辨率高达0.1毫米的高分辨率触觉传感器集成于F-TAC Hand手部70%的表面区域，在保持人类手部自然运动特性的同时，实现了接近生物触觉的感知能力。

2）算法突破：研究人员在控制算法方面开创性开发了能够高效处理高维触觉数据的类人手型生成算法，并构建了完整的闭环触觉控制系统，解决了多模态感知-运动协同的关键技术难题。

这种"感知-决策-执行"三位一体的仿生设计，使F-TAC Hand在动态的现实世界条件下展现出强大的适应性抓取能力。通过在现实世界进行的600次多物体抓取实验，研究团队验证了F-TAC Hand在复杂抓取任务中的优越性。实验结果表明，F-TAC Hand显著优于传统非触觉方案（p<0.0001），特别是在存在环境噪声和动态干扰的真实场景中。

F-TAC Hand的研制成功为触觉具身智能研究开辟了新途径，不仅为感官反馈在智能行为中的关键作用提供了实证依据，更为开发超越纯计算范式的具身人工智能系统指明了方向。该项成果是机器人智能与其在动态真实环境中交互能力的一次质的飞跃，对推动具身智能领域的发展具有重要意义。

目前，这项创新成果的相关论文已以"Embedding high-resolution touch across robotic hands enables adaptive human-like grasping"为题发表在国际顶级学术期刊《自然·机器智能》（Nature Machine Intelligence）上。论文第一作者北京大学人工智能研究院博士生赵秭杭、李宇飏，北京通用人工智能研究院研究员李皖林、刘腾宇。通讯作者为北京通用人工智能研究院研究员刘航欣、北京大学人工智能研究院助理教授朱毅鑫、英国伦敦大学玛丽女王学院教授Kaspar Althoefer。合作作者包括北京通用人工智能研究院研究员李博韧、王濛，北京大学人工智能研究院副研究员杜凯，北京大学工学院教授王启宁，北京通用人工智能研究院院长、北京大学人工智能研究院教授朱松纯。

▍F-TAC Hand：仿生触觉感知系统的硬件创新

人类手部作为自然界最精密的操作器官之一，其精细控制能力主要源于独特的生物感知-控制机制。研究表明，人手皮肤中广泛分布着高密度的触觉感受器，能够以极高的空间分辨率感知接触部位的细微变化，如压力、纹理信息等。这种高密度触觉感知网络与大脑体感皮层的协同处理，构成了闭环的感知-运动控制系统，使人类能够在毫秒级别内对外部接触变化做出即时反应。

然而，这种复杂、闭环的感知-运动控制体系在现有机器人系统中尚未被有效复制。现有机器人系统在复制这种生物机制时面临巨大挑战：传统触觉传感器要么分辨率不足，要么难以实现全手覆盖，导致机器手在真实环境中的操作能力与人类存在显著差距。

研究团队创新性开发的F-TAC Hand系统，是一种具备超高分辨率触觉感知能力的高自由度灵巧仿生机器手。其比例近似人手，通过硬件设计与算法创新的协同，F-TAC灵巧手系统首次实现了全手高分辨率触觉覆盖与完整运动能力的共存。

在触觉感知方面，研究团队依据手指指节与手掌的不同长度设计了六种尺寸（表2）共计17个模块化传感器（图3），并将其以每平方厘米10,000像素的密度覆盖手掌70%表面，实现了0.1毫米的亚毫米级空间分辨率。相比现有商业产品如Shadow Hand（仅覆盖指尖和提供接触力反馈），这一系统在感知精度和覆盖范围上都实现了质的飞跃。其创新的模块化设计，则将传感器本体与指骨结构完美集成，在确保超高感知精度的同时避免了机械冗余问题。

其中，模块化视触觉传感器主要由多色光源、柔性镀膜硅胶体、刚性支撑件、微型摄像头和传感器板构成。其中最小传感器尺寸仅为20mm*20mm。在日常抓取常见的50kPa范围内，灵敏度可达到0.48 kPa⁻¹。

为了让全部传感器同时工作，研究团队设计了一套多相机图像同步采集系统。该系统由一个主板和17个传感器板组成，其中传感器板与微型摄像头通过DVP（数字视频）接口连接，并为传感器内部光源供电。不同传感器板之间仅通过单根柔性扁平电缆串联进行电源和数据传输，解决了传统电子皮肤类触觉传感器大面积部署时的布线限制。F-TAC Hand系统使用SPI总线来协调多个相机的顺序图像采集，通过USB连接进行与PC的数据传输，以及通过U2D2协议进行手内电机的伺服控制（图4）。

在传感器部署过程中，由于F-TAC Hand中视触觉传感器的紧凑体积导致接触感应区域与相机之间的距离非常小，因此研究团队基于光度立体学进行了仿真器搭建与传感器标定（图5）。

对于弹性体表面材料的反射率特性，研究团队采用了广义朗伯反射模型。研究团队因此建立了一个基于物理模型的触觉仿真器（图6），用于生成和检验视触觉信号，以支持F-TAC Hand触觉感知系统的标定与开发。

仿真器在均方误差（L1）、结构相似性指数（SSIM）和峰值信噪比（PSNR）三个方面都表现出色，能够准确地生成近似真实情况下的仿真触觉图像（表3）。

在运动控制方面，F-TAC Hand采用绳驱方式，通过五根精密排布的驱动腱绳模拟人类肌腱分布方式，实现了五指独立控制与协调运动。该系统巧妙地将腱绳驱动与关节扭簧结构相结合，在保持194mm成人手部尺寸的同时，完美复现了人手特有的半独立运动特性和被动回弹机制。这种仿生驱动架构赋予F-TAC灵巧手卓越的运动性能：15个自由度的高灵活度、单指10N的握力输出，以及完整的拇指对掌功能。

在触觉数据处理方面，研究团队创新地采用基于物理的图像形成模型生成训练数据，通过编码器-解码器神经网络模型实现接触几何重建，最终由泊松求解器生成高保真法线贴图（图7）。这种处理架构使其能精确感知水晶球等复杂物体的接触特征（图7e-g），为实时物体姿态估计提供支持。

▍仿生抓握智能：F-TAC Hand类人化抓取能力的实现

F-TAC Hand的高自由度赋予其执行复杂抓取操作的能力，但也相应地增加了抓取规划的复杂性。在本项目中，研究团队提出了一种面向仿人多样化抓取的算法。该算法将刚体抓取建模为从一个基于物体几何形状的吉布斯分布中采样手部姿态。每个抓取策略都与一个能量值相关联，该值基于力闭合准则来评估抓取机械手帮助物体抵抗外部扰动的能力。能量值越低，表示抓取质量越好。

针对高自由度带来的非凸优化难题，算法从随机初始化出发，采用改进的Metropolis-Adjusted Langevin Algorithm (MALA)进行高效搜索，确保收敛到低能量的优质抓取解。在包含23个不同形状和尺寸的对象的测试集上，研究团队对算法进行了验证（图8）。

为定量评估抓取策略的类人特性，研究团队引入了Attraction-Diffusion Energy Landscape Mapping (ADELM)算法来进行可视化。如图8所示，低能量区域用圆圈表示，每个圆圈至少包含一个可行抓取。圆圈大小表示相似抓取的数量，颜色则根据抓取类型（精确型、中间型、强力型）编码。连接圆圈的垂直条表示不同局部最小值之间的能量障碍，条越短表示抓取之间的转换越容易。通过与人类演示的直接比较，验证了算法生成的抓取与人类抓取的相似性。

同时，研究团队还根据Feix的分类法对1800个生成的抓取姿态进行了分析，将其归类为19种常见的抓取类型（图9）。此外，通过主成分分析（PCA）以及t-SNE可视化，研究团队进一步证明了算法输出与人类抓取分类的一致性（图10）。最后，通过将多样化抓取策略与触觉感知在真实世界中相融合，研究团队实现了F-TAC Hand的感知-运动闭环。

▍超越传统：F-TAC Hand类人抓取能力实证

研究团队通过系统性严格实验验证了F-TAC Hand的抓取操作能力。在多物体抓取这一最具挑战性的任务中，F-TAC Hand展现出超越传统机械手的性能优势。

• F-TAC HandKapandji测试

F-TAC Hand具有出色的多样化抓取能力。依托腱驱机制与视触觉感知的有效结合，灵巧手不仅能够成功完成Kapandji测试，实现拇指与其余手指间全部10个特定接触点（图11），还能够精准执行全部33种典型的人类抓握类型（图12），展现出高度的灵活性。

• F-TAC Hand多物体抓取

F-TAC Hand具有多物体抓取以及应对部分手指受损的能力。其中F-TAC Hand通过上述提到的抓取策略生成算法以及手指运动控制与精准的接触点定位相结合实现多物体抓取（图13）。当部分手指受损时，通过重新生成健康手指的抓取策略，F-TAC Hand依然能够实现对物体的稳定抓取（图14）。

• F-TAC Hand多物体转运任务

F-TAC Hand还具有适应性强的抓取能力。在多物体转运任务中，机器手旨在单次抓取尽可能多的物体以最大化运输效率。如图15所示，在理想条件下存在最优策略（红色路线），但现实中的不确定因素，例如机器人自身定位偏差和抓取过程中误差，使得机器手抓取需具备动态适应能力。图15中其他彩色路线展示了F-TAC手在遇到物体手内接触点位置发生偏差时，通过利用其高分辨率触觉感知能力评估抓取状况，动态地切换至适应现有空间的替代策略（即使该策略在理论上并非最优）。

▍结语与展望

F-TAC Hand的设计理念体现了可复制性与实用性的完美结合，其开创性的技术方案为基于触觉的机械手抓取操作研究树立了新范式。这一突破性成果在假肢研发、遥操作系统、协作机器人以及人机交互等领域展现出广阔的应用前景。

F-TAC灵巧手成功融合了高运动自由度和高覆盖率高分辨率触觉感知，突破了传统机器手在这三者之间难以兼顾的技术瓶颈。从硬件角度看，相较于采用电阻、电容、压电或电磁材料的电子皮肤方案，F-TAC手具备更高的空间分辨率、同时有效降低了布线复杂性，具备更强的抗磁场干扰能力。针对视触觉传感器占用空间大、集成困难的问题，研究团队将传感器巧妙嵌入每根手指的指节部位，使其同时作为结构件和感知单元。同时采用简洁紧凑的外侧单根腱绳驱动方案，实现每根手指的高效屈伸运动。此外，为实现大规模视触觉感知部署，团队自主研发了一套多相机同步采集系统，并设计了模块化、可拓展的视触觉传感器结构，大幅提升了系统的集成性与实用性（图16）。

通过对F-TAC灵巧手的研究，研究团队发现高覆盖率高分辨率的触觉感知能够使机器手在真实环境抓取中准确的感知物体的接触位置，从而有效的判断和调整抓取策略。例如，当检测到手内物体实际位置有偏差或存在与下一个待抓取物体存在潜在碰撞风险时，机器手能够迅速切换到其他的替代抓取策略，以适应真实环境变化。在实际抓取中，F-TAC手能够在大约100毫秒内快速反应和切换。在600次真实世界抓取任务中，借助高分辨率触觉反馈的机器手显著提升了第二次抓取的成功率，展现出高度的适应性与鲁棒性（图17）。

总结来说，该研究通过两项核心贡献推动了该领域的发展：首先是实际验证了全手高分辨率感知可在不影响手部运动功能的前提下实现，二是系统性证实了其实际应用的优势。通过突破以往视触觉传感局限于双指夹爪的技术难题，这项研究为探索复杂的触觉具身智能开辟了新的研究道路。更广泛的看，该研究成果为丰富感官反馈能力在机器智能行为中的关键作用提供了有力证据，并为超越大语言模型类纯计算方法的具身智能系统发展提供了现实可行的研究蓝图。

参考文章：

https://www.nature.com/articles/s42256-025-01053-3