脑机启侦|基于视觉感知的动力假肢：向类人抓握更进一步（06.05）

在传统假肢的世界里，抓握动作往往依赖肌电传感器、脑机接口或控制按钮来驱动，这些方式虽然能完成基础的控制，但始终难以跨越“仿生”与“拟人”之间的鸿沟。然而，一项新研究给出了另一个答案：如果一只假肢能“看见”你想抓的物体，甚至能“理解”你的意图，它是否可以像人的手一样自然地行动？

近日，哈尔滨工业大学（深圳）、中国科学院沈阳自动化研究所、南方科技大学等团队联合研究了一种集成视觉系统的动力假肢手，在不依赖肌电或神经接口的情况下，通过分析视觉信息和手部运动轨迹，预测用户的抓握意图，并实现高度拟人的自然动作。这项研究以“anthropopathic grasp（拟人化抓握）”为目标，意在缩小智能假肢与真实人手之间的感知与运动差距，为假肢控制的自然化迈出重要一步。

01 重新思考“假肢的控制”

现有假肢大多通过外部传感器（如肌电传感器）获取用户信号，进而驱动抓握，但这类方法存在多种限制。传感器不仅对环境干扰敏感，且需要用户通过反复训练掌握操作技巧，体验不够直观。同时，对于一些失去大范围肌肉活动能力的用户来说，使用传统假肢变得格外困难。

这项研究的出发点是：如果让假肢手“看”而不是“感”，能否减少对传感器的依赖，让控制更直观？研究团队设想了一种完全不同的方案：通过装配微型摄像头和视觉感知算法，捕捉用户的手部运动轨迹和前方物体信息，建立从“看到物体”到“抓握物体”的智能映射，最终实现无需人为干预、自动推理的自然抓握。这种方式不仅规避了对电生理信号的依赖，更进一步将抓握动作转化为由视觉主导的认知—运动过程，接近人类天然的动作逻辑。

02 两步走构建自然控制系统

该假肢系统主要由两项核心技术组成：基于空间几何的手势映射模型（SG-GM）与基于轨迹回归的抓握意图估计模型（MTR-GIE）。

首先，SG-GM 模块致力于解决“如何抓”的问题。研究团队通过采集真实人手抓握多种日常物品时的手部空间几何特征，构建了一套手势函数集合。这些函数可将具体的物体特征映射为逼真的手部姿态，最终在假肢手上还原出接近人类的抓握动作。例如，对于一个水瓶和一只鼠标，系统可以分别还原出环抱式与贴合式的手型，符合日常生活中人类的使用习惯。

其次，MTR-GIE 模块试图回答“抓哪个”的问题。在实际环境中，用户面前往往不止一个物体，系统需要从手部的移动轨迹中判断用户最有可能想要抓取的目标。研究人员提出了一种基于运动轨迹回归分析的方法：通过追踪假肢前端的运动轨迹并结合空间分割技术，预测最终目标物体的位置及类别。这个过程无需语音、按钮或其他主动指令，仅凭视觉与手部动作即可完成推理。

这两项技术协同工作，使假肢具备了“视觉理解-动作生成”的闭环能力，摆脱了对肌电、语音或神经植入的依赖，真正朝“看而动”的控制模式迈进。

03 它确实像“人手”一样聪明

为了验证假肢手系统的实际效果，研究团队设计了一系列实验任务，涉及8种常见生活物体，包括苹果、瓶子、碗、胡萝卜、杯子、叉子、鼠标和水壶。实验邀请了7名健康志愿者进行配合，记录假肢手的抓握效果。

结果令人惊喜。在单物体场景下，假肢手的抓握成功率达到了95.43%，几乎接近人类水平。而在更复杂的多物体场景中，系统仍能以94.35%的准确率正确推断出用户想抓的物体。此外，系统生成的手势姿态与真实人手的相似度极高，手部关节角度的拟合达到了R² = 0.911，RMSE（均方根误差）仅为2.47度，表明假肢手在姿态还原方面已具备高度拟人能力。

即便在抓握速度方面，由于计算和执行开销的存在，假肢平均抓握时间为3.07秒，略慢于人类的1.47秒。但对于初步探索视觉驱动假肢而言，这样的表现已极具参考价值。

04 走向“直觉型”假肢控制

这项研究最具突破性的地方在于，它不仅提升了假肢的动作自然度，更提出了一种全新的假肢控制范式——从“肌电驱动”转向“视觉引导”。

在这一模式下，用户不再需要依赖复杂的肌电接口或冗长的训练过程，而是像使用真实手臂一样，仅通过“看”与“移动”来表达抓握意图。这种以直觉驱动的交互方式，使假肢从“工具”向“身体延伸”更进一步。

与此同时，该系统还具备良好的通用性与可扩展性。由于它不依赖个体生理信号，未来或可推广至不同用户群体，尤其对肌肉功能严重受损或截肢程度较高的用户具有重要意义。再结合 AI 视觉技术的持续进步，该系统有望在未来实现更复杂场景中的物体识别、多步骤操作甚至自主规划，推动假肢从“被动执行”走向“智能交互”。

新闻来源：IEEE Xplore

论文参考：DOI:10.48550/arXiv.2412.07105