机器手能玩转电脑鼠标？科学家开发新型软体机器手可灵活操作鼠标

机器手也能轻松玩转电脑鼠标了？

近期，清华大学李曙光副教授课题组和北京邮电大学方斌教授课题组合作，开发了两款新型软体机器手，为截肢群体和机器人操作电脑鼠标提供了创新解决方案 [1,2]。

其中一款软体假肢手能够通过残肢肌肉电信号控制物理鼠标进行多种操作，其点击频率接近 10Hz，可以媲美普通人操作鼠标的最快频率，足以适应日常办公需求。

另一款软体机器手则基于仿生流体传动系统，通过视觉反馈和语音控制，轻松完成鼠标全自动化操作任务。

这两项研究不仅能让截肢群体获得更多交流与工作机会，更为智能假肢和未来机器人灵巧操作技术开辟了新的方向。

点击速度高达 10 赫兹的软体肌电假肢手

在互联网时代，电脑鼠标操作是重要的办公技能，但全球截肢者的就业率仅为健全群体的一半，部分原因在于现有商用假肢难以满足精细操作需求。

传统假肢手多为仿人手的刚性机构，虽具备基础抓取功能，但难以实现鼠标操作的高频点击和精准交互控制。并且，目前的机器手存在结构灵巧能力不足，以及复杂操作意图识别困难等问题。

针对这一技术瓶颈，该团队从硬件、算法和人机交互三方面提出了创新解决方案。在硬件设计方面，研究人员借鉴人体骨骼肌肉模型，开发了一种软体假肢手，总重量仅为 405.8 克。

此外，基于鱼鳍结构设计的软体手指，实现了对不同尺寸鼠标的普适性抓取，解决了传统假肢手难以抓取特殊形状物品的问题。

该装置创新性地融合了两种驱动机制：两根肌腱驱动的软手指实现 10Hz 的高频点击（与常人操作频率上限相当），三根仿鱼鳍结构的软体手指则能自适应包裹并操作不同尺寸鼠标。

李曙光教授解释说道：“通过绳驱张力模拟肌腱运动，我们不仅实现了对扁平无线鼠标的高频操作，还扩展了多种基于手指的点击和滚动等功能。”

在算法层面，研究团队建立了手部运动（肌电信号）与鼠标操作之间的“单对多映射”，能够快速准确地识别用户的手势意图，并通过决策窗口算法将单一手势映射到多种鼠标操作指令。

通过提取截肢者肌肉电信号中的三个显著分类，结合后处理算法，将三种肌肉激活模式映射到九种不同动作的控制指令。这种设计显著降低了用户的训练和学习成本，截肢者仅需 30 分钟的训练即可熟练掌握鼠标单击、双击、长按、滚动等复杂操作。

人机交互方面，研究人员将截肢者手臂末端的运动能力应用于假肢手操作，提供了更直观、更轻松的鼠标光标运动控制。

6 名健全受试者和 3 名截肢者的实验数据显示，使用软体肌电假肢系统完成菲茨定律任务的性能和效率显著优于基于肌电信号的光标控制方法。

值得关注的是，研究团队特别重视截肢群体的实际就业需求。通过同时操作鼠标（截肢侧）与键盘（健全侧），截肢者可以完成复制-粘贴快捷操作、打开嵌套文件夹、网页浏览等办公任务。

方斌教授表示：“我们希望通过帮助截肢群体操作鼠标，提升他们的社会参与度并帮助其就业，而不仅仅是满足日常生活需求，这具有重要的社会价值和深远的意义。”据了解，这篇论文的投稿任务正是一位截肢受试者使用软体肌电假肢手操作完成的。

日前，相关论文以《一种支持计算机鼠标操作的仿生机器人假肢手》（A Robotic Prosthetic Hand for Computer Mouse Operations）为题发表在Advanced Intelligent Systems上 [1]，并被选为当期封面（Front Cover）。

武汉科技大学博士生陈子明与清华大学博士生贺一鸣是共同第一作者，方斌和李曙光担任共同通讯作者。

受海星水血管系统启发，实现 11 种鼠标操作全自动化

在另一项研究中，该团队开发了一款可以让机械臂自主操作计算机鼠标的软体机器手，其设计灵感来源于可自主调控末端管足扩张或收缩的海星水血管系统。

研究人员利用薄膜热压的快速制备工艺，开发出了一种名为“BESTS”（bellows-enclosed soft transmission system）的软传动系统，从而使新型的机器手兼具抓握和掌内操作功能。

相较于传统的软体机器手指（硅胶浇筑或软材料 3D 打印），这种全薄膜结构的机器手在重量、成本和制作效率方面均展现出显著优势：

其制作过程仅需将热塑性聚氨酯（TPU，Thermoplastic Polyurethane）薄膜与聚对苯二甲酸乙二醇酯（PET，Polyethylene terephthalate）薄膜层压堆叠，通过 100 秒热压成型后充入气体并密封，即可形成独立封闭的传动系统，无需依赖外部泵、阀的控制。

该机器手采用“刚柔并济”的混合结构设计：柔性手指可自适应不同尺寸和形状的鼠标，而刚性骨架和掌部则确保操作稳定性。这种设计不仅提升了机器手的适应性和操作精度，同时有效降低了系统复杂度。

研究人员通过一系列实验验证了 BESTS 机器手的功能。实验表明，该机器手能够精准完成 11 种不同的鼠标操作，包括抓取、单击、双击、长按、滚动鼠标轮以及中键点击等动作。

此外，研究团队还为机器手配备了视觉和听觉传感器，使其具备完全自主化的鼠标操作能力。

具体来说，手背摄像头首先会在桌面上定位鼠标，引导机器手抓住鼠标，然后将手背摄像头对准电脑屏幕，通过视觉后处理算法，机器手可以自主地完成一些简单的电脑游戏。

为拓展应用场景，研究团队还集成了人机语音交互系统：机器手上配备的麦克风模块可通过语音指令调用 ChatGPT 大模型，将自然语言转化为底层控制代码。

例如，当使用者说“把电脑关机”，机器人系统在快速地处理信息后，可以自主地依次执行如下操作：首先移动鼠标到左下角，点击开始按钮，然后分别移动、点击直至完成电脑关机操作。

这款机器手特别适用于重复性操作、远程操作或多任务并行操作场景，如在 AR/VR 交互、医疗辅助或多终端协同操作等领域具有应用潜力。

近日，相关论文以《一种用于计算机鼠标自动操作的软体机器手》（A Robotic Hand with Soft Transmission Systems for Automated Operations of Computer Mouse）为题发表在Advanced Intelligent Systems[2]。

清华大学博士生贺一鸣是第一作者，李曙光和方斌担任共同通讯作者。

当前，软体机器人研究正朝着人机自然交互方向发展。现有的灵巧手大多数使用了大量电机来驱动操控，因此其复杂度和成本较高。相比现有的面向通用抓取或掌内操作（如乐器演奏、魔方还原）的灵巧手，此研究聚焦在人机交互操作的典型实际应用场景。

“我们探索基于物理智能和机械智能的设计，通过精简、巧妙的驱动和传动系统，使得机器手具备完整的鼠标操作功能，并将这两款软体机器手的成本控制在千元级别。”李曙光说道。

未来，该课题组计划探索一套标准化的快速设计流程，用于定制化开发针对不同场景、适用于特定任务的灵巧机器手，比如康复医疗、辅助电竞游戏等。

参考资料：

1.Z. Chen, Y. He, B. Li, H. Min, F. Sun, S. Li, B. Fang, A Robotic Prosthetic Hand for Computer Mouse Operations,Advanced Intelligent Systems,2500126(2025). DOI: 10.1002/aisy.202500126

2.Y. He, D. Yan, K. Jin, B. Fang, S. Li, A Robotic Hand with Soft Transmission Systems for Automated Operations of Computer Mouse,Advanced Intelligent Systems,2400966(2025). DOI: 10.1002/aisy.202400966

运营/排版：何晨龙