鼠标的未来是手环？解码肌肉信号，Meta黑科技登上Nature

新智元报道

编辑：peter东 英智

【新智元导读】在虚空中指指点点，就能打字，玩游戏甚至驾驶汽车。如今的诸多设备，是为了人机交互而生，Meta推出的非侵入性神经肌肉交互系统，为人机交互提供了开箱即用的解决方案。

手腕表面肌电图（sEMG）能以侵入式手腕设备感知和解释肌肉激活，并以人机界面的形式作为计算机输入。

这项技术被Meta认为是下一代人机交互的革命性技术。

Meta在2024年已经分享了一系列的肌电信号研究和开源的肌电信号数据集，并发表了技术白皮书，如今这项技术登上了7月24日的Nature。

图1 手腕肌信号识别手势和打字的高通量记录和实时解码的硬件和软件平台

在这项研究中，受试者只需要带上如同智能手环的设备，就能读取肌肉电信号，之后通过手势与机器互动，或进行打字。

改变人机交互的革命性技术sEMG

不同于脑机接口，表面肌电图（sEMG）不会和大脑相连，而是记录并放大肌肉中的神经信号，提供高信噪比，进而实现实时单次试验手势解码。

这类实验中若是采取少数受试者，那么模型很容易学到了这个人的肌肉运动的特异性。

而这次Meta的实验，收集了数百名参与者的数据，训练模型之后研究者分别在连续手势控制，离散手势控制和打字三个任务进行了评测。

在第一项连续手势任务中，被试者会通过手腕运动控制一个小球进入格子里头，被试者需要精细的控制手部动作的幅度，而sEMG则能够记录这样微小的运动，并实时将至呈现到屏幕上。

大多数参与者主观报告说光标在>80%的时间内移动到了预期方向。

平均来看，受试者每秒能够互动的次数是0.66次每秒，相当于不到2秒操作一次。

这虽然与职业电子竞技选手每分钟200-300次的手速没法比，但也能进行许多有实用价值的操作，例如远程控制机器手。

在第二项离散手势控制中，参与者通过使用滑动手势进行导航，并在需要时执行指令时激活手势（拇指点击、食指捏合保持、中指捏合保持）来操作一款类似吃豆豆的游戏。

这些手势涉及多个手指的协作。

被试者在做出手势到屏幕显示对应动作的延迟只有500毫秒，几个手势在识别准确度上在89-95%（见图2），每秒平均能识别0.88个手势，这个操作流畅度，也是很丝滑的。

相比之下， Nintendo Joy-Con游戏控制器显示出每秒1.45次手势完成，而现有摄像头或摇杆控制通常无法这么丝滑地观测手势。

图2 不同手势错误识别的混淆矩阵

打字任务中，参与者会按输入提示写出，打字速度能达到每分钟平均20.9个单词，高于手写的输入速度，但低于手机上的打字速度，更比不过使用键盘打字的每分钟40到60词。

上述只是使用通用模型的效果，而这样的模型还可以根据个人的使用习惯进行优化，结果如图3所示。

图中的黑线是原始情况下，使用不同大小的模型训练出的结果，而仅仅经过20分钟个人使用记录对模型微调，就能够使识别性能的中位数性能提升16%。

图3 通过使用个性化数据，在打字任务上的识别性能提升

sEMG是如何实现的

要评估sEMG能否成为下一代人机交互的搅局者，不仅需要看sEMG当下的性能，还需要看sEMG是如何实现的，包括硬件和软件层面。

sEMG设备由两个主要子组件构成：一个数字计算胶囊和一个模拟手腕带（图4）。

数字计算胶囊包括电池、蓝牙通信天线以及包含微控制器、模数转换器和惯性测量单元的印刷电路板。

模拟手腕带由多个独立链接组成，每个链接内含一个多层刚性印刷电路板，该电路板包含低噪声模拟前端电路和镀金电极。

图4 sEMG研究设备的原理图和解剖学接口

不考虑这些技术细节，虽然当前sEMG设备穿戴方便，只需要几秒钟就可戴上，使用起来也还算舒服。

不过它毕竟还没有如同智能手环那样轻便，而是包含了众多设备。

未来需要解决的是采集设备小型化的问题，当设备包含更少的零件时，其也会更加可靠。

而在模型架构上，则是通过卷积层提取特征，之后通过两个循环神经网络LSTM处理时序数据的，最终得到对输入手势或字母的概率预测的。

这样的传统架构使得模型训练和推理的成本足够小，可以在本地端侧完成推理甚至模型的基于个人使用数据的微调。

从当前sEMG的表现来看，靠手腕运动进行人机交互走出实验室，成为主流的人机交互方式，还存在不少的改进空间，无论是交互的流畅性，效率还是准确性，都还有不少提升空间。

不过由于该方案中只需要检测手腕的局部肌肉，仅需极小肌肉活动而非特定动作执行能力的交互方式，将使那些行动能力受限、肌肉无力或完全缺失效应器的人群能够实现可行的交互方案。

因此当下sEMG适合诸如渐冻症（在手腕还能动时）或肌无力患者进行交互，同时也有助于开发有效的闭环神经康复范式。

此外，由于sEMG采集的是电信号，因此其采用的算法，采集的数据集，可以用来弥补脑机接口训练数据缺少的问题。

可先用sEMG的海量数据训练脑机接口的模型，再利用训练好模型的迁移和特征提取能力，去使用真正的脑电数据去微调模型。

未来或许可以看到带着脑电识别头套，再结合智能手环的人机交互手段。

参考资料：

https://www.meta.com/blog/reality-labs-surface-emg-research-nature-publication-ar-glasses-orion/?srsltid=AfmBOoopXbgDDnGbNoUOmJV6o9mVPDsW3TtckqzEzSqkPUTU_8a7mRib

https://www.nature.com/articles/s41586-025-09255-w