网易首页 > 网易号 > 正文 申请入驻

Meta新型腕带实现“意念控制”,用非侵入神经接口实现手势操控

0
分享至

想象一下,你无需触碰任何设备,只需一个微小的手腕动作,凭空比划几下,就能与身边的电脑、手机、智能眼镜无缝交互。

Meta 公司的 Reality Labs,在最新发表于《自然》(Nature)杂志的论文中,带来了一项新成果:一种通用的非侵入性神经运动接口,与腕带结合后,就能让这种“意念控制”成为现实。

长期以来,人类在追求更高效、更直观的计算机输入方式上从未止步。然而,无论是键盘、鼠标还是触摸屏,都不可避免地需要用户与物理设备进行直接互动,这在移动场景下往往显得笨拙不便。

而依赖摄像头或惯性传感器的手势系统,则容易受制于遮挡或光线不足等环境因素。

为了破除这些限制,直接从人体读取信号的脑机接口(brain–computer interfaces)和神经运动接口(neuromotor interfaces)成为了热门研究领域。

Meta 团队此次将目光投向了一种非侵入性神经运动接口:基于表面肌电图(sEMG,surface electromyography)的技术。

简单来说,就是通过读取肌肉产生的电信号来理解人体的运动指令。

Meta 早在多年前就开始着手研究这项技术。2021 年,该公司组建了一个团队,其中包括论文作者之一托马斯·里尔登(Thomas Reardon)——他于 2019 年加入 Reality Labs,担任神经运动界面主管,主导开发了一款基于肌电图的手势控制装置原型。

这些肌电信号,实际上是运动单位动作电位(MUAPs,Motor Unit Action Potentials)的总和,它们就像是中央神经系统发出的微电流指令,可以透过皮肤,为我们展现大脑如何控制肌肉。

与脑电图相比,SEMG 信号具有更高的信噪比,这意味着它能更清晰地捕捉到肌肉的微弱活动,从而实现实时的单次手势解码。

同时,SEMG 信号不受遮挡、光照不足或微小动作的困扰,天然适用于人机交互应用。

基于此,Meta 研究团队开发并部署了一款非侵入式硬件,像腕带一样的 SEMG 研究设备(SEMG-RD),用于在手腕处记录 SEMG 信号。

之所以选择手腕作为佩戴位置,是因为人类主要通过手部与世界互动,且手腕能广泛覆盖手部、腕部和前臂肌肉的 SEMG 信号。

腕带是无线的,并能适应不同解剖结构和环境,仅需几秒钟即可完成佩戴或摘除。它通过蓝牙传输数据,续航在 4 小时左右。

除了硬件设备,研究团队还创建了一个可扩展的、大规模数据收集基础设施。他们从数千名参与者那里收集了大量的训练数据,帮助他们开发出了能够跨个体泛化的通用 SEMG 解码模型。

实验设计中包含了三类核心计算机交互任务:一维连续导航(类似于激光笔控制)、离散手势检测(手指捏合、拇指轻扫)和手写转录。参与者佩戴 SEMG 腕带,并根据计算机屏幕上的提示执行相应的动作。

为了将 SEMG 信号转换为计算机指令,研究人员架构并部署了基于深度神经网络的解码模型。

针对不同的任务,模型采用了不同的处理技术和网络架构:腕部任务采用多变量功率频率(MPF,Multivariate Power Frequency)特征和长短期记忆(LSTM,Long Short-term Memory)层,离散手势任务采用一维卷积层后接 LSTM 层,手写任务采用 MPF 特征和 Conformer 架构。

此外,研究团队还开发了时间对齐算法,以解决提示标签与实际手势时间可能存在的偏差,从而提高模型训练的精度。

Meta 团队通过离线和在线(闭环)两种方式对 SEMG 解码模型的性能进行了评估。

离线评估数据显示,SEMG-RD 平台在手写和手势检测任务中,对未参与训练的测试参与者实现了超过 90% 的分类准确率。在腕部角度速度解码任务中,误差低于 13°s-1。

研究指出,单个参与者模型在跨会话和跨用户泛化方面存在挑战,同一参与者在不同会话间的模型性能随着训练数据的增加而改善。但跨参与者泛化能力仍然受限,即使增加训练数据也仅能带来轻微改善。

这突显了采用大规模、多样化数据集训练通用模型的必要性。

模型性能显示出与训练数据量和模型规模的幂律关系,这与大型语言模型和视觉 Transformer 的研究发现一致。随着训练参与者数量的增加,所有任务的解码错误率均呈现下降趋势。

在线(闭环)评估数据则直接反映了模型作为计算机接口的实际可行性。评估对象为之前没有 SEMG 解码器使用经验的初次用户。

在腕部连续控制任务中,用户实现了每秒 0.66 个目标获取的闭环中位数性能。在离散手势任务中,系统实现了每秒 0.88 次手势检测的中位数性能。在手写输入功能上,用户实现了每分钟 20.9 个单词(WPM,Words Per Minute)的中位数性能。

与传统交互设备相比,如 MacBook 触摸板的平均获取时间为 0.68 秒、任天堂 Joy-Con 游戏控制器的中位数手势完成率为 1.45 次/秒、无笔手写的速度为 25.1 WPM,SEMG 解码器的绝对性能目前仍有差距。

然而,该接口的优势在于不依赖手持设备或外部仪器,这在特定使用场景下具有几乎无法替代的价值。研究团队还观察到,参与者在实践中会不断进步,适当的指导和练习有助于用户适应腕带并提高任务表现。

进一步的模型个性化探索表明,即使在通用模型表现良好的情况下,通过短时间额外的个性化数据(例如 20 分钟)微调模型,仍能进一步提升性能。

以手写任务为例,即使通用模型已经用 6400 名参与者的数据进行了训练,但只要再加入短短 20 分钟的个性化数据,就能让中位数性能再提高 16%。

个性化对那些通用模型表现相对较差的参与者,带来了更大的相对增益,有效解决了用户性能的长尾效应。

为了深入理解离散手势解码器神经网络的内部工作机制,研究人员分析了其学习到的表示。网络架构包含一个一维卷积层和三个循环 LSTM 层。

研究发现,第一层卷积层的滤波器在时空特征上与肌肉 MUAPs 具有相似性。这表明模型在较低层次学习了与肌肉电生理活动相关的基础模式。

进一步分析 LSTM 层的表示发现,随着网络深度的增加,手势类别信息在表示空间中变得更加可分离,而与参与者身份、腕带放置位置和手势激发的 SEMG 功率等“干扰变量”相关的表示则逐渐解耦或保持不变。

这意味着网络通过学习,逐渐将 SEMG 信号的表示塑造成对这些“干扰变量”更加不变的形式,从而提高了手势识别的稳健性。

Meta 研究团队指出,这项技术为未来人机交互开启了多种可能性。

首先,SEMG 解码器能够直接检测手势的力度,这是现有摄像头或操纵杆控制无法实现的功能。未来用户可能通过“意念”来控制设备的力度,例如通过轻微的肌肉收缩来微调音量,而通过更强的收缩则实现快速静音。

其次,尽管目前研究主要展示了一维连续控制,但通过添加更多仿生映射,例如利用手腕的尺侧/桡侧偏离来控制垂直方向,实现多自由度联合控制是完全可能的。

此外,SEMG-RD 平台及其配套软件,还可用于研究神经反馈对运动单位活动的影响,从而探索新颖的“人机共生”交互模式,甚至支持人们学习新的运动技能。

最后,在临床领域,这种只需最小肌肉活动而非特定动作的交互设计,有望为那些运动能力受限、肌肉无力或失去肢体的人提供可行的交互方案,并促进有效的闭环神经康复范式的发展。

虽然该研究在解决 SEMG 系统长期面临的泛化和校准问题上取得了进展,但仍存在局限性和进步空间。

例如,与传统的、成熟的人机交互方法相比,SEMG 系统的绝对性能较弱,学习曲线较为陡峭。此外,该研究主要面对的是健康人群,训练结果能否泛化到行动不便人群仍未可知。这或许会限制它在临床、无障碍方面的用途。

为了更好地推动 SEMG 的相关研究,研究团队公开了 1060 份来自 300 名参与者的 SEMG 记录数据以及相关的代码。

研究人员表示,他们未来的工作将关注用户熟练度提升、模型优化(包括个性化)、后处理技术和硬件传感性能的改进。

参考资料:

Kaifosh, P., Reardon, T.R. & CTRL-labs at Reality Labs. A generic non-invasive neuromotor interface for human-computer interaction.Nature(2025). https://doi.org/10.1038/s41586-025-09255-w

https://newatlas.com/wearables/meta-mouse-keyboard-bracelet-semg-rd/

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

宋喆出狱3年县城搬菜日结50块,前妻仓库2000平年营业额1200万,网友吵翻:谁更清醒

迪迪的娱乐故事
2026-11-07 08:36:34
斩首行动落地!以军锁定目标,深夜发起突袭,哈马斯指挥官已阵亡

斩首行动落地!以军锁定目标,深夜发起突袭,哈马斯指挥官已阵亡

巷北楠猫本尊
2026-11-16 16:00:00
告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

告别倒数第一!爵士大胜快船终结12连败 森萨博40+11+8三分

醉卧浮生
2026-11-18 13:49:24
47+,9连胜,联盟第一,湖人神射杀疯了,还交易不……

47+,9连胜,联盟第一,湖人神射杀疯了,还交易不……

体育新角度
2026-11-18 22:11:34
人民日报点赞的120亿爆款AI短剧《持械入宋》,总策划是石家庄人

人民日报点赞的120亿爆款AI短剧《持械入宋》,总策划是石家庄人

童言不轻
2026-11-18 18:00:04
36岁女子只因拿不出五百房租,就被房东赶出房间,被朋友做局欺骗,负债百万,如今身上五十块都拿不出,在路边崩溃大哭!

36岁女子只因拿不出五百房租,就被房东赶出房间,被朋友做局欺骗,负债百万,如今身上五十块都拿不出,在路边崩溃大哭!

捣蛋窝
2026-11-16 15:56:18
“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

“霍邱老人拆墙让路”调查:“女儿是记者”等网上传言不实

极目新闻
2026-11-18 19:24:20
1522年,明军缴获20门洋炮,工部匠人研究之后傻了眼,这一拆竟促成中国火炮史上一次重大转折

1522年,明军缴获20门洋炮,工部匠人研究之后傻了眼,这一拆竟促成中国火炮史上一次重大转折

磊子讲史
2026-11-18 20:18:33
四大一线集体狂飙!中国城市的大洗牌来了

四大一线集体狂飙!中国城市的大洗牌来了

时尚的弄潮
2026-11-18 05:08:14
截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

截胡iPhone 20 Pro!三星无边框旗舰率先登场:正面近乎全是屏

快科技
2026-11-18 07:23:03
记者:杨瀚森懵逼,我也懵逼,7分28秒的垃圾时间教练组想干什么

记者:杨瀚森懵逼,我也懵逼,7分28秒的垃圾时间教练组想干什么

小宋努力生活
2026-11-18 00:41:12
江苏富豪重金为痴傻儿子娶妻,拜金女孩欣然答应,新婚当晚却愣住

江苏富豪重金为痴傻儿子娶妻,拜金女孩欣然答应,新婚当晚却愣住

温情邮局
2025-07-09 14:39:26
库里:还没想过退役 这有可能是我的最后一份合同

库里:还没想过退役 这有可能是我的最后一份合同

体坛周报
2026-11-18 07:56:11
中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

中足联重罚中青赛冲突:罚浙江5万申花3万赛区10万

体坛周报
2026-11-18 09:41:21
雷军在深圳发言,被调侃“有点社恐”,小米回应:这么大的国际场合,紧张太正常啦

雷军在深圳发言,被调侃“有点社恐”,小米回应:这么大的国际场合,紧张太正常啦

大风新闻
2026-11-18 08:30:03
2008年奥巴马当上总统时,家里资产也就130万美元,可到2016年卸任时,账面上已经滚到4000万了

2008年奥巴马当上总统时,家里资产也就130万美元,可到2016年卸任时,账面上已经滚到4000万了

磊子讲史
2026-11-13 19:47:09
英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

懂球帝
2026-11-18 20:36:46
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

“慰安椅”根本不是椅子,是把每个年轻姑娘活生生碾碎的吃人机器

千秋文化
2026-09-22 19:32:48
“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

“孝子,如同用自己的命填老人的命”!多名网友分享照护遭遇,子女兼顾工作长期透支,不幸猝死

火山詩话
2026-11-17 06:20:28
2026-11-18 23:27:00
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17503文章数 515373关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
房产
教育
艺术
时尚

PC Gamer试玩GTA6百小时:双主角出色但任务重复

房产要闻

周大生出手!海棠湾又一大商业体来了

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

裤子+靴子,冬天最经典搭配,松弛又时髦

无障碍浏览 进入关怀版