网易首页 > 网易号 > 正文 申请入驻

Meta新型腕带实现“意念控制”,用非侵入神经接口实现手势操控

0
分享至

想象一下,你无需触碰任何设备,只需一个微小的手腕动作,凭空比划几下,就能与身边的电脑、手机、智能眼镜无缝交互。

Meta 公司的 Reality Labs,在最新发表于《自然》(Nature)杂志的论文中,带来了一项新成果:一种通用的非侵入性神经运动接口,与腕带结合后,就能让这种“意念控制”成为现实。

长期以来,人类在追求更高效、更直观的计算机输入方式上从未止步。然而,无论是键盘、鼠标还是触摸屏,都不可避免地需要用户与物理设备进行直接互动,这在移动场景下往往显得笨拙不便。

而依赖摄像头或惯性传感器的手势系统,则容易受制于遮挡或光线不足等环境因素。

为了破除这些限制,直接从人体读取信号的脑机接口(brain–computer interfaces)和神经运动接口(neuromotor interfaces)成为了热门研究领域。

Meta 团队此次将目光投向了一种非侵入性神经运动接口:基于表面肌电图(sEMG,surface electromyography)的技术。

简单来说,就是通过读取肌肉产生的电信号来理解人体的运动指令。

Meta 早在多年前就开始着手研究这项技术。2021 年,该公司组建了一个团队,其中包括论文作者之一托马斯·里尔登(Thomas Reardon)——他于 2019 年加入 Reality Labs,担任神经运动界面主管,主导开发了一款基于肌电图的手势控制装置原型。

这些肌电信号,实际上是运动单位动作电位(MUAPs,Motor Unit Action Potentials)的总和,它们就像是中央神经系统发出的微电流指令,可以透过皮肤,为我们展现大脑如何控制肌肉。

与脑电图相比,SEMG 信号具有更高的信噪比,这意味着它能更清晰地捕捉到肌肉的微弱活动,从而实现实时的单次手势解码。

同时,SEMG 信号不受遮挡、光照不足或微小动作的困扰,天然适用于人机交互应用。

基于此,Meta 研究团队开发并部署了一款非侵入式硬件,像腕带一样的 SEMG 研究设备(SEMG-RD),用于在手腕处记录 SEMG 信号。

之所以选择手腕作为佩戴位置,是因为人类主要通过手部与世界互动,且手腕能广泛覆盖手部、腕部和前臂肌肉的 SEMG 信号。

腕带是无线的,并能适应不同解剖结构和环境,仅需几秒钟即可完成佩戴或摘除。它通过蓝牙传输数据,续航在 4 小时左右。

除了硬件设备,研究团队还创建了一个可扩展的、大规模数据收集基础设施。他们从数千名参与者那里收集了大量的训练数据,帮助他们开发出了能够跨个体泛化的通用 SEMG 解码模型。

实验设计中包含了三类核心计算机交互任务:一维连续导航(类似于激光笔控制)、离散手势检测(手指捏合、拇指轻扫)和手写转录。参与者佩戴 SEMG 腕带,并根据计算机屏幕上的提示执行相应的动作。

为了将 SEMG 信号转换为计算机指令,研究人员架构并部署了基于深度神经网络的解码模型。

针对不同的任务,模型采用了不同的处理技术和网络架构:腕部任务采用多变量功率频率(MPF,Multivariate Power Frequency)特征和长短期记忆(LSTM,Long Short-term Memory)层,离散手势任务采用一维卷积层后接 LSTM 层,手写任务采用 MPF 特征和 Conformer 架构。

此外,研究团队还开发了时间对齐算法,以解决提示标签与实际手势时间可能存在的偏差,从而提高模型训练的精度。

Meta 团队通过离线和在线(闭环)两种方式对 SEMG 解码模型的性能进行了评估。

离线评估数据显示,SEMG-RD 平台在手写和手势检测任务中,对未参与训练的测试参与者实现了超过 90% 的分类准确率。在腕部角度速度解码任务中,误差低于 13°s-1。

研究指出,单个参与者模型在跨会话和跨用户泛化方面存在挑战,同一参与者在不同会话间的模型性能随着训练数据的增加而改善。但跨参与者泛化能力仍然受限,即使增加训练数据也仅能带来轻微改善。

这突显了采用大规模、多样化数据集训练通用模型的必要性。

模型性能显示出与训练数据量和模型规模的幂律关系,这与大型语言模型和视觉 Transformer 的研究发现一致。随着训练参与者数量的增加,所有任务的解码错误率均呈现下降趋势。

在线(闭环)评估数据则直接反映了模型作为计算机接口的实际可行性。评估对象为之前没有 SEMG 解码器使用经验的初次用户。

在腕部连续控制任务中,用户实现了每秒 0.66 个目标获取的闭环中位数性能。在离散手势任务中,系统实现了每秒 0.88 次手势检测的中位数性能。在手写输入功能上,用户实现了每分钟 20.9 个单词(WPM,Words Per Minute)的中位数性能。

与传统交互设备相比,如 MacBook 触摸板的平均获取时间为 0.68 秒、任天堂 Joy-Con 游戏控制器的中位数手势完成率为 1.45 次/秒、无笔手写的速度为 25.1 WPM,SEMG 解码器的绝对性能目前仍有差距。

然而,该接口的优势在于不依赖手持设备或外部仪器,这在特定使用场景下具有几乎无法替代的价值。研究团队还观察到,参与者在实践中会不断进步,适当的指导和练习有助于用户适应腕带并提高任务表现。

进一步的模型个性化探索表明,即使在通用模型表现良好的情况下,通过短时间额外的个性化数据(例如 20 分钟)微调模型,仍能进一步提升性能。

以手写任务为例,即使通用模型已经用 6400 名参与者的数据进行了训练,但只要再加入短短 20 分钟的个性化数据,就能让中位数性能再提高 16%。

个性化对那些通用模型表现相对较差的参与者,带来了更大的相对增益,有效解决了用户性能的长尾效应。

为了深入理解离散手势解码器神经网络的内部工作机制,研究人员分析了其学习到的表示。网络架构包含一个一维卷积层和三个循环 LSTM 层。

研究发现,第一层卷积层的滤波器在时空特征上与肌肉 MUAPs 具有相似性。这表明模型在较低层次学习了与肌肉电生理活动相关的基础模式。

进一步分析 LSTM 层的表示发现,随着网络深度的增加,手势类别信息在表示空间中变得更加可分离,而与参与者身份、腕带放置位置和手势激发的 SEMG 功率等“干扰变量”相关的表示则逐渐解耦或保持不变。

这意味着网络通过学习,逐渐将 SEMG 信号的表示塑造成对这些“干扰变量”更加不变的形式,从而提高了手势识别的稳健性。

Meta 研究团队指出,这项技术为未来人机交互开启了多种可能性。

首先,SEMG 解码器能够直接检测手势的力度,这是现有摄像头或操纵杆控制无法实现的功能。未来用户可能通过“意念”来控制设备的力度,例如通过轻微的肌肉收缩来微调音量,而通过更强的收缩则实现快速静音。

其次,尽管目前研究主要展示了一维连续控制,但通过添加更多仿生映射,例如利用手腕的尺侧/桡侧偏离来控制垂直方向,实现多自由度联合控制是完全可能的。

此外,SEMG-RD 平台及其配套软件,还可用于研究神经反馈对运动单位活动的影响,从而探索新颖的“人机共生”交互模式,甚至支持人们学习新的运动技能。

最后,在临床领域,这种只需最小肌肉活动而非特定动作的交互设计,有望为那些运动能力受限、肌肉无力或失去肢体的人提供可行的交互方案,并促进有效的闭环神经康复范式的发展。

虽然该研究在解决 SEMG 系统长期面临的泛化和校准问题上取得了进展,但仍存在局限性和进步空间。

例如,与传统的、成熟的人机交互方法相比,SEMG 系统的绝对性能较弱,学习曲线较为陡峭。此外,该研究主要面对的是健康人群,训练结果能否泛化到行动不便人群仍未可知。这或许会限制它在临床、无障碍方面的用途。

为了更好地推动 SEMG 的相关研究,研究团队公开了 1060 份来自 300 名参与者的 SEMG 记录数据以及相关的代码。

研究人员表示,他们未来的工作将关注用户熟练度提升、模型优化(包括个性化)、后处理技术和硬件传感性能的改进。

参考资料:

Kaifosh, P., Reardon, T.R. & CTRL-labs at Reality Labs. A generic non-invasive neuromotor interface for human-computer interaction.Nature(2025). https://doi.org/10.1038/s41586-025-09255-w

https://newatlas.com/wearables/meta-mouse-keyboard-bracelet-semg-rd/

运营/排版:何晨龙

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

美国谴责乌克兰对俄罗斯的远程打击,称打击“给俄罗斯民众带来痛苦”

山河路口
2026-11-18 12:47:12
山东男篮4分险胜广东,徐杰15+4+5焦泊乔15+4,陈林坚15分陶汉林9+3

山东男篮4分险胜广东,徐杰15+4+5焦泊乔15+4,陈林坚15分陶汉林9+3

中国篮坛快讯
2026-11-18 21:56:13
黄仁勋夫人比他大两岁,年轻的时候很有魅力

黄仁勋夫人比他大两岁,年轻的时候很有魅力

微评社
2026-11-18 11:42:53
榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

榜眼摆上货架一天就下架了?没人要,交易杜兰特里外里亏了两次!

你的篮球频道
2026-11-18 10:31:49
高市早苗拒不道歉,专机飞往中国之前,还提要求希望得到平等待遇

高市早苗拒不道歉,专机飞往中国之前,还提要求希望得到平等待遇

通鉴史智
2026-11-18 09:37:22
阿尔卡拉斯2-0完胜世界第5,迎来ATP年终总决赛2连胜

阿尔卡拉斯2-0完胜世界第5,迎来ATP年终总决赛2连胜

侧身凌空斩
2026-11-18 22:25:18
俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

俄总统特别代表称赞深圳:巨大、美丽且非常现代化,既是“未来之城”也是“自然之城”

环球网资讯
2026-11-18 11:06:11
英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

英媒:阿森纳本赛季英超已3次被漏判点球,但球队全部取胜

懂球帝
2026-11-18 20:36:46
新加坡总理黄循财已到中国深圳!APEC4天访华行程曝光

新加坡总理黄循财已到中国深圳!APEC4天访华行程曝光

新加坡万事通
2026-11-18 20:05:06
曝邝球庭审第二天落泪,哭着承认肢解蔡天凤,自称俩儿子毫不知情

曝邝球庭审第二天落泪,哭着承认肢解蔡天凤,自称俩儿子毫不知情

喜欢历史的阿繁
2026-11-18 16:01:18
是击毁、击落,还是干扰?中国如何应对印度可能到手的图-160

是击毁、击落,还是干扰?中国如何应对印度可能到手的图-160

文史道
2025-01-24 20:16:55
失控的信号:中国股市的玩笑这次开大了?

失控的信号:中国股市的玩笑这次开大了?

星语者056
2026-11-12 08:53:16
库里:还没想过退役 这有可能是我的最后一份合同

库里:还没想过退役 这有可能是我的最后一份合同

体坛周报
2026-11-18 07:56:11
“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

“妈妈,我是不是智商不行”,杭州重高男生快急哭:期中连考9门,一门扣掉几十分,落差大到“怀疑人生”

极目新闻
2026-11-16 11:21:01
炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

炸了!中国影后与女导演澳洲领证结婚!刷上热搜!二人均未敢回应

澳洲红领巾
2026-11-17 11:17:20
极其罕见!美俄两国最顶级战略机竟然在深圳公开同框

极其罕见!美俄两国最顶级战略机竟然在深圳公开同框

阿芒娱乐说
2026-11-18 18:01:38
2027年法国总统大选:勒庞向乌克兰确认,若当选将终止法国财政援助,称公共财政状况不允许

2027年法国总统大选:勒庞向乌克兰确认,若当选将终止法国财政援助,称公共财政状况不允许

忧郁天空
2026-11-17 20:00:37
美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

美专家:美国现在只有2个选择,要么跟中国和解,要么接受战败!

无心小姐姐
2026-11-18 10:05:20
奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

奥克兰市长从中国回新西兰后,公开宣称“民主已经过时”,“五眼席位可卖给日本”

发现新西兰
2026-11-18 12:11:59
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
2026-11-18 23:00:49
DeepTech深科技 incentive-icons
DeepTech深科技
麻省理工科技评论独家合作
17503文章数 515373关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

家居
亲子
艺术
游戏
数码

家居要闻

2026建博会(广州) 公装联探展交流活动

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

艺术要闻

深邃宁静的风景油画,奥地利著名风景画家弗舍尔

PC Gamer试玩GTA6百小时:双主角出色但任务重复

数码要闻

34999元起,华硕RTX Spark迷你主机ProArt GR1X发售

无障碍浏览 进入关怀版