网易首页 > 网易号 > 正文 申请入驻

意念手写字母,准确率高达99%,斯坦福脑机接口新突破登上Nature

0
分享至

机器之心报道

编辑:杜伟、小舟

来自斯坦福大学的研究者让脑机接口的发展又进了一步——首次破解了「与手写笔迹相关」的大脑活动。瘫痪受试者借助一套皮质内脑机接口系统,每分钟可以打出 90 个字符,准确率为 94% 至 99%,可称得上是该领域的一大进步。

利用脑机接口技术( BCI)进行意念操控,已经不是什么新鲜事。脑机接口技术也正越来越多地给瘫痪患者带来便利。此前,美国 BrainGate 团队首次实现了人类大脑信号与计算机之间的无线高带宽传输,通过创建一套无线脑机接口设备,瘫痪患者不仅能够借助思维打字,还能在家轻松浏览网络内容。

以往,脑机接口的主要功能是恢复患者的 「运动技能」,比如借助脑机接口设备操控机械臂抓取物品、移动电脑光标、点击字母输入等。

近日,斯坦福大学的研究者实现了一项新的突破,首次破译了「与手写笔迹相关」的大脑活动,可以让瘫痪患者不用手也能快速打字。具体来讲,他们开发了一套皮质内脑机接口(intracortical BCI)系统,这套系统可以从运动皮层的神经活动中解码瘫痪患者想象中的手写动作,并利用递归神经网络(RNN)解码方法将这些手写动作实时转换为文本。

论文一作兼通讯作者为斯坦福大学霍华德 · 休斯医学研究所的研究科学家 Frank Willett,相关论文登上了最新一期的 Nature 封面。

论文地址:https://www.nature.com/articles/s41586-021-03506-2

就实验结果而言,借助于这套皮质内脑机接口系统,研究受试者(因脊髓损失瘫痪)每分钟可以打出约 90 个字符,是以往利用此类脑机接口打字记录的两倍多,并且在线原始准确率达到了 94.1%,自动更正后的离线准确率超过了 99%。

论文作者之一、斯坦福大学霍华德 · 休斯医学研究院的研究员 Krishna Shenoy 表示:「随着进一步的开发,这项创新性研究可以使瘫痪患者不用手也能快速打字。」

加州大学伯克利分校的神经工程师 Jose Carmena 也认为:「这项研究以及其他同类研究在帮助各类残疾患者方面具有很大潜力。尽管研究结果只是初步的,但依然是该领域的重大进步。」

脑机接口实现瘫痪患者「意念写字」

瘫痪患者可能会丧失移动能力,但大脑中仍然存在关于走路、喝咖啡说话等行为的神经活动。脑机接口方向的研究能够帮助瘫痪患者或者截肢患者恢复失去的能力。具体的需求因患者的情况而定。例如,失去双手的患者可以使用带有语音识别功能的计算机或软件。对于说话困难的人,科学家们正在研究其他方法来帮助人们交流。

Shenoy 的团队对与语音相关的神经活动进行了解码,希望能够复现这些神经活动。他们还为植入传感器的参与者设计了一种新的方法,以使他们能够利用与肢体运动相关的意念来移动屏幕上的光标。

然而,没有人尝试过「手写文字」的行为。

因此,论文一作 Frank Willett 想探究是否有可能将笔置于纸张上来激发大脑信号。此外,该团队与一位参与了 BrainGate2 临床实验的参与者进行了合作。

Shenoy 团队中的神经外科医生 Henderson 将两个微小的传感器植入到参与者大脑中控制手臂和手部的部位上,从而使患者能够利用移动手臂的意念来控制机械臂或屏幕上光标的移动。

受试者的运动前区平层被植入两个脑机接口芯片,共计大约 200 个电极。

使用微型电极记录大脑信号。图源:BrainGate.org

在整个过程中,首先一位患有脊髓损伤的 65 岁受试者「想象着用笔在纸上写字」:

接着,受试者大脑中植入的电极检测到「他试图写字的活动」:

最后,算法对每个字符对应的活动模式进行解码,并将这些活动模式转换成可在屏幕上显示的文本。

对受试者「试图手写」行为的实时神经解码如下图(左)所示,转换为屏幕可显示文本的关键技术 RNN 的架构如图(右)所示:

利用这种系统,受试者能够复制语句或者回答问题,并且速度和同龄人使用智能手机输入的速度差不多。

Willett 表示:「这种名为『Brain-to-Text』的 BCI 的速度之所以这么快,是因为每个字母引发的神经活动模式都大不相同,从而使算法易于区分。」

未来设想

Shenoy 团队设想利用手写文本输入打造一个更全面的系统,该系统包括类似智能手机界面中的点击导航功能,甚至尝试了语音解码功能。他表示:「我们肯定会让系统尝试两到三种模式,并在它们之间切换。」

接下来,团队将与一位无法说话的参与人员共同工作,比如患有肌萎缩性脊髓侧索硬化症(ALS)的人,这是一种退化性的神经系统疾病,会导致患者的运动及说话能力丧失。Henderson 补充说,新系统将帮助到那些因各种疾病瘫痪的人。

《潜水钟与蝴蝶》的作者 Jean-Dominique Bauby 因中风丧失了大多数行为能力,仅剩一只左眼能够眨动,但凭借着顽强的意志力,以听读眨眼的方式写出了生命中最后一本书。假如有了这套新系统,他是否可以留下更多的生命回忆?

「我的肉体沉重如潜水钟,但内心渴望像蝴蝶般自由飞翔。除了我的眼睛外,还有两样东西没有瘫痪:我的想象以及我的记忆。只有想象和记忆,才能令我摆脱潜水钟的束缚。」

https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html

https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
无法理解:为何有人宁愿花50多万买丰田霸道,不30多万买坦克500

无法理解:为何有人宁愿花50多万买丰田霸道,不30多万买坦克500

杂谈哥闲谈
2024-03-27 23:28:55
事实证明,“消失”8年的毕福剑,已经走上了一条“不归路”

事实证明,“消失”8年的毕福剑,已经走上了一条“不归路”

娱馆长
2023-06-17 15:52:40
德国罢工结束,达成35小时工作制协议

德国罢工结束,达成35小时工作制协议

环球时报国际
2024-03-28 07:30:32
2003年在曼谷,张柏芝竟然穿着比基尼给陈小春推油,太让我吃惊了

2003年在曼谷,张柏芝竟然穿着比基尼给陈小春推油,太让我吃惊了

梦里大唐
2024-03-27 18:10:06
江同志的秘密花园

江同志的秘密花园

我是娱有理
2024-03-28 07:21:55
7分钟大定破2万!小米汽车21.59万元起售,能打穿哪些同行?

7分钟大定破2万!小米汽车21.59万元起售,能打穿哪些同行?

澎湃新闻
2024-03-28 22:44:36
今年清明是“凶日”,记得:1不动,2不吃,3不做,别犯了忌讳

今年清明是“凶日”,记得:1不动,2不吃,3不做,别犯了忌讳

神牛
2024-03-27 11:50:09
重磅!4000人围观,招商银行刷屏!

重磅!4000人围观,招商银行刷屏!

中国基金报
2024-03-28 18:39:52
支持俄方的网友现在真的是欲哭无泪了

支持俄方的网友现在真的是欲哭无泪了

清晖有墨
2024-03-28 15:24:08
上海某东院,出事了!

上海某东院,出事了!

小兔子爱旅游
2024-03-28 22:50:04
国内首款近视药开售!定价为298元一盒

国内首款近视药开售!定价为298元一盒

人民日报健康客户端
2024-03-28 13:48:04
闹大了!云南37名游客被扣,不买床垫不让走,云南文旅介入调查

闹大了!云南37名游客被扣,不买床垫不让走,云南文旅介入调查

180°视角
2024-03-27 11:34:16
杭州公务员降薪?网友:上城区某四级主任科员综合年薪高达25万…

杭州公务员降薪?网友:上城区某四级主任科员综合年薪高达25万…

火山诗话
2024-03-28 21:16:16
闹大了!山东突发恶劣事件...

闹大了!山东突发恶劣事件...

菏泽新鲜趣事
2024-03-27 19:52:41
普京:不会攻击北约成员国 但向乌克兰提供的F-16战机将被击落

普京:不会攻击北约成员国 但向乌克兰提供的F-16战机将被击落

花尔街之狼
2024-03-28 18:08:52
曝42岁李晨上海遛娃!推简易婴儿车太低调,女儿五官清秀超像爸

曝42岁李晨上海遛娃!推简易婴儿车太低调,女儿五官清秀超像爸

阿桥侃娱乐
2024-03-27 16:09:14
曝31岁泰山国脚被判3年!遭中国足球除名,出来后只能去海外踢球

曝31岁泰山国脚被判3年!遭中国足球除名,出来后只能去海外踢球

我爱英超
2024-03-28 22:38:35
小米SU7配超大防晒天幕玻璃,暴晒比特斯拉Model3低12℃

小米SU7配超大防晒天幕玻璃,暴晒比特斯拉Model3低12℃

中关村在线
2024-03-28 20:28:04
12-1!亚洲第3爆发,下轮打平=出线!放水给国足拿1分:携手晋级

12-1!亚洲第3爆发,下轮打平=出线!放水给国足拿1分:携手晋级

侃球熊弟
2024-03-28 21:19:38
普通中年人的天花板水平?从不应酬不吃夜宵,每天工资300块!

普通中年人的天花板水平?从不应酬不吃夜宵,每天工资300块!

玛丽姬丝
2024-03-28 20:54:09
2024-03-29 01:18:44
机器之心Pro
机器之心Pro
专业的人工智能媒体
8835文章数 141870关注度
往期回顾 全部

科技要闻

李斌李想何小鹏喊你买小米汽车

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

头条要闻

小米汽车7分钟大定破2万 网友:这价格真可以杀穿同行

体育要闻

詹姆斯场边惊叹!16年前今天 疯三库里连续3场30+杀入精英8强

娱乐要闻

莱昂纳多与25岁新女友互相投喂超恩爱

财经要闻

中国版QE要来?国内外机构观点罕见一致

汽车要闻

混动增程双模式 长安UNI-Z售11.79万起

态度原创

房产
艺术
健康
手机
公开课

房产要闻

炸裂!新政出台,这里安居房货量近100万㎡,均价最低到6000+!

艺术要闻

艺术开卷|从闺阁、庭院到郊野,古画中的女性生活空间

早防早筛,远离肝硬化

手机要闻

4299元,努比亚Z60 Ultra摄影师版开售丨超凡AI,大师影像

公开课

30岁之前,你要学会的13件事情

无障碍浏览 进入关怀版