网易首页 > 网易号 > 正文 申请入驻

脑机接口新突破:实时解码中文,复旦华山医院团队,让思维直接说话 | 光锥读论文

0
分享至

近日,一项发表于顶级期刊《科学进展》(Science Advances)的《使用脑机接口实时解码全频谱中文》的论文,由复旦大学华山医院、上海微系统与信息技术研究所、上海科技大学等十余家机构的联合团队完成,通讯作者为华山医院吴劲松主任医师和上海微系统所周志涛研究员,以及上海脑虎科技有限公司陶虎研究员。研究团队通过创新技术,首次实现了对中文全音节的高精度实时解码,为失语症患者带来了新的希望。

解码大脑的“语言密码”:

为何中文如此特殊?

脑机接口(BCI)技术旨在通过解读大脑信号帮助瘫痪或失语患者重新沟通。国际上应用脑机接口技术已实现英语、西班牙语等西方语言合成。汉语作为世界上使用人口最多的语言,在听说读写各方面具有特殊性。如何针对汉语言神经编解码机制的特异性实现汉语合成是当前汉语言脑机接口重大挑战。

中文作为典型的声调语言,每个音节的音高变化都会改变词义(如“妈”“麻”“马”“骂”),且汉字以单音节为主,同音字密集(如“家”“加”“佳”均读作“jiā”),这使得解码难度倍增。

研究团队另辟蹊径,放弃了传统的“音素解码”思路,转而将完整音节(如“wo3”对应汉字“我”)作为基本单元。这一选择源于中文的音节数量有限(约418个基础音节),且音节比音素更稳定、更具语义信息。

图说:通过颅内脑电记录大脑对语言(音节+声调)和非语言符号的神经活动,解析大脑不同脑区在“音节识别”“声调识别”等功能上的分工。

实验揭秘:

大脑信号如何“翻译”成句子?

研究团队在一名因癫痫治疗而植入电极的43岁女性参与者脑中,放置了256个微电极组成的高密度柔性脑皮层电图(ECoG)阵列。这些电极如一张“神经传感网”,覆盖了大脑中与语言处理相关的关键区域。实验包含两项任务:


  • 单字朗读任务:参与者反复朗读屏幕显示的394个汉字,覆盖中文全部常用音节。对于生僻字,系统会同步播放读音辅助学习。

  • 句子朗读任务:参与者逐字阅读完整句子,句长2-11字不等,每字间有刻意停顿以训练模型。

图说. 实时汉语解码脑机接口系统框架和电极贡献度表征

解码流程犹如一场精密的“神经翻译”:


  1. 信号捕捉:电极实时记录大脑活动,提取高频神经信号(70-170赫兹)。

  2. 语音起始检测:专用模型识别说话起始点,锁定关键神经信号段。

  3. 双流解码:信号并行输入两个神经网络——一个识别音节,一个识别声调。例如,音节“wo”与第三声组合后,对应汉字“我”。

  4. 语言模型优化:系统结合神经网络输出与语言模型(基于日常用语训练),通过智能搜索算法输出最可能的汉字序列。

71.2%的音节识别准确率

与实时句子解码

在离线测试中,系统对394个音节的识别准确率中位数达71.2%,声调识别准确率达69.1%,远超随机猜测(0.25%)。研究还发现,即使训练数据量减少,模型仍保持稳定表现,展现了其强健性。

更令人振奋的是,在实时句子解码任务中,仅依靠神经信号时字符准确率为61.5%,加入语言模型后提升至73.1%,通信速率达49.7字符/分钟。参与者成功通过解码系统控制机械臂、驱动数字人 avatar,并与大语言模型互动,准确率最高达78.3%。

应用场景

三类典型应用场景:

  • 控制灵巧机械手(Control the dexterous hands):实现机械臂等设备的精细操作;

  • 驱动数字分身(Actuate the digital avatar):依托系统激活虚拟数字人,完成虚实交互;

  • 与大语言模型通信(Communicate with the LLM):直接对接大语言模型,拓展智能交互的深度与广度。

未来展望:

从实验室走向病床的“沟通桥梁”

这项研究的核心价值在于为因肌萎缩侧索硬化(ALS)、脑中风等导致失语的患者提供了新的沟通可能。未来,通过优化电极设计(如无线植入)、融合多模态信号(如面部肌肉电信号),系统可更精准地捕捉“内心语音”,甚至解码抽象思维。尽管目前研究仅基于单名参与者,团队已计划开展多中心验证,并探索跨被试的通用解码模型。正如论文所言,这项技术不仅助力恢复语言功能,更可能成为连接人类意识与外部世界的桥梁,让沉默的思维重新发声。

编辑:吴欧

论文信息

发布期刊 Science Advances

发布时间 2025年11月5日

论文标题 Real-time decoding of full-spectrum Chinese using brain-computer interface

(DOI:https://www.science.org/doi/10.1126/sciadv.adz9968)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

C罗何时在俱乐部退役?利雅得胜利怒了:我受够他了,夺冠别想了

体育世界
2026-11-21 20:10:54
1-4主场完败!英超大冷门:11.5亿豪门4轮3负 各项赛事5场1胜仅赢曼联

1-4主场完败!英超大冷门:11.5亿豪门4轮3负 各项赛事5场1胜仅赢曼联

狍子歪解体坛
2026-11-22 00:59:32
强迫女友发生关系,18岁男子获刑3年,出狱后两人复合同居,女友因吵架提及强奸旧事被杀害;该案即将一审开庭

强迫女友发生关系,18岁男子获刑3年,出狱后两人复合同居,女友因吵架提及强奸旧事被杀害;该案即将一审开庭

大风新闻
2026-11-21 19:30:06
“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

“不把孩子带到这个世界,才是对孩子真正的负责”,成为了大部分90后、00后的想法

舒山有鹿
2026-11-20 16:20:23
深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

深圳女高管和每一任男友发生关系前,都要先拉他去体检,防止被传染

江山挥笔
2026-11-19 14:15:33
传某省两家汽车经销商集团面临爆雷:现金流枯竭

传某省两家汽车经销商集团面临爆雷:现金流枯竭

CNMO科技
2026-11-20 16:40:47
继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

继刘欢之后,66岁郎平也步入后尘,1周至少要做3次治疗,现状忧心

往史过眼云烟
2026-11-21 11:30:59
叶珂不再隐瞒,自曝生娃细节,分手原因曝光,没给黄晓明留体面

叶珂不再隐瞒,自曝生娃细节,分手原因曝光,没给黄晓明留体面

月光作笺a
2026-11-22 02:16:24
申京空砍28+11+10火箭不敌掘金,杜兰特仅16分约基奇26分11助

申京空砍28+11+10火箭不敌掘金,杜兰特仅16分约基奇26分11助

湖人崛起
2026-11-21 13:38:41
美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

美媒发现:英伟达失去中国市场之后,最危险的对手正在中国长出来

麓谷隐士
2026-11-21 07:19:12
经济危机的盖子捂不住了,放水的时刻越来越近

经济危机的盖子捂不住了,放水的时刻越来越近

荆棘阿甘
2026-11-21 18:07:54
我在澳门赌厅干15年,说句实在话:赢钱的人,比输钱的人走得更早

我在澳门赌厅干15年,说句实在话:赢钱的人,比输钱的人走得更早

千秋文化
2026-11-18 20:52:59
北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

北京雍和宫旁2.2平米毛坯房卖60万!中介:有房本,不是违建,至今没人看房

极目新闻
2026-11-21 20:11:56
日本外务省确认了:高市早苗重申日本将持续援助乌克兰,追加越冬援助,推进对俄罗斯制裁,日本政企携手共同参与乌克兰重建工作

日本外务省确认了:高市早苗重申日本将持续援助乌克兰,追加越冬援助,推进对俄罗斯制裁,日本政企携手共同参与乌克兰重建工作

吉刻新闻
2026-11-21 12:43:06
姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

姆巴佩风波后,时间给出了答案——皇马赢了,皇马5家中国赞助商也赌赢了

开成运动会
2026-11-21 11:24:38
丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

丢人!一女博主自曝在德国15年,交往过大量的外国男人,后续会出专题系列

小徐讲八卦
2026-11-20 06:39:39
波兰和丹麦等地接连发生一系列“严重事件”,法国总统马克龙谴责俄罗斯称俄方相关行动是“不负责任的赌博,只会让俄罗斯更加孤立”

波兰和丹麦等地接连发生一系列“严重事件”,法国总统马克龙谴责俄罗斯称俄方相关行动是“不负责任的赌博,只会让俄罗斯更加孤立”

扬子晚报
2026-11-21 17:42:16
一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

一次爆出黑料超过33年总和!纽约时报发长文痛批黄仁勋:当众折磨当下属成人礼、所有高管都是受害者

可达鸭面面观
2026-11-22 00:02:18
日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

日媒:日本一女警察在警署等地分别与两名上司发生性行为,3人被处分

环球网资讯
2026-11-21 16:38:05
在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

在深圳坐车不拉窗帘看什么?特朗普回白宫自曝:路面修补的痕迹都没看到

快科技
2026-11-21 18:44:08
2026-11-22 02:59:00
未来光锥 incentive-icons
未来光锥
“未来光锥”是由果壳发起的科创品牌,致力于推动科研端与产业端相互融合,促进科技成果的高效转化。
4475文章数 315695关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

墨西哥女总统发布深圳行vlog

头条要闻

墨西哥女总统发布深圳行vlog

体育要闻

约基奇vs申京:最强的策应巨人?

娱乐要闻

港姐季军吴文忻去世,生前已办追思会

财经要闻

走过三年牛市,黄金何去何从?

汽车要闻

35万级MPV的满配答案 享界V8正式上市售31.98万起

态度原创

本地
健康
时尚
亲子
公开课

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

医生眼里"很伤腰"的椅子,很多人天天坐

提升冬日幸福感的8件小事,太治愈了

亲子要闻

有两个儿子,是老天给您的双倍福气

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版