网易首页 > 网易号 > 正文 申请入驻

脑机接口新突破:实时解码中文,复旦华山医院团队,让思维直接说话 | 光锥读论文

0
分享至

近日,一项发表于顶级期刊《科学进展》(Science Advances)的《使用脑机接口实时解码全频谱中文》的论文,由复旦大学华山医院、上海微系统与信息技术研究所、上海科技大学等十余家机构的联合团队完成,通讯作者为华山医院吴劲松主任医师和上海微系统所周志涛研究员,以及上海脑虎科技有限公司陶虎研究员。研究团队通过创新技术,首次实现了对中文全音节的高精度实时解码,为失语症患者带来了新的希望。

解码大脑的“语言密码”:

为何中文如此特殊?

脑机接口(BCI)技术旨在通过解读大脑信号帮助瘫痪或失语患者重新沟通。国际上应用脑机接口技术已实现英语、西班牙语等西方语言合成。汉语作为世界上使用人口最多的语言,在听说读写各方面具有特殊性。如何针对汉语言神经编解码机制的特异性实现汉语合成是当前汉语言脑机接口重大挑战。

中文作为典型的声调语言,每个音节的音高变化都会改变词义(如“妈”“麻”“马”“骂”),且汉字以单音节为主,同音字密集(如“家”“加”“佳”均读作“jiā”),这使得解码难度倍增。

研究团队另辟蹊径,放弃了传统的“音素解码”思路,转而将完整音节(如“wo3”对应汉字“我”)作为基本单元。这一选择源于中文的音节数量有限(约418个基础音节),且音节比音素更稳定、更具语义信息。

图说:通过颅内脑电记录大脑对语言(音节+声调)和非语言符号的神经活动,解析大脑不同脑区在“音节识别”“声调识别”等功能上的分工。

实验揭秘:

大脑信号如何“翻译”成句子?

研究团队在一名因癫痫治疗而植入电极的43岁女性参与者脑中,放置了256个微电极组成的高密度柔性脑皮层电图(ECoG)阵列。这些电极如一张“神经传感网”,覆盖了大脑中与语言处理相关的关键区域。实验包含两项任务:


  • 单字朗读任务:参与者反复朗读屏幕显示的394个汉字,覆盖中文全部常用音节。对于生僻字,系统会同步播放读音辅助学习。

  • 句子朗读任务:参与者逐字阅读完整句子,句长2-11字不等,每字间有刻意停顿以训练模型。

图说. 实时汉语解码脑机接口系统框架和电极贡献度表征

解码流程犹如一场精密的“神经翻译”:


  1. 信号捕捉:电极实时记录大脑活动,提取高频神经信号(70-170赫兹)。

  2. 语音起始检测:专用模型识别说话起始点,锁定关键神经信号段。

  3. 双流解码:信号并行输入两个神经网络——一个识别音节,一个识别声调。例如,音节“wo”与第三声组合后,对应汉字“我”。

  4. 语言模型优化:系统结合神经网络输出与语言模型(基于日常用语训练),通过智能搜索算法输出最可能的汉字序列。

71.2%的音节识别准确率

与实时句子解码

在离线测试中,系统对394个音节的识别准确率中位数达71.2%,声调识别准确率达69.1%,远超随机猜测(0.25%)。研究还发现,即使训练数据量减少,模型仍保持稳定表现,展现了其强健性。

更令人振奋的是,在实时句子解码任务中,仅依靠神经信号时字符准确率为61.5%,加入语言模型后提升至73.1%,通信速率达49.7字符/分钟。参与者成功通过解码系统控制机械臂、驱动数字人 avatar,并与大语言模型互动,准确率最高达78.3%。

应用场景

三类典型应用场景:

  • 控制灵巧机械手(Control the dexterous hands):实现机械臂等设备的精细操作;

  • 驱动数字分身(Actuate the digital avatar):依托系统激活虚拟数字人,完成虚实交互;

  • 与大语言模型通信(Communicate with the LLM):直接对接大语言模型,拓展智能交互的深度与广度。

未来展望:

从实验室走向病床的“沟通桥梁”

这项研究的核心价值在于为因肌萎缩侧索硬化(ALS)、脑中风等导致失语的患者提供了新的沟通可能。未来,通过优化电极设计(如无线植入)、融合多模态信号(如面部肌肉电信号),系统可更精准地捕捉“内心语音”,甚至解码抽象思维。尽管目前研究仅基于单名参与者,团队已计划开展多中心验证,并探索跨被试的通用解码模型。正如论文所言,这项技术不仅助力恢复语言功能,更可能成为连接人类意识与外部世界的桥梁,让沉默的思维重新发声。

编辑:吴欧

论文信息

发布期刊 Science Advances

发布时间 2025年11月5日

论文标题 Real-time decoding of full-spectrum Chinese using brain-computer interface

(DOI:https://www.science.org/doi/10.1126/sciadv.adz9968)

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
杨瀚森为何总被DNP?开拓者老板给出答案,小杨努力融入送全队气泡水,只有莫兰德回礼,诺里只顾带卡尔森看电影

杨瀚森为何总被DNP?开拓者老板给出答案,小杨努力融入送全队气泡水,只有莫兰德回礼,诺里只顾带卡尔森看电影

詹妹侃体育
2026-11-18 18:37:03
武汉32岁女子和丈夫摆摊卖馄饨还债,此前开牛肉饭店9个月亏40万元,每周不定时收到催债电话,当事人:一步一个脚印总能翻身

武汉32岁女子和丈夫摆摊卖馄饨还债,此前开牛肉饭店9个月亏40万元,每周不定时收到催债电话,当事人:一步一个脚印总能翻身

极目新闻
2026-11-18 22:11:29
“感谢中方特殊安排”,特朗普又带着高规格代表团来了

“感谢中方特殊安排”,特朗普又带着高规格代表团来了

中国新闻周刊
2026-11-18 20:22:08
突发!黄仁勋黄乐最新消息曝光,大开眼界!

突发!黄仁勋黄乐最新消息曝光,大开眼界!

财经要参
2026-11-18 12:00:05
西方国家再怎么刻意疏远俄罗斯,到了深圳,还是要顾及中国的面子!卡尼出发来中国前,被问到会不会在深圳和普京同框拍照,他给出答复

西方国家再怎么刻意疏远俄罗斯,到了深圳,还是要顾及中国的面子!卡尼出发来中国前,被问到会不会在深圳和普京同框拍照,他给出答复

扶苏聊历史
2026-11-18 14:57:40
又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

又是湘雅二院?挂着5项科研基金的论文拿虾滑冒充肿瘤!国家科研经费拿去给AI充会员了?

聊斋新志
2026-11-18 16:53:43
普京、特朗普等多国领导人抵达深圳

普京、特朗普等多国领导人抵达深圳

大风新闻
2026-11-18 20:53:16
英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

英伟达,业绩“炸裂”!董事长强硬拒绝黄仁勋回归:已请猎头公司找接班人,“他辞职是自愿”!临时CEO:供应商和合作伙伴100%支持我们

每日经济新闻
2026-11-18 10:46:50
贵州省妇联原党组书记、主席涂妍被公诉,曾被批利用职务便利为他人在项目推进、工程款拨付等方面提供帮助

贵州省妇联原党组书记、主席涂妍被公诉,曾被批利用职务便利为他人在项目推进、工程款拨付等方面提供帮助

大风新闻
2026-11-18 17:33:02
无锡市委书记蒋锋,添新职

无锡市委书记蒋锋,添新职

上观新闻
2026-11-18 18:51:23
四川出名了!游客曝在绵阳1600的烤全羊剥不出1两肉,真相揭开

四川出名了!游客曝在绵阳1600的烤全羊剥不出1两肉,真相揭开

西昆仑Bruce
2026-11-18 18:49:12
APEC欢迎仪式对比,日媒酸了

APEC欢迎仪式对比,日媒酸了

凤眼论
2026-11-18 21:07:04
开心到拍大腿,排面拉满特朗普非常高兴,简直是超高规格接待

开心到拍大腿,排面拉满特朗普非常高兴,简直是超高规格接待

三叔的装备空间
2026-11-18 19:28:04
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

7天内不撤回中国诉讼,每天罚500万欧元,封顶3亿!闻泰科技和安世已经从董事会吵架,升级成了一场按天计费的法律围猎

扶苏聊历史
2026-11-18 11:21:53
美国总统第一次来深圳,迎接特朗普的不是几句漂亮口号

美国总统第一次来深圳,迎接特朗普的不是几句漂亮口号

迷彩人生
2026-11-17 22:06:48
65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

65岁刘德华自曝每天吃6颗鸡蛋,吃素13年曾迷上咖啡:每天喝20杯

开开森森
2026-11-16 20:46:35
谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

谁都没想到,APEC大佬云集的会场,最扎眼的竟是董明珠的一个动作

不写散文诗
2026-11-18 13:55:13
2026年度中央安全生产考核巡查启动

2026年度中央安全生产考核巡查启动

齐鲁壹点
2026-11-18 19:21:10
追上特朗普专机,马斯克又来了

追上特朗普专机,马斯克又来了

中国新闻周刊
2026-11-18 21:46:31
2026-11-18 23:04:49
未来光锥 incentive-icons
未来光锥
“未来光锥”是由果壳发起的科创品牌,致力于推动科研端与产业端相互融合,促进科技成果的高效转化。
4474文章数 315696关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

追上特朗普专机 马斯克又来了

头条要闻

追上特朗普专机 马斯克又来了

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
亲子
本地
教育
手机

PC Gamer试玩GTA6百小时:双主角出色但任务重复

亲子要闻

当婴配市场进入存量博弈,有机赛道如何破局突围?

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

第十五届“挑战杯”中国大学生创业计划竞赛主体赛拟授奖名单,公布!

手机要闻

华为引爆阔直板手机!友商纷纷下场,但很可能会集体踏空?

无障碍浏览 进入关怀版