中国科学家首次实现汉语全谱音节脑机接口实时解码｜Science Advances作者解读

来源：ScienceAAAS

人类通过语言进行群体间信息交流，而仅在中国就有约800万病人因脑卒中，脑肿瘤或渐冻症（ALS）等疾病而失去语言能力。他们中部分病人大脑皮层完整，意识清醒，却难以与外界交流——如同被困在自己的身体里。脑机接口（BCI）技术为他们带来了希望：通过“阅读”大脑信号，并将其直接解码为文字，重建沟通的桥梁。

论文链接：https://www.science.org/doi/10.1126/sciadv.adz9968

DOI: 10.1126/sciadv.adz996

目前，国际上已有团队利用脑机接口在英语使用者中实现了“脑到语音”的解码，但针对汉语的研究仍处于早期。

汉语有其独特性：

（1）英语解码常依赖“音素”（构成发音的最小单位），一个单词由多个音素组成，错了1、2个也容易纠正；但汉语是单音节语言，一个“字”的发音极短，解码单元太小（如音素）容易出错。

（2）英语是非声调语言；而汉语则是声调语言，涉及到更多的脑区。

（3）英语词汇量较大，常用英语单词约20,000个；而400个左右的汉语音节和4个声调组成了常用6,000个汉字。

为此，研究团队从数量相对有限的汉语音节（约400个）入手，将其作为更稳定的中间解码单元，实现从脑电到文字的“翻译”。团队选取了一位癫痫患者作为研究参与者，在帮助患者定位癫痫病灶的同时进行语言解码任务。

受试者经过九天的语言解码任务后，394个汉语音节（汉语音节总共400个左右，解码未覆盖音节为生僻音节且受试者不认识）纯神经解码平均准确率达到71.2%。

为进一步实现汉语语句的实时解码，研究团队针对性地设计了一种训练策略：先用大量的“单字”阅读数据训练一个基础解码器，再用“句子”阅读数据对其进行微调，最后将这个模型用于实时句子解码。

研究团队搭建了一套完整的实时解码系统，系统在检测语音起始点后，提取对应神经信号，经将神经解码概率与语言模型概率相结合，输出最可能的汉字序列，最终实现了实时单字解码准确率73.1%。

此外，团队还利用开发的通用型脑机操作系统，帮助受试者实现了驱动数字分身、对话人工智能大模型，并能将人的脑电解码成语言进而转化成指令实时操控灵巧手实现人机交互。

这项研究首次实现了实时汉语语句解码，为汉语乃至其他声调语言的脑机接口研究提供了一个高效的策略。未来，研究团队将进一步验证该解码模型在不同被试上的有效性和鲁棒性，并继续探索不同解码方案之间的效果的差异，最后希望将这项技术应用到真正的语言障碍患者身上，帮助他们重建与外界沟通的桥梁。

主要作者简介

钱友坤，复旦大学附属华山医院神经外科博士在读，研究生第四年，导师吴劲松教授。本科就读于上海交通大学医学院。目前主要研究方向为汉语语音解码和汉语神经机制研究。共获得2022-2024年复旦大学硕士生优秀学业奖学金，2023-2024学年优秀博士候选人奖学金、2024-2025学年博士生学业奖学金等。

刘昶江，中国科学院上海微系统与信息技术研究所博士后。博士毕业于爱丁堡大学，导师Prof. John S Thompson（IEEE Fellow）。长期从事信号处理与机器学习算法的研究，特别是针对无线通信与脑机接口等应用，结合领域知识和深度学习技术设计知识驱动的高效解码算法,作为第一或通讯作者在IEEE WCNC、ISCAS、MEMS等国际顶级会议上发表学术论文5篇，并受邀担任国际知名期刊

IEEE TVLSI

IEEE Comm. Letters

周志涛，中国科学院上海微系统与信息技术研究所研究员、博士生导师。长期从事植入式柔性脑机接口技术及其临床应用研究，在国际知名期刊上作为第一或通讯作者发表学术论文17篇，包括1篇

Nature Nanotechnology

Nature Communications

Advanced Materials

Advanced Science

吴劲松，复旦大学教授，博士研究生导师，上海市东方英才领军人才，上海市脑机接口临床试验与转化重点实验室主任，复旦大学附属华山医院神经外科副主任，中国抗癌协会神经肿瘤专业委员会副主任委员，ASNO科学委员会主席，上海市政协委员。

擅长领域：脑肿瘤外科，脑机接口，医学人工智能

他引5888次，H-index 46，在

Nature Neuroscience、Nature Human Behaviour、Science Advances、Brain、Neuro-oncology、Neurosurgery、J Neurosurgery、CMJ

以第一完成人获上海市科技进步一等奖、教育部科技进步一等奖、中华医学科技奖二等奖等。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。