对于患有肌萎缩侧索硬化症(ALS)的患者来说,语言的丧失并不意味着思维的停止。他们的大脑依旧活跃,内心仍有话语,但却常常被困在一个无法言说的世界中。即使认知功能完好,他们也只能通过极其缓慢甚至依赖眼动追踪的方式进行表达,极大地限制了生活质量与社会交往。
而就在最近,一项发表在《Nature Communications》的研究引起了神经科学与脑机接口领域的广泛关注。斯坦福大学神经工程团队开发出一种基于植入式脑机接口的语音合成系统,首次在一位严重言语障碍的ALS患者身上实现了“实时脑控语音”。这项技术让“沉默的大脑”能够直接发声,赋予患者真正意义上的重新开口能力,是神经语音假体向实用化迈出的关键一步。
01从神经信号到语音的桥梁
INTRODUCTION
本研究聚焦的对象是一位患有进展期ALS的男性患者T12,尽管他已经无法清晰发音,但仍保有微弱的说话企图和部分口部肌肉运动能力。研究团队在其大脑左侧两个重要的言语相关区域——下额前回(IFG)和额中回(PMv)——植入了两个由64个微电极组成的Utah阵列。这些区域在人类言语的计划与产生中起着核心作用。
通过这些微电极,系统能够高频采集到患者在试图说话时产生的神经信号。这些信号虽然对于普通人而言毫无意义,但在研究人员精心设计的解码框架下,它们成为重建语言的原材料。团队的目标不仅是让系统“听懂”脑电,还要让它“说出来”——合成具有听感、节奏和音色的连续语音。
更令人振奋的是,系统并不依赖于文字拼写或菜单选择,而是以接近自然口语的方式输出声音,真正缩短了神经与声音之间的路径。这种从脑电到声音的直接映射,是与传统打字式脑机接口最大的区别,也是它成为“语音假体”雏形的根本所在。
02三阶段的神经语音合成流程
METHOD
整个语音合成系统由三个关键组成部分构成,每一步都精细地贴合人脑产生语言的过程,从神经活动的识别,到语音信号的重建,形成一个闭环的神经-声学转换通路。
首先是神经语音活动检测模块(nVAD),系统需判断患者何时真正想说话。为此,研究者使用了一个基于单向长短期记忆(LSTM)的神经网络,专门训练识别皮层中的高伽马频段(70–170 Hz)活动——这是一种与言语规划密切相关的脑电信号。nVAD的作用如同一个“神经话筒”,只在检测到真实发音意图时才启动后续流程。
第二阶段是声学参数解码。系统从神经信号中实时预测构成语音的声学特征:18维的Bark倒谱系数和2维音高参数。这一步由一个双向LSTM神经网络完成,它能捕捉到神经时间序列中的上下文信息,使得预测的声音连续、自然,而不仅仅是机械的音节拼接。
最后一步是语音合成与回放。研究人员采用了一个开源的LPCNet声码器,将这些声学参数转换为高质量、流畅的语音波形,并通过扬声器播放给患者本人及听者,实现信息的输出与反馈。整个系统从患者意图到声音播放,延迟控制在合理范围内,支持实时互动。
运动皮质、运动前皮质和躯体感觉皮质的高伽马活动变化触发了语音
03重建个性化的沟通方式
SIGNIFICANCE
实验中,患者被要求多次尝试说出他日常沟通中常用的六个单词。通过系统解码的语音不仅在客观评估中获得了高达80%的语音识别准确率,而且听感自然,语音节奏接近真实语音。尤其值得注意的是,系统合成出的声音保留了患者自身的音色特征,使听者能够辨认出“说话人”是谁——这是传统打字型脑机接口难以实现的个性化表达。
更令人欣喜的是,这套系统不仅在离线测试中表现优异,在实际连续数月的闭环测试中也稳定运行,充分验证了其作为“长期语音替代工具”的潜力。虽然目前仍局限于少量词汇,但已显示出极高的扩展性——只要系统能够接受更多数据训练,完全可以逐步拓展至完整词汇甚至自然语句的输出。
这项成果标志着语音型脑机接口技术迈出临床化应用的关键一步。它不仅为ALS患者提供了切实可用的表达工具,也为其他丧失语言能力人群(如脑干中风、脑外伤患者)带来希望。更深远地看,它也为未来构建更通用、个性化的神经语言合成系统奠定了基础,为“用大脑直接说话”的时代拉开序幕。
新闻来源:Science Report
论文参考:DOI: 10.1038/s41598-024-60277-2
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.