德克萨斯大学研究人员开发出能解码不同患者语音的技术

由德克萨斯大学健康休斯顿分校研究人员领导的一项新研究，使科学家们距离研制一种更高效的设备又近了一步，这种设备可以直接从大脑中理解和翻译人类的语音。

该研究成果发表在《自然通讯》杂志上。

在该团队开展研究之前，他们调查了脑机接口的技术存在的局限性，比如它需要患者花费数小时或数周的时间进行训练，并且需要来自特定完整大脑区域的记录才能准确工作。对于那些因中风、脑损伤或其他疾病而失去说话能力（即失语症）的患者来说，这并不友好。

脑机接口的工作原理是读取患者在尝试说话时产生的脑信号，并将其转化为文字，无论是以屏幕上的文本形式还是通过语音合成器进行显示。

实验概述。A. 绕口令范例和语音记录，包含言语不流畅症和不包含言语不流畅症的试验。

为了提高这项技术的效率，首席研究员、德克萨斯大学健康休斯顿分校麦戈文医学院神经外科教授兼德克萨斯大学健康休斯顿分校德克萨斯修复神经技术研究所所长、医学博士尼廷·坦登 (Nitin Tandon) 及其团队采用了跨受试者迁移学习技术。该技术允许基于一个人的大脑数据训练的模型适应另一个人的数据，而不是为每个患者从头开始。

研究人员使用深部电极（一种通过手术植入的薄型脑电波监测装置）记录了 25 名癫痫患者的脑活动，同时患者还说出颇具挑战性的绕口令。随后，脑机接口能够将脑活动转化为音素，即声音的最小单位，例如“p”或“sh”。

用于音素神经解码的 Seq2Seq 模型

“由于这是一项复杂的绕口令任务，你的语音系统会高度警惕，以尽量减少错误，”坦登说道。他是德克萨斯州综合癫痫项目主任，同时也是维维安·L·史密斯神经病学研究中心的南希、克莱夫和皮尔斯·鲁内尔斯杰出神经科学讲席教授，以及麦戈文医学院的BCMS神经疾病和神经外科杰出教授。“这意味着语音系统能够最大限度地参与，我们可以利用大量的神经活动来解码他们正在说或试图说的内容。”

研究人员利用这些会话中的数据构建了一种共享的脑信号“语言”，这使得脑机接口能够通过来自每个新受试者的少量数据进行微调。

与迁移学习方法相结合的多学科模型

研究表明，即使一个人的大脑覆盖范围有限或只有很短的录音会话，共享模型解码语音的准确性仍然比单独训练该人模型更高。

虽然脑机接口技术在过去几年中发展迅速，但研究表明，通过利用来自许多人的数据，未来的脑机接口即使对于数据量极少或大脑语言区域受损的新患者也能可靠地工作。

“这使我们能够创建一个数据库，当脑损伤患者试图复制正常语言时，你可以从中读取数据，”Tandon 说。“这是帮助失语症患者迈出的真正基础性的一步。”

仅用于学术分享，若侵权请留言，即时删侵！

欢迎加入脑机接口AI星球

获取更多脑机接口+AI等领域的知识和资源。

欢迎来稿

1.欢迎来稿。投稿咨询，请联系微信：RoseBCI

点击投稿：

2.加入社区成为兼职创作者，请联系微信：RoseBCI

一键三连「分享」、「点赞」和「在看」

不错过每一条脑机前沿进展