探索大脑中语言理解机制，香港理工大学研究登Science子刊

编辑 | 萝卜皮

当前的大型语言模型 (LLMs) 依赖单词预测作为其骨干预训练任务。尽管单词预测是语言处理的重要机制，但人类语言理解发生在多个层面，涉及单词和句子的整合以实现对话语的充分理解。

香港理工大学的研究人员通过使用下一句预测（Next Sentence Prediction，NSP）任务对语言理解进行建模，从而研究话语级理解的机制。

该团队表明，NSP 预训练增强了模型与大脑数据的一致性，尤其是在右半球和多需求网络中，突出了非经典语言区域对高级语言理解的贡献。NSP 可以使模型更好地捕捉人类理解性能并更好地编码上下文信息。

另外，在模型中包含不同的学习目标会产生更加类似于人类的表征，并且研究 LLMs 预训练任务的神经认知合理性可以揭示语言神经科学中的突出问题。

该研究以「Predicting the next sentence (not word) in large language models: What model-brain alignment tells us about discourse comprehension」为题，于 2024 年 5 月 23 日发布在《Science Advances》。

近期生成式人工智能（AI）的进步使 LLMs 成为焦点。LLMs 的卓越性能源于大规模文本数据上的预训练及将词汇和意义表示为高维向量（或「嵌入」）。越来越多的神经认知研究探索了模型嵌入如何捕获语言处理中的大脑活动，并且，LLMs 的兴起使科学家能更系统、明确地测试语言学习和表征的神经机制。

研究者倡导通过「表示一致性」连接计算模型与大脑研究，促进 AI 与神经认知领域知识交流。实现模型-大脑一致性（Greater model-brain alignment）需借助线性回归等方法建立模型嵌入与脑信号间的联系。现有研究检验不同模型嵌入与大脑数据的一致性度，以探索语言模型的哪些计算特性与大脑处理机制相关。

两个主要原则是：语境信息在理解过程中的表征，以及词预测作为语言理解核心过程。尽管进展显著，研究存在差距：LLMs 的词预测任务与人类追求基于统计理解多层话语的目标不同；且自然语言处理与语言神经科学界沟通不足。

香港理工大学研究团队的课题旨在利用 LLMs 探讨话语理解，这是结合两领域新发现的领域。

话语理解对人类交流和知识获取至关重要，涉及跨句子的意义构建。BERT 模型中的下一句预测（NSP）任务旨在增强模型理解句间关系的能力，可能映射到人脑处理和理解话语的方式。然而，关于支撑话语理解的大脑网络及其半球分工仍有许多未知，特别是右半球的作用尚待明确。

综合来看，研究旨在通过 LLMs 和 NSP 任务，促进对人类话语理解神经机制的深入理解。

图示：NSP 作为话语理解的计算帐户。（来源：论文）

在这项研究中，研究人员专注于利用不同的预训练任务，来更好地使 LLMs 与人类语言系统保持一致；通过使用模型-大脑一致性，研究人员希望深入了解大脑如何处理话语。具体来说，他们测试 NSP 作为话语理解的合理计算机制，并探索与该机制相对应的大脑网络。

为此，该团队构建了两个基于 BERT 的深度语言模型（DLM），在预训练中操纵 NSP 的存在，并使用两个功能磁共振成像（fMRI）数据集，分别强调连贯和不连接的句子关系。在两个半球的语言网络和 MD 网络中检查了模型-大脑一致性性能。

图示：数据集、计算模型和分析概述。（来源：论文）

研究结果显示，NSP 预训练有助于模型更好地捕捉人类的理解能力，有效编码上下文信息，并促使模型表示更接近人类，从而为解决语言神经科学中的问题提供了新视角。

在个体差异层面，研究发现模型-大脑一致性与阅读时间呈负相关，意味着更强的一致性关联着更快的阅读速度，而阅读时间是评估阅读技能的关键指标，能区分熟练与不熟练读者在理解话语时的效率。熟练读者在选取和组织关键内容以构建整合理解方面更为高效。

图示：阅读时间和模型-大脑一致性之间的相关性。（来源：论文）

此外，研究对于话语理解中的左右脑功能分工提供了新的见解。虽然经典左脑语言网络对于词语和句子处理不可或缺，但右脑在话语理解、双语学习、韵律处理及比喻语言理解等高级语言功能中扮演着关键角色。

特别是，研究发现右脑同侧额叶区域在整合连贯句子过程中尤为重要，而并非否定左脑语言网络在此过程中的参与，而是表明在话语理解中，模型-大脑一致性可能更敏感于由右脑支持的更广泛、高层次和较粗粒度的语义整合过程。这些发现丰富了关于大脑如何在不同层次上分配语义处理任务的讨论。

论文链接：https://www.science.org/doi/10.1126/sciadv.adn7744