大脑如何「看」到声音？新研究揭示多感官整合的底层算法

来源：今日声学

你是否曾有过这样的体验：看一部配音不匹配的电影时，会明显感觉到声音和口型对不上？或者在看腹语表演时，不自觉地认为声音来自木偶而非表演者？这些日常生活中的现象，其实揭示了人类大脑一个精妙的能力——多感官整合。

近日，利物浦大学心理学系的Cesare V Parise教授在《eLife》上发表了一项突破性研究，提出了一个全新的「多感官相关性检测器」（MCD）模型，为理解大脑如何处理视听信息提供了革命性的视角。

01

多感官整合的科学难题

在日常生活中，我们的大脑需要不断整合来自不同感官的信息。比如在嘈杂的聚会上，我们会不自觉地观察说话者的口型来更好地理解对话；在判断车辆距离时，我们会同时依赖视觉和听觉线索。

传统的多感官整合理论通常基于贝叶斯因果推断框架，认为大脑会先判断视觉和听觉信息是否来自同一个源头，然后决定是否进行整合。然而，这些模型存在一个根本性局限：它们无法直接处理真实的视听信号，而是依赖于研究人员预先定义好的抽象参数（如时间延迟、空间位置等）。

02

突破性模型：从像素到感知

Parise教授的研究团队开发了一种全新的计算模型，该模型能够直接处理原始的图像像素和声音波形，模拟大脑如何从最基础的感官信号中提取并整合信息。

这个模型的核心是一组「多感官相关性检测器」单元，每个单元都能够检测特定空间位置上视听信号之间的时空相关性。就像昆虫运动视觉中的Hassenstein-Reichardt检测器一样，这些单元通过一系列生物合理的时序滤波和基本运算来工作。

03

大规模验证：从人类到啮齿类

研究团队对该模型进行了大规模验证，涵盖了69个心理物理学、眼动追踪和药理学实验，包括534名人类参与者、110只大鼠和2只猴子的数据。

令人惊讶的是，这个仅需0-4个自由参数的模型，能够以平均超过0.97的相关性预测人类、猴子和大鼠在各种视听任务中的行为表现。无论是经典的McGurk效应（音素融合错觉）、腹语术效应，还是时间同步性判断，模型预测与真实行为数据都高度吻合。

04

应用前景：从神经科学到人工智能

这项研究的意义远不止于理论突破。MCD模型为多个领域带来了新的可能性：

神经科学研究：模型生成的动态群体响应可以直接与神经生理记录进行比较，为理解多感官整合的神经机制提供新视角。

人工智能与机器人：该模型为多模态机器学习提供了生物启发的解决方案，特别是在自监督学习场景中，可以减少对大量标注数据的依赖。

临床应用：通过模拟药物干预对时间感知的影响，该模型有助于理解神经递质系统在多感官处理中的作用。

05

重新思考「特殊处理」假说

一个有趣的发现是，该模型能够解释为什么语音刺激和非语音刺激在时间感知上存在差异。传统观点认为人类对语音有特殊的处理机制，但MCD模型表明，这些差异可能完全源于刺激本身的低层级特征差异，而非高级认知处理的不同。

同样，该模型还能解释音乐家与非音乐家在时间感知上的差异，以及年龄相关的多感官处理变化——这些效应都可以通过决策过程的调整来解释，而无需改变低层级的感知处理参数。

06

未来展望

尽管MCD模型在解释多感官整合的多个方面表现出色，研究者也承认其当前局限性。例如，该模型尚未包含语言机制或自上而下的预测过程，这些在语音感知中扮演重要角色。未来的研究将探索如何将这些高层次认知因素纳入框架。

这项研究不仅深化了我们对大脑多感官处理的理解，更重要的是，它展示了一种全新的研究范式——通过构建真正刺激可计算的模型，来弥合神经计算与行为之间的鸿沟。

或许在不久的将来，基于这类生物启发模型的人工智能系统，能够像人类一样自然地理解和响应这个多感官的世界。

这项研究已于2025年11月4日在《eLife》正式发表，相关代码和数据集已公开，为科学界进一步探索多感官感知提供了宝贵资源。

参考文献：Parise, C. V. (2025). Correlation detection as a stimulus computable account for audiovisual perception, causal inference, and saliency maps in mammals. eLife, 14, RP106122. https://doi.org/10.7554/eLife.106122

[免责声明]：本文所含部分信息与图片源自相关文献，其版权归属原作者所有。本公众号分享内容旨在学习交流，保持观点中立。如有发现侵犯您的权益，请后台联系编辑，我们会尽快删除相关侵权内容。

阅读最新前沿科技趋势报告，请访问欧米伽研究所的“未来知识库”

https://wx.zsxq.com/group/454854145828

未来知识库是“ 欧米伽 未来研究所”建立的在线知识库平台，收藏的资料范围包括人工智能、脑科学、互联网、超级智能，数智大脑、能源、军事、经济、人类风险等等领域的前沿进展与未来趋势。目前拥有超过8000篇重要资料。每周更新不少于100篇世界范围最新研究资料。 欢迎扫描二维码或访问https://wx.zsxq.com/group/454854145828进入。