小米给大模型装上"一双耳朵"，空间音频理解首次开源

想象你正穿行在嘈杂的街道上，忽然有人喊你的名字。不必回头，你就可以本能地判断出声音来自哪个方向，还能大致估计出对方离你有多远，然后顺势转身，朝那个方向寻去。

人类听到的并不仅仅是"什么声音"，还包括"声音来自哪里"以及"声源与我处于怎样的空间关系"。双耳接收到的相位差和响度差，以及声波经过头部和耳廓反射、衍射后产生的细微变化，共同帮助我们感知声音的方向、距离和运动状态。

但对机器来说，理解声音背后的空间信息往往受到物理条件的制约，例如麦克风的数量、布局方式和设备形态等。因此，相较于识别语义内容，机器要准确感知声源的位置、距离和运动状态，无疑更具挑战性。

主流多模态大模型只有"一只耳朵"

近年来，大语言模型在语音、图像等多模态领域快速发展，空间智能也成为人工智能的重要方向。空间智能，是机器感知、理解和推理三维物理世界的能力，也是实现全场景智能生态的重要基础，为小米"人车家全生态"战略提供了重要技术支撑。

但现有主流多模态大语言模型大多只有"一只耳朵"，故无空间听觉能力。面对多声道音频，这些模型通常将各声道信号在声道维度上进行简单平均，将其转换为单声道输入，因而缺乏对空间信息的建模能力。

与此同时，多声道音频在格式和声道配置上存在较大差异，相关数据规模也远小于单声道音频。这不仅限制了模型的通用性，也使其难以通过统一的数据扩展实现规模化提升。

过去两年，小米先后发布并开源了声音基座模型 Xiaomi Dasheng 及声音理解大模型 MiDashengLM-7B。相关技术已在小米智能家居、汽车座舱等场景实现超过 30 项落地应用，能够对语音、环境声音和音乐进行统一感知与理解。

今天，小米带来 Dasheng 系列的重要新成员——MiDashengLM-Spatial。该模型以 MiDashengLM-7B 为基座，进一步为声音理解大模型赋予"一双耳朵"，使其不仅能够听懂声音的内容，还能感知声音来自何处、如何在空间中分布。据小米介绍，该模型是业界首个开源的端到端空间音频理解大模型，在保留基础音频理解能力的同时，具备空间感知与推理能力，推动音频大模型从"听懂声音"进一步迈向"理解声音所处的空间"。

双分支编码器：语义与空间各司其职

小米最终采用双分支音频编码器方案：利用规模远小于原始音频数据（超过 100 万小时）的双耳音频数据（约 1 万小时），在原有基座模型的基础上扩展空间理解能力，同时保持其通用音频理解性能。

Dasheng Semantic Encoder 完整继承原有的音频编码器，其骨干网络基于 Dasheng-Huge（0.6B）；Dasheng Spatial Encoder 则采用轻量化的 Dasheng-Base（86M）架构。两条分支结构同源，参数规模不同，分别负责提取音频的语义信息和空间信息。

两条分支通过跨层语义到空间特征注入的方式连接：语义分支不同层级的中间特征经映射后，逐层注入空间分支，与其特征进行融合。该连接方式使空间分支充分利用语义信息，增强对复杂空间声学场景中声源的感知、定位与分离能力；同时，单向注入不改变语义分支原有的信息流，从结构上保持模型通用音频理解能力的稳定性。

最终，两条分支分别生成音频语义 Token 和空间 Token，并通过特征映射统一融合为完整的音频 Token，供后续语言模型进行音频理解与空间推理。

空间音频理解不仅需要识别语音、环境声和音乐等基础内容，还需要感知声源的绝对位置、声源之间的相对空间关系，以及声源随时间发生的动态变化。因此，空间与时序信息的联合建模至关重要。

尽管公开音频资源十分丰富，且各类声音已得到系统性收集，但现有数据格式复杂多样，并以单声道音频为主，能够支持空间音频理解的数据仍十分稀缺。为此，小米基于头相关传递函数与虚源法模拟不同室内声学环境，合成时长约 1 分钟的双耳音频场景，包含多个静态或动态声源。

每个声源的语义描述继承自原始单声道数据，其空间位置、运动轨迹和时序变化则由参数化合成过程精确记录。基于这些结构化元数据，团队进一步利用 LLM 生成场景级空间音频描述，构建同时覆盖声音内容、时空关系与动态变化的训练数据。

空间能力登顶，基础能力不降

已有研究表明，部分音频理解基准对真实音频能力的要求有限：即使仅依赖语言先验和世界知识，将原始音频替换为高斯噪声，甚至完全屏蔽音频信号，LLM 仍可能取得较高分数。空间音频理解类基准测试也同样发现类似现象，例如，图中所示的单声道音频理解模型在空间相关任务上的表现均明显高于随机猜测水平。

因此团队引入声道轮换（左右声道交换）策略，以进一步检验模型是否真正具备空间听觉能力。对于双耳音频，声源的左右定位线索通常编码在相位差和响度差中。若声源位于左侧，交换左右声道后，其空间位置应相应映射到右侧，模型的判断也应随之发生变化。

基于该特性，团队选取问答数据中仅涉及左右方向判断的样本，分别评估模型在声道轮换前后的表现，包括预测是否符合空间变化规律，以及交换前后均答对的全正确率。相比单次问答准确率，该指标能够更有效地检验模型是否真正利用双耳声学线索进行空间理解，而非依赖语言先验或数据偏差作答。

该模型的空间音频编码器是其空间感知与理解能力的核心。在真实场景声源定位数据集上，该空间音频编码器展现出优异的定位性能，并超越多种专业空间声源定位模型。

在音频问答、语音识别和音频描述等基础音频理解任务上，该模型的表现与基座模型基本持平，并在部分基准测试中取得更优成绩。这一优势得益于其双分支音频编码器架构：在模型结构上解耦音频的语义信息与空间信息，在拓展空间理解能力的同时，保持了原有基础的音频理解性能。

在线体验与全面开源

小米还提供了 4 条双耳音频示例，涵盖方位判断、轨迹追踪、相对位置关系与空间说话人推理，用户佩戴耳机即可亲耳验证模型的空间感知力。

小米拥有丰富而多元的硬件生态，产品在真实物理空间中与用户持续交互，因此不仅需要"听见"声音，更需要感知并理解声音所处的空间。作为小米"人车家全生态"战略的重要技术支撑，该模型为 LLM 赋予了空间听觉能力，助力提升模型在复杂用户场景中的理解与泛化能力。

在经典的"鸡尾酒会"场景中，模型可以利用不同说话人的空间方位线索，增强复杂声学环境下的语音识别与语义理解能力，提升说话人日志的准确性与鲁棒性；在家庭场景中，模型不仅能够理解家庭成员"说了什么"，还能结合声源的方向与距离判断"用户在哪里"，进而帮助系统调度附近的智能终端就近响应，推动小爱同学从被动接收指令走向主动感知与服务；在自动驾驶场景中，模型可以利用环境声音的方向信息，辅助弥补视觉盲区，及时识别潜在风险，提升车辆主动安全能力；在机器人等场景中，该模型则进一步补足音频模态的空间智能能力，为机器感知、理解并响应真实三维环境提供新的技术路径。

今天，MiDashengLM-Spatial 正式开源。小米将完整公开模型权重和推理代码，并以 Apache 2.0 许可证发布，诚邀全球开发者、行业伙伴和学术机构将其免费用于商业产品集成或学术研究。同时，该模型也将陆续应用于小米智能家居、汽车座舱等场景，以空间听觉能力进一步提升"人车家全生态"的交互体验。