解码智能架构：Neel Somani 解读模型路由背后的数学原理

Neel Somani 是一位兼具研究背景与创业经验的技术专家，在量化金融与密码学领域拥有深厚积累。作为加州大学伯克利分校数学、计算机科学与商业三专业毕业生，他曾任职于 Citadel 和 Airbnb，并创立 Eclipse Labs。这样的经历，使他能够从理论数学与工程实践交汇的角度，拆解复杂系统背后的逻辑。

在近期的一项分析中，Somani 聚焦于使超大规模模型能够高效运行的“路由机制”，包括 Mixture-of-Experts（MoE，专家混合模型）与 Expert Choice（专家选择机制）。通过解析这些架构的数学基础，可以更清晰地理解下一代人工智能系统在效率与稳定性之间所面临的关键权衡。

Mixture-of-Experts 的重新崛起

Mixture-of-Experts（专家混合模型）并非新概念，其理论源头可追溯至 1991 年 Jordan 与 Jacobs 的研究成果。

这一架构的工程动机相对直观：与传统“单体模型”不同，后者在每一次计算中都会调用全部参数，MoE 将模型拆分为多个“专家”子网络。系统中的路由器（Router）根据不同专家对特定输入 token 的“置信度”，计算加权输出结果。

Neel Somani 指出，尽管理论框架优雅清晰，但在实际工程落地时却面临现实难题。如果简单地让每个 token 都评估所有专家以计算概率分布，那么计算开销将抵消原本的效率优势。

因此，实际系统往往采用“Top-1 Gating”机制：计算概率后，仅选择得分最高的专家，其余专家不参与本次计算，从而实现稀疏激活。

“模型坍缩”的数学难题

在 Top-1 Gating 机制下，一个关键问题出现在反向传播过程中。

Somani 指出，对于专家网络本身，梯度传递相对直接；但对于路由器参数而言，情况更为复杂。由于系统使用了“argmax”函数来选择最高分专家，而该函数在数学上不可微分，这会给梯度优化带来挑战。

更严重的问题是所谓的“模型坍缩”。

在这种情况下，路由器在训练早期便偏向少数几个专家。这些专家持续获得训练数据并不断优化，而其他专家几乎得不到更新信号，逐渐“退化”。结果是模型中大量参数形同虚设，整体资源利用率下降。

为解决这一问题，研究人员必须引入可微分的惩罚项，鼓励专家之间的负载更加均衡。虽然直观上可以通过正则化使 token 分配更均匀，但标准方法往往在数学上面临梯度为零的困境，难以有效优化。

因此，需要更复杂的统计工具。Somani 解释称，可以使用 “Gumbel Max Trick” 技术，使采样过程可微，从而在数学上更严谨地最小化变异系数。

不过，他也指出，在实际工程中，现代系统往往不追求理论上的绝对优雅，而是采用更简单的辅助损失函数作为近似替代。尽管这种方法在统计意义上不如 Gumbel 方法严密，但在实践中效果显著，能够有效防止个别专家垄断路由资源。

Expert Choice：反转选择逻辑

在 MoE 架构中，是 token 选择专家。而 Somani 进一步介绍了另一种思路——Expert Choice（专家选择机制）。

该方法针对 MoE 的一个现实问题：部分专家过载，而另一些专家空闲。

在大规模推理环境中，例如谷歌级别的基础设施，系统优先考虑的是资源利用率与稳定性，而非单次路由的绝对最优性。

Expert Choice 颠覆了选择逻辑：不再由 token 选择专家，而是由专家主动选择 token。每个专家被分配固定数量的 token 预算，然后选择与自身匹配度最高的输入。

Somani 认为，这种方式有效解决了 MoE 中固有的负载均衡问题。通过固定预算机制，系统能够保证所有专家均处于工作状态，并保持可预测的延迟表现。这对于企业级应用尤为重要。

在这种架构下，路由器的梯度计算反而变得更加简单。系统无需对 Top-K 操作进行复杂求导，梯度只需在被选中的 token 概率路径上传播。

高效智能的未来方向

Somani 的分析为理解大型语言模型内部的“黑箱”机制提供了清晰视角。他指出，人工智能的进步，并不仅仅依赖算力堆叠，更依赖于如何通过统计方法与架构设计，提高算力利用效率。

无论是 MoE 的概率路由机制，还是 Expert Choice 的资源管理策略，其目标一致：构建“稀疏激活、密集智能”的系统。

Somani 还提到，行业正在迈向更加激进的稀疏架构。例如 Mixture-of-Depths（MoD）模型，不仅决定使用哪一个子网络，还可以决定 token 在 Transformer 中经过哪些层。

随着这些技术逐步成熟，能够在高层理论与底层工程之间建立桥梁的研究者，将在企业级 AI 的持续演进中发挥关键作用。