3分钟带你看懂MoE混合专家模型

有了解Scaling Law定律的朋友，也可能经常听到“MoE”这个关键词。

事实上，近年来，MoE正成为人工智能界备受瞩目的存在，很多主流的大模型产品比如OpenAI的GPT-4、谷歌的Gemini、Mistral AI的Mistral、xAI的Grok-1等，据说都基于MoE架构。

话说回来，到底什么是MoE？MoE为何越发受业内关注？它有怎样的特点？

如果你也好奇，下面不妨跟随司普科技1号解说员小司一起来看看。

什么是MoE？

MoE英文全称是Mixture of Experts，翻译过来就是：混合专家。应用在大模型领域，经常以MoEs（英文全称：Mixed Expert Models，又被译为混合专家模型、稀疏专家混合模型、稀疏混合专家语言模型）的形态出现。

在业内，MoE被人们称为一种基于神经网络领域开发的集成学习技术和机器学习方法，也被视为眼下热门的大模型架构之一。

它最早于1991年被Robert A. Jacobs等人提出，早期被应用于计算机视觉领域，目前在自然语言处理领域也备受推崇。

从表面看，MoE之所以被称为（稀疏）混合专家模型，是因为MoE和其他模型架构相比，能集成多个专家模型，大幅提升大模型在各个细分领域的专业能力。

而“稀疏”，既是基于MoE不同于稠密模型（英文全称：Dense Model，也有人称为密集模型）的稀疏架构，也因为MoE采用了稀疏的门控机制，输入数据的处理任务只需要集中在少量最有关联的专家模型上，不需要激活全部的专家模型。

这种选择性地仅激活给定任务所需的特定专家的方式，使得MoE实际需要处理的数据、用到的专家（或参数）显得稀疏。不过也正因为这点，为MoE大幅降低预训练计算成本、提升推理性能创造了可能。

MoE为何备受业内关注？

一直以来，遵循Scaling Law定律，以更大的模型参数、数据量、算力，实现大模型性能的持续提升，被视为模型进阶的关键。

可是随着模型容量、算力、数据等面临越来越多的瓶颈，如何在有限的计算资源和预算下，提升计算效率与速度，优化模型性能，成了绕不开的话题。

比如据Villaloboset al等国际机构分析：

除非数据利用率得到显著提升或出现可替代的数据源，高质量的语言数据或很快在2026年耗尽，低质量的语言数据和图像数据的消耗尽管更久，但也将在2030-2060年面临耗尽风险。

模型训练成本方面，据不完全统计，主流的训推一体机价格可达百万，大模型单次的训练成本可达千万，头部的大模型产品比如谷歌的Gemini Ultra，训练成本更是超过1.9亿美元。

在高计算资源投入和高计算要求的背景下，通过改变模型底层架构，实现低成本和高效推理很快成了很多大模型厂商主动或被动的选择。而MoE在某种程度上恰好满足了这一需求。

和稠密模型（Dense Model）每次模型运行要激活所有参数不同，MoE模型只需要激活必要的参数来处理输入的数据，减少主动计算需求的同时，使得计算成本得以大幅降低，推理性能也有所改善。

又因为MoE倾向于选择性激活给定任务所需的少量专家，不需要每项任务都激活整个神经网络，所以在增加模型容量（模型参数）时，不会相应增加训练和运行模型所需的计算负担，所以能同步降低训练成本。

在媒体的报道中，混合专家模型相比稠密模型，能在不牺牲精度的前提下将计算成本降低 2-4倍，而且在受限场景中的使用也很高效。

另外，在大多数情况下，当稠密模型的大小增加1倍，运行速度可能降低约50%。而混合专家模型能在不增加运行时间的情况下创建更大的模型，算力有所减少，模型性能却能不受影响。

以上几点很快促使其成为业内备受追捧的对象，也成了GPT-4、司普AGI等底层模型及大模型应用热衷采用的模型架构。

MoE有哪些优劣势？

就优点而言，上面说了很多，总结下来就是：

1、专员出动，不用全员出动。具体表现在和稠密模型相比，MoE对输入数据的处理存在稀疏门控网络，只会激活最适合的专家模型，不需要全部激活。

2、预训练所需成本低、速度快。因为疏松模型的“体质”，在相同的计算资源条件下，混合专家模型的推理成本更低，而且能更快达到和稠密模型相同的质量水准。

3、扩展性好。稠密模型成就了大模型的通用能力，但它的扩展性有限，而且伴随着模型参数规模的增加，训练成本还会激增。

而MoE能在计算成本相对不变的条件下，极大扩展模型容量和数据集规模，改善模型性能，这在很大程度上满足了“降本提效”的时代需求。

此外，有研究表明：在处理高维数据上，稀疏模型也显得更有优势。

虽然MoE在很多方面表现出极大的优势，但依然存在一定的挑战。

比如MoE不需要激活全部专家模型，但需要把所有专家模型加载在内存，GPU显存压力其实也不小。

MoE和同参数量的稠密模型相比，训练和推理更快，但效果可能不佳（有研究表明：MoE 模型通常需要2-4 倍的参数量才能达到与稠密模型相当的性能）。

虽然稀疏模型有后来居上的趋势，但MoE的专家能力依然离不开稠密模型的加持。随着模型规模扩大或复杂性增长，MoE同样存在功能减弱、训练不稳定、过拟合等问题。

另外，模型的稀疏性通常通过门控函数来实现计算，如果强制执行条件计算的门控网络设计不佳，也可能制约MoE模型对特定输入和关联专家模型的激活。

基于以上情况，为了发挥MoE的优势，同时缓解相应的不足，谷歌DeepMind、奥地利科学技术研究所、IBM Watson AI Lab、北京大学、微软亚洲研究院（排名不分先后）等国内外人工智能研究机构和学府，提出了Soft MoE、QMoE、MoE-LLaVA、JetMoE-8B、MOLE等新型MoE模型，以解决其目前面临的技术挑战。

以上就是今天的分享，希望有用~

备注：本文原创，首发司普科技，有参考《大语言模型：基础与前沿》、Machinelearningmastery、aman.ai、IBM、甲子光年等，仅做分享。