网易首页 > 网易科技 > 网易科技 > 正文

一文看懂MoE的前世今生,大模型的未来它说了算?

0
分享至

出品|网易科技《态度》栏目

作者|薛世轩

编辑|丁广胜

所有的创新都有其现实驱动力。

在互联网巨头的世界,这一驱动力就是成本。

“降本增效”的逻辑贯穿着技术演进的始终,大模型架构也不例外。

目前,大模型的发展已经到了一个瓶颈期,包括被业内诟病的逻辑理解问题、数学推理能力等,想要解决这些问题就不得不继续增加模型的复杂度。

如何平衡大模型的训练难度和推理成本成为摆在各位玩家面前的难题。

MoE模型的日渐成熟为开发者们重新指引了前进的方向——通过改变模型底层架构,换一种耗能低且训练和推理效果好的模型架构进行大模型开发。

一、MoE的前世今生:老树又冒新芽

MoE(Mixture-of-Experts,专家混合),首次出现于1991年的论文Adaptive Mixture of Local Experts中,其前身是“集成学习”(Ensemble Learning),作为一种由专家模型和门控模型组成稀疏门控制的深度学习技术,MoE由多个子模型(即专家)组成,每个子模型都是一个局部模型,专门处理输入空间的一个子集。

“分而治之”的核心思想指导下,MoE 使用门控网络来决定每个数据应该被哪个模型去训练,从而减轻不同类型样本之间的干扰。

通俗来讲,MoE就像复仇者联盟,每个子模型(专家)都是一个超级英雄,门控网络则是尼克·弗瑞,负责协调各个超级英雄,决定在什么情况下召唤哪位英雄。门控网络会根据任务的特点,选择最合适的专家进行处理,然后将各位专家的输出汇总起来,给出最终的答案。

门控功能“稀疏性”的引入让MoE在处理输入数据时只激活使用少数专家模型,大部分专家模型处于未激活状态。换言之,只有擅长某一特定领域的超级英雄会被派遣,为用户提供最专业的服务,而其他超级英雄则原地待命,静待自己擅长的领域到来。这种“稀疏状态”作为混合专家模型的重要优势,进一步提升了模型训练和推理过程的效率。

一文看懂MoE的前世今生,大模型的未来它说了算?

MoE发展至今,离不开两个研究领域对其所做的巨大贡献:专家作为关键组件与条件计算。

前者让MoEs成为更深层次网络的组成部分,让MoEs可以灵活的作为多层网络中的某个层级存在,实现模型的大规模化与高效率并存;后者通过动态激活或关闭输入每一层级的数据从而实现数据的高效处理。

MoE的加入让整个神经网络系统就像一个大型图书馆,每层都有不同类型的书籍和专业的图书管理员,门控系统(图书馆的智能导引系统)会根据读者的不同需求,将他们引导至最合适的楼层(多层网络中的某一层级),而这一过程也不断根据数据特点进行实时动态处理。

一文看懂MoE的前世今生,大模型的未来它说了算?

MoE虽然能够高效地进行预训练并且在推理速度上超越密集型模型,但同时也面临一些挑战

稀疏专家模型领域的权威研究人员Barret Zoph、Irwan Bello等人指出,每个encoder(光栅)的专家虽然学习到了一部分token或简单的理论,但decoder(译码器)专家并没有展现出专业化的特征;专家虽训练了一个多语言模型,但是并没有发现某一个专家精通某种单一语言。

简言之,这也道出了目前MoE在微调过程中面临的泛化的困难以及可能出现的过拟合困境。

不过综合来看,大模型结合混合专家模型的方法属于老树发新芽,随着应用场景的复杂化和细分化,大模型越来越大,垂直领域应用更加碎片化,想要一个模型既能回答通识问题,又能解决专业领域问题,MoE无疑是一种性价比更高的选择。

二、拓展?颠覆?MoE与Transformer的“夺嫡之争”

Google于2017年在其论文Attention Is All You Need中首次提出了当下大火的大语言模型——Transformer:主要用于处理序列到序列(Seq2Seq)的任务。虽然它在长距离依赖捕捉与并行化处理等方面具有显著优势,但由于缺乏循环结构,使得要想通过Transformer训练AI大模型需要花费大量算力资源且耗时更长。

以GPT为例,其所使用的Transformer的解码器部分在训练过程中每天约消耗超50万度电力,训练成本更是以万亿美元为单位计数。如此巨额的开销自然不是追求“降本增效”的互联网公司所希冀的。

大模型底层架构的更新已势在必行。

搭载MoE架构的可持续新模型逐渐成为大模型开发者的新宠。

2023年12月,Mistral AI 开源了基于 MoE架构的模型Mixtral 8x7B,其性超越包括 GPT-3.5在内的众多参数更多的模型,显示了MoE架构在大模型研究中的潜力。

一文看懂MoE的前世今生,大模型的未来它说了算?

据NVIDIA高级研究科学家Jim Fan预测,经过训练的MoE大模型性能很有可能无限接近GPT-4。

不止于此,谷歌基于MoE架构成功开发了GLaM的语言模型;Snowflake采用MoE架构发布了大型语言模型Snowflake Arctic;昆仑万维发布的基于MoE架构的大语言模型“天工2.0/3.0”等等。

实践证明,MoE已经成为高性能AI大模型的必选项。

三、大模型的技术性创新:巨头发难下的无奈之举

AI大模型的迭代离不开高效的算力芯片,而英伟达的市场行为通常能够左右AI领域大模型开发者的策略。

奔走在大模型研发前线的开发者们深谙这一法则。所有鸡蛋不能放在同一个篮子里,既要提防英伟达“坐地起价”,又要着手开发能够进一步“降本增效”的大模型,将主动权重新掌握在自己手中。

这种策略是正确的。

2022年底,受禁售传闻等多因素叠加影响,英伟达中国特供版A100一周内涨价超30%,间接导致定制版A800价格飙升至10000美元以上。而随后发布的H100芯片更是在eBay上被炒到超4万美元一枚,且价格仍一路攀升。

高昂的芯片价格压的大模型公司喘不过来气,是继续承担激增的成本还是从大模型底层架构入手另寻他法成为他们必须进行的抉择。

毋庸置疑的是,他们善用技术,当资本与之抗衡时,技术就成为他们最有力的武器。

要想摆脱大模型训练与研发过程中可能存在的断档问题,开发者能做的只有通过大模型技术层面的持续破壁以对冲成本激增所带来的不稳定因素。

四、MoE:前路坦荡但也风雨交加

2017年,谷歌首次将MoE引入自然语言处理领域,通过在LSTM层之间增加MoE实现了机器翻译方面的性能提升。

2020年,Gshard首次将MoE技术引入Transformer架构中,并提供了高效的分布式并行计算架构。

2021年1月,谷歌的Swtich Transformer和GLaM则进一步挖掘MoE技术在自然语言处理领域中的应用潜力,实现了优秀的性能表现。

2021年6月,V-MoE将MoE架构应用在计算机视觉领域的Transformer架构模型中,同时通过路由算法的改进在相关任务中实现了更高的训练效率和更优秀的性能表现;

2022年,LIMoE作为首个应用了稀疏混合专家模型技术的多模态模型,模型性能相较于CLIP也有所提升。

2023年,Mistral AI发布的Mistral 8x7B模型由70亿参数的小模型组合起来的MoE模型,直接在多个跑分上超过了多达700亿参数的Llama 2。

2024年2月,昆仑万维正式发布了搭载新版MoE架构的大语言模型“天工2.0”,并面向全体C端用户免费开放。同年4月,“天工3.0”正式开启公测。

2024年4月,MiniMax 发布的基于万亿 MoE 模型的abab 6.5可以1秒内处理近3万字的文本,并在各类核心能力测试中接近GPT-4、Claude-3、 Gemini-1.5等世界上领先的大语言模型

……

MoE的征途仍在继续。

它自诞生以来便一路高歌,为大模型开发公司进一步“降本增效”的同时实现了大模型训练成本与训练效率之间的动态平衡。

但任何技术的普及与在地化应用从来并非坦途。

根植于MoE架构底层框架之上的训练复杂性、专家模型设计合理性、稀疏性失真、对数据噪声相对敏感等技术难关也都在制约着MoE架构在大数据模型中的发挥。

尽管AI领域的大模型开发者已经利用MoE架构成功研发了多款高效的大模型工具。但,任何技术都不可避免地掣肘于时代背景与现有知识框架,当新技术的发展触碰到了其自身所能达到的边界,这将会倒逼大模型开发者着眼于更开阔的路径,在创新与突破中实现大模型的技术革新与产品升级。

利用MoE,但不止于MoE。

本文系网易科技报道,更多新闻资讯和深度解析,关注我们。


延伸阅读
相关推荐
热点推荐
这一次,全国人民都知道深圳这件丑事了!

这一次,全国人民都知道深圳这件丑事了!

洞见青年
2024-05-26 17:13:44
台海这场军演,不亚于向太平洋扔了一颗核弹!

台海这场军演,不亚于向太平洋扔了一颗核弹!

讲者普拉斯
2024-05-25 18:43:42
妻子负气走进沙漠丈夫寻觅双双失联!青海警方连夜搜寻救出夫妻俩

妻子负气走进沙漠丈夫寻觅双双失联!青海警方连夜搜寻救出夫妻俩

红星新闻
2024-05-26 14:00:11
辽篮夺冠后第五天,俱乐部收到挑衅式赔偿要求,法院已经受理

辽篮夺冠后第五天,俱乐部收到挑衅式赔偿要求,法院已经受理

极度说球
2024-05-26 18:31:25
宁夏一考古队在考古调查时遭村民殴打 警方:双方或有误解,打人者被拘5日

宁夏一考古队在考古调查时遭村民殴打 警方:双方或有误解,打人者被拘5日

红星新闻
2024-05-26 19:30:13
中方重提开罗宣言,不到12小时俄表态:必要时强力维护二战成果!

中方重提开罗宣言,不到12小时俄表态:必要时强力维护二战成果!

三分亮剑
2024-05-24 19:00:10
张康阳发文告别国米:我没有准备好,可能永远也无法做好准备,这8年是我余生珍视的财富

张康阳发文告别国米:我没有准备好,可能永远也无法做好准备,这8年是我余生珍视的财富

鲁中晨报
2024-05-26 09:14:05
专家:燃油车禁止在市区行驶,全面转向新能源汽车发展共绘未来!

专家:燃油车禁止在市区行驶,全面转向新能源汽车发展共绘未来!

文迪科记
2024-05-25 10:23:17
中美俄战机数量差距断崖:美国13423架,俄罗斯4063架,中国多少

中美俄战机数量差距断崖:美国13423架,俄罗斯4063架,中国多少

莫将离
2024-05-24 22:59:09
致1死,涉险人多,性质恶劣,广东省对广州5·16火灾事故挂牌督办

致1死,涉险人多,性质恶劣,广东省对广州5·16火灾事故挂牌督办

中国基建报
2024-05-25 19:56:33
病情恶化,知名歌星落泪发布视频:我不会放弃

病情恶化,知名歌星落泪发布视频:我不会放弃

新民周刊
2024-05-25 18:15:44
突然宣布!两岸统一进入倒计时!

突然宣布!两岸统一进入倒计时!

华人星光
2024-05-24 15:06:16
毛晓彤求你别再整了!在《庆余年》里假体都要飞出来了,太吓人

毛晓彤求你别再整了!在《庆余年》里假体都要飞出来了,太吓人

谈娱新语
2024-05-24 22:23:27
杨石勇被取消洪派太极拳非遗传承人头衔,因“贪欲膨胀、狂妄任性”落马

杨石勇被取消洪派太极拳非遗传承人头衔,因“贪欲膨胀、狂妄任性”落马

澎湃新闻
2024-05-26 18:24:34
女单冠军诞生!陈幸同4-3神奇逆转王艺迪,奥运P卡错失赛点丢冠

女单冠军诞生!陈幸同4-3神奇逆转王艺迪,奥运P卡错失赛点丢冠

黑色柳丁
2024-05-26 21:24:47
央视给台湾艺人拉清单了!点名18位台湾艺人,立场模糊恐将被封杀

央视给台湾艺人拉清单了!点名18位台湾艺人,立场模糊恐将被封杀

拾娱先生
2024-05-25 19:35:09
毁我光刻机,灭你大飞机!中国开始反制

毁我光刻机,灭你大飞机!中国开始反制

智观科技
2024-05-24 23:34:56
每天不得超过3个电话,“催收国标”要来了?

每天不得超过3个电话,“催收国标”要来了?

中国新闻周刊
2024-05-26 13:12:56
突发!云南白药董事陈发树父子同时辞职,此前企业刚曝出“窝案”

突发!云南白药董事陈发树父子同时辞职,此前企业刚曝出“窝案”

红星新闻
2024-05-26 18:40:53
10名县委书记,任上被查

10名县委书记,任上被查

鲁中晨报
2024-05-26 21:42:24
2024-05-26 23:44:49

科技要闻

刘强东:只要拼搏公司永远不会辞退你

头条要闻

李强赴韩先后会见尹锡悦、岸田文雄 释放多个重要信号

头条要闻

李强赴韩先后会见尹锡悦、岸田文雄 释放多个重要信号

体育要闻

足总杯,红魔小鬼的成人礼

娱乐要闻

霍启仁求婚成功,郭晶晶要有妯娌了

财经要闻

李嘉诚,为何频频“打折卖楼”?

汽车要闻

底盘升级/首搭DM5.0混动技术 比亚迪秦L到店

态度原创

游戏
健康
旅游
时尚
数码

史上最强战棋游戏!早期的《火焰纹章》为何能成为神作?

在中国,到底哪些人在吃“伟哥”?

旅游要闻

外国游客对小笼包好奇,看了20分钟后问道…

伊姐周末热推:电视剧《狐妖小红娘月红篇》;综艺《魔方新世界》......

数码要闻

初代苹果 Siri 配音员揭秘:一开始为 Siri 配音没有报酬

无障碍浏览 进入关怀版
×