网易首页 > 网易号 > 正文 申请入驻

单一作者论文,谷歌提出百万专家Mixture,超越密集前馈、稀疏MoE

0
分享至



机器之心报道

编辑:泽南、杜伟

释放进一步扩展 Transformer 的潜力,同时还可以保持计算效率。

标准 Transformer 架构中的前馈(FFW)层会随着隐藏层宽度的增加而导致计算成本和激活内存的线性增加。在大语言模型(LLM)体量不断增大的现在,稀疏混合专家(MoE)架构已成为解决此问题的可行方法,它将模型大小与计算成本分离开来。很多新兴的 MoE 模型都可以实现相同体量之上,更好的性能与更强大的表现。

最近发现的细粒度 MoE 扩展定律表明,更高的粒度可带来更好的性能。然而由于计算和优化方面的挑战,现有的 MoE 模型仅限于低数量专家。

本周二,Google DeepMind 的新研究引入了一种参数高效的专家检索机制,其利用乘积密钥技术从一百万个微型专家中进行稀疏检索



链接:https://arxiv.org/abs/2407.04153

该方法尝试通过用于路由的学习索引结构有效地串联到大量微小专家,从而将计算成本与参数计数分离。与密集的 FFW、粗粒度 MoE 和产品密钥存储器 (PKM) 层相比,表现出卓越的效率。

这项工作引入了参数高效专家检索(PEER) 架构(parameter efficient expert retrieval),利用产品密钥(product key)检索高效地路由到大量专家,将计算成本与参数量分离。这种设计在实验中展示了卓越的计算性能水平,将其定位为用于扩展基础模型的密集 FFW 层的竞争性替代方案。这项工作的主要贡献是:

极端 MoE 设置的探索:与以前的 MoE 研究中对少数大型专家的关注不同,这项工作研究了众多小型专家的未充分探索的情况。

用于路由的学习索引结构:首次证明学习索引结构可以有效地路由到超过一百万个专家。

新的层设计:将产品密钥路由与单神经元专家相结合,我们引入了 PEER 层,它可以扩展层容量而无需大量计算开销。实证结果表明,与密集 FFW、粗粒度 MoE 和产品密钥内存 (PKM) 层相比,其效率更高。

综合消融研究:我们研究了 PEER 的不同设计选择(例如专家数量、活动参数、头数量和查询批量规范化)对语言建模任务的影响。

方法介绍

本节中,研究者详解了参数高效专家检索 (PEER) 层,它一种混合专家架构,使用路由中的产品密钥和单神经元 MLP 作为专家。下图 2 展示了 PEER 层内的计算过程。







实验结果

我们首先来看在语言建模数据集上的评估结果。

在根据 isoFLOP 曲线确定每种方法的计算最优模型后,研究者在以下几个流行语言建模数据集上评估了这些预训练模型的性能:

  • Curation Corpus
  • Lambada
  • Pile
  • Wikitext
  • 预训练数据集 C4

下表 1 展示了评估结果。研究者根据训练期间使用的 FLOP 预算对模型进行了分组。可以看到,PEER 在这些语言建模数据集上的困惑度最低。



在消融实验中,研究者改变了专家总数量。下图 1 中 isoFLOP 曲线所示的模型都有超过一百万个(1024^2 )专家。



研究者选择了 isoFLOP 最优位置的模型,并改变了 PEER 层中的专家数量(N = 128^2、256^2、512^2、1024^2),同时保持活跃专家数量不变(h = 8,k = 16)。结果如下图 3 (a) 所示。

可以看到,isoFLOP 曲线在具有 1024^2 个专家的 PEER 模型和相应的密集主干之间进行插值,而无需用 PEER 层替换中间块中的 FFW 层。这表明,只需增加专家数量就可以提高模型性能。

同时,研究者改变了活跃专家的数量。他们系统地改变了活跃专家的数量(hk = 32、64、128、256、512),同时保持专家总数不变(N = 1024^2)。对于给定的 hk,研究者则联合改变 h 和 k 以确定最佳组合。下图 3 (b) 绘制了关于头数量 (h) 的 isoFLOP 曲线。



下表 2 列出了使用和不使用 BN 时不同数量专家的专家使用率和不均匀性。可以看到,即使对于 1M 个专家,专家使用率也接近 100%,并且使用 BN 可以使专家的利用率更加均衡,困惑度更低。这些发现证明了 PEER 模型在利用大量专家方面的有效性。



研究者还比较了有无 BN 的 isoFLOP 曲线。下图 4 显示,有 BN 的 PEER 模型通常可以实现较低的困惑度。虽然差异并不显著,但在 isoFLOP 最优区域附近差异最为明显。



作者介绍

PEER 研究只有一位作者 Xu He(Owen),他是 Google DeepMind 研究科学家,2017 年博士毕业于荷兰格罗宁根大学。



特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
浙江一市要“小心”了,被多个城市相中,有被“划分”的危险

浙江一市要“小心”了,被多个城市相中,有被“划分”的危险

暖心的小屋
2024-07-13 07:10:16
为什么现在领养孩子的越来越少?网友:你要相信遗传基因的强大

为什么现在领养孩子的越来越少?网友:你要相信遗传基因的强大

户外钓鱼哥阿勇
2024-06-22 01:07:44
别再用了!央视曝光4种致癌日用品,越便宜致癌物越多,你买过吗

别再用了!央视曝光4种致癌日用品,越便宜致癌物越多,你买过吗

荷兰豆爱健康
2024-07-12 11:10:26
亲家公突然去世,亲家母让我儿子抱骨灰盒,我果断拒绝了!

亲家公突然去世,亲家母让我儿子抱骨灰盒,我果断拒绝了!

娱乐洞察点点
2024-07-10 21:51:50
新华通讯社原社长,原文化部部长、国务院新闻办公室原主任朱穆之

新华通讯社原社长,原文化部部长、国务院新闻办公室原主任朱穆之

朗威游戏说
2024-07-10 14:50:52
只能拉球衣!武磊连停带趟高速启动,何宇鹏无奈拉拽领黄牌

只能拉球衣!武磊连停带趟高速启动,何宇鹏无奈拉拽领黄牌

直播吧
2024-07-12 20:58:34
戈兰高地开打,叙军越线激战以军坦克:为何以色列越来越不抗揍了

戈兰高地开打,叙军越线激战以军坦克:为何以色列越来越不抗揍了

青年的背包
2024-07-12 22:53:09
美国飞船泄露原因找到,可能和中印两国有关,美媒:波音真够丢脸

美国飞船泄露原因找到,可能和中印两国有关,美媒:波音真够丢脸

步论天下事
2024-07-13 10:00:02
笑死!汪小菲地铁被偷拍,网友吐槽:下半身姨味重!本人愤怒回怼

笑死!汪小菲地铁被偷拍,网友吐槽:下半身姨味重!本人愤怒回怼

七公子娱乐
2024-07-12 16:55:45
一个驻村书记的尴尬:半夜经常有人敲门,从风韵少妇到未婚大姑娘

一个驻村书记的尴尬:半夜经常有人敲门,从风韵少妇到未婚大姑娘

吴学华看天下
2023-07-02 11:10:00
最好的中国功夫游戏,居然是一帮法国人做的?丨次元军武

最好的中国功夫游戏,居然是一帮法国人做的?丨次元军武

军武次位面
2024-07-12 12:45:46
湖南2名高中生连杀7人,不放过孕妇,枪决前提一要求,所有人暴怒

湖南2名高中生连杀7人,不放过孕妇,枪决前提一要求,所有人暴怒

华人星光
2024-07-12 17:22:40
浙江男子捞出沉河15年的小车,打开车门傻眼:坐着2个男人

浙江男子捞出沉河15年的小车,打开车门傻眼:坐着2个男人

一个人讲故事
2024-05-30 19:44:33
浙南公务员收入就这样,请减少对基层公务员的偏见

浙南公务员收入就这样,请减少对基层公务员的偏见

华庭讲美食
2024-07-13 07:35:09
再见!洛杉矶!又签了!湖人还有机会吗?

再见!洛杉矶!又签了!湖人还有机会吗?

柚子说球
2024-07-12 12:39:35
选中国还是选美国?伊朗新总统终于对华亮明态度,瞬间引爆舆论

选中国还是选美国?伊朗新总统终于对华亮明态度,瞬间引爆舆论

男女那点事儿儿
2024-07-12 17:36:39
独家:单依纯独自去医院 头发凌乱扎着显潦草

独家:单依纯独自去医院 头发凌乱扎着显潦草

娱乐八卦木木子
2024-07-13 06:38:48
我国211大学前10强出炉:北邮稳居第1,西电第3,南理工成功入围

我国211大学前10强出炉:北邮稳居第1,西电第3,南理工成功入围

千城极
2024-07-11 23:03:14
汪小菲又曝大瓜:和孩子无法沟通!儿子睁眼就要钱,女儿张嘴要房

汪小菲又曝大瓜:和孩子无法沟通!儿子睁眼就要钱,女儿张嘴要房

西瓜爱娱娱
2024-07-11 10:03:46
身材好太吃亏!女生参加男女摔跤比赛动图流出:老司机看了都脸红

身材好太吃亏!女生参加男女摔跤比赛动图流出:老司机看了都脸红

经典段子
2024-07-12 22:34:00
2024-07-13 14:44:49
机器之心Pro
机器之心Pro
专业的人工智能媒体
9189文章数 141959关注度
往期回顾 全部

科技要闻

小米获得独立造车资质!北京小米将成历史

头条要闻

牛弹琴:新一届欧洲议会全体会议 欧尔班直接没被邀请

头条要闻

牛弹琴:新一届欧洲议会全体会议 欧尔班直接没被邀请

体育要闻

中国男篮好苗子 该如何兑现他的天赋?

娱乐要闻

亲妈太窒息,柳岩和卢昱晓对比太心酸

财经要闻

"挤水分"效应延续:M1、M2增速继续回落

汽车要闻

预计8月份正式上市 五菱星光S内饰细节曝光

态度原创

游戏
房产
艺术
手机
军事航空

10款拥有最佳剧情开放世界游戏:《大镖客2》仅第二

房产要闻

第七城新政!海南重大突破:非本省居民已购住房,可补办网签!

艺术要闻

穿越时空的艺术:《马可·波罗》AI沉浸影片探索人类文明

手机要闻

Redmi Turbo3夺冠,真我Neo6垫底,一加Ace 3V呢?

军事要闻

美国总统拜登称以色列和哈马斯均已同意停火框架

无障碍浏览 进入关怀版