网易首页 > 网易号 > 正文 申请入驻

从零手搓MoE大模型,大神级教程来了

0
分享至

克雷西 发自 凹非寺
量子位 | 公众号 QbitAI

传说中GPT-4的“致胜法宝”——MoE(混合专家)架构,自己也能手搓了!

Hugging Face上有一位机器学习大神,分享了如何从头开始建立一套完整的MoE系统。



这个项目被作者叫做MakeMoE,详细讲述了从注意力构建到形成完整MoE模型的过程。

作者介绍,MakeMoE是受到OpenAI创始成员Andrej Karpathy的makemore启发并以之为基础编写的。

makemore是一个针对自然语言处理和机器学习的教学项目,意在帮助学习者理解并实现一些基本模型。

同样,MakeMoE也是在一步步的搭建过程中,帮助学习者更深刻地理解混合专家模型。



那么,这份“手搓攻略”具体都讲了些什么呢?

从头开始搭建MoE模型

和Karpathy的makemore相比,MakeMoE用稀疏的专家混合体代替了孤立的前馈神经网络,同时加入了必要的门控逻辑。

同时,由于过程中需要用到ReLU激活函数,makemore中的默认初始化方式被替换成了Kaiming He方法。



想要创建一个MoE模型,首先要理解自注意力机制。

模型首先通过线性变换,将输入序列变换成用查询(Q)、键(K)和值(V)表示的参数。

这些参数随后被用于计算注意力分数,这些分数决定了在生成每个token时,模型对序列中每个位置的关注程度。

为了确保模型在生成文本时的自回归特性,即只能基于已经生成的token来预测下一个token,作者使用了多头因果自注意力机制。

这种机制通过一个掩码来实现将未处理的位置的注意力分数设置为负无穷大,这样这些位置的权重就会变为零。

多头因果则是让模型并行地执行多个这样的注意力计算,每个头关注序列的不同部分。



完成自注意力机制的配置后,就可以创建专家模块了,这里的“专家模块”是一种多层感知器。

每个专家模块包含一个线性层,它将嵌入向量映射到一个更大的维度,然后通过非线性激活函数(如ReLU),再通过另一个线性层将向量映射回原始的嵌入维度。

这样的设计使得每个专家能够专注于处理输入序列的不同部分,并通过门控网络来决定在生成每个token时应该激活哪些专家。



于是,接下来就要开始构建分配和管理专家的组件——门控网络。

这里的门控网络同样是通过一个线性层实现,该层将自注意力层的输出映射到专家模块的数量。

这个线性层的输出是一个分数向量,每个分数代表了对应专家模块对于当前处理的token的重要性。

门控网络会计算这个分数向量的top-k值并记录其索引,然后从中选择top-k个最大的分数,用来加权对应的专家模块输出。



为了在训练过程中增加模型的探索性,作者还引入了噪声,避免所有token都倾向于被相同的专家处理。

这种噪声通常通过在分数向量上添加随机的高斯噪声实现。



获得结果后,模型有选择地将前k个值与相应token的前k个专家的输出相乘,然后相加形成加权和,构成模型的输出。

最后,将这些模块在一起,就得到一个MoE模型了。

针对以上的整个过程,作者都提供了相应的代码,可以到原文中具体了解。

另外,作者还制作了端到端的Jupyter笔记,可以在学习各模块的同时直接运行。

感兴趣的话,就赶快学起来吧!

原文地址:
https://huggingface.co/blog/AviSoori1x/makemoe-from-scratch
笔记版本(GitHub):
https://github.com/AviSoori1x/makeMoE/tree/main

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
史诗级交易,浓眉空降,伦纳德联手詹姆斯,哈登钦点,双赢!

史诗级交易,浓眉空降,伦纳德联手詹姆斯,哈登钦点,双赢!

刺头体育
2024-06-20 21:27:44
估值217亿!公司成立仅一年,阿里、腾讯抢着送钱,只因老板是他

估值217亿!公司成立仅一年,阿里、腾讯抢着送钱,只因老板是他

毒sir财经
2024-06-20 20:20:51
皇马震怒,干涉法国计划!不满姆巴佩推迟手术,勒令其连休2场!

皇马震怒,干涉法国计划!不满姆巴佩推迟手术,勒令其连休2场!

风过乡
2024-06-20 07:22:07
惊!悄无声息的055“大连舰”现身菲律宾沿岸,疑似进入12海里

惊!悄无声息的055“大连舰”现身菲律宾沿岸,疑似进入12海里

武器纵论
2024-06-20 22:35:53
10名农妇,搭上致命冷藏车

10名农妇,搭上致命冷藏车

澎湃新闻
2024-06-19 14:22:32
浙江强降水落区有变!明起高温扩大,冲至36℃再猛降

浙江强降水落区有变!明起高温扩大,冲至36℃再猛降

鲁中晨报
2024-06-20 18:47:11
余琦事件反转,大喊使馆车随便停的男子,故意炒作,以偏概全

余琦事件反转,大喊使馆车随便停的男子,故意炒作,以偏概全

妮子说美食
2024-06-20 21:37:01
刚官宣二胎,现在就离了?

刚官宣二胎,现在就离了?

听风听你
2024-06-20 22:05:03
6月第2周新能源销量排行,比亚迪断崖式领先,宝马大幅反超特斯拉

6月第2周新能源销量排行,比亚迪断崖式领先,宝马大幅反超特斯拉

财经老庄
2024-06-20 23:51:10
徐杰赵继伟同时现身泰国机场,对球迷待遇却不一!前者让人寒心!

徐杰赵继伟同时现身泰国机场,对球迷待遇却不一!前者让人寒心!

篮球资讯达人
2024-06-21 00:05:16
中国人是地球Gai溜子。网友分享真实经历,不要太离谱

中国人是地球Gai溜子。网友分享真实经历,不要太离谱

开玩笑的水母
2024-06-19 18:26:24
“女子被困精神病院超10年”追踪:现已出院并找到工作,社区干部称其父一直有交生活费

“女子被困精神病院超10年”追踪:现已出院并找到工作,社区干部称其父一直有交生活费

红星新闻
2024-06-20 19:00:30
国家社科基金项目成果:男人阴茎越短,智商越高

国家社科基金项目成果:男人阴茎越短,智商越高

必记本
2024-06-19 01:09:57
养老金上涨幅度降至3%,上海今年方案会因此发生哪些变化?

养老金上涨幅度降至3%,上海今年方案会因此发生哪些变化?

没用过狗
2024-06-19 22:51:28
阿不都沙拉木亮相巴黎,时装走秀力压欧美模特,可球迷不买账了!

阿不都沙拉木亮相巴黎,时装走秀力压欧美模特,可球迷不买账了!

疯子谈体育
2024-06-20 16:07:31
一分都不能少!TA记者:绿军必须提供4年1.27亿才能提前续约怀特

一分都不能少!TA记者:绿军必须提供4年1.27亿才能提前续约怀特

直播吧
2024-06-20 22:53:09
重大宣布:降息!

重大宣布:降息!

券商中国
2024-06-20 19:03:18
股汇双杀!在岸、离岸人民币汇率跌至去年11月新低,港、A股全线飘绿

股汇双杀!在岸、离岸人民币汇率跌至去年11月新低,港、A股全线飘绿

格隆汇
2024-06-20 12:48:04
王思聪终于回复黄一鸣,网友:确实是他的风格

王思聪终于回复黄一鸣,网友:确实是他的风格

菠萝小九
2024-06-18 12:40:43
2013年深圳杀妻案:整座楼没人居住,为何存在如此严重的后遗症?

2013年深圳杀妻案:整座楼没人居住,为何存在如此严重的后遗症?

青丝人生
2023-10-24 20:41:26
2024-06-21 07:04:49
量子位
量子位
追踪人工智能动态
9556文章数 175386关注度
往期回顾 全部

科技要闻

小米SU7流量泼天,富贵却被蔚来接住了

头条要闻

欧洲杯:西班牙1-0意大利提前出线

头条要闻

欧洲杯:西班牙1-0意大利提前出线

体育要闻

千夫所指的关系户 成了拯救葡萄牙的英雄

娱乐要闻

叶舒华参加柯震东生日聚会,五毒俱全

财经要闻

楼市新“王炸”!释放何信号?

汽车要闻

售价11.79-14.39万元 新一代哈弗H6正式上市

态度原创

手机
本地
数码
时尚
公开课

手机要闻

6100mAh!一加「冰川电池」发布/微信与鸿蒙系统将谈拢

本地新闻

2024·合肥印象|用崭新视角对话城市发展

数码要闻

机械革命极光 X 外观曝光:屏幕“大下巴”消失,性价比之作

当男人不耍帅时,就是最帅的时候(穿衣篇)

公开课

近视只是视力差?小心并发症

无障碍浏览 进入关怀版