网易首页 > 网易号 > 正文 申请入驻

从零复现Llama3代码库爆火,大神Kapathy一键三连,GitHub狂揽2k+

0
分享至

西风 发自 凹非寺
量子位 | 公众号 QbitAI

让大神Andrej Karpathy一键三连❤️(点赞+转发+评论),一个教你从头开始实现Llama3的代码库爆火。

X上转赞收藏量超6.8k,GitHub揽星2k+。



火就火在,它教你从头用Meta开源的权重进行推理,详细解释和展开了注意力机制中多个头的矩阵乘法、位置编码以及所有中间层

换句话说,他解释了每行代码都在干啥。



Karpathy看后直呼打造者Nishant Aklecha(后文暂称“纳哥”)是个有品的人:



完全展开后,比起模块相互嵌套和调用时,更容易理解每一步具体在做什么。



网友们对其也是赞不绝口,纷纷致敬:







话不多说,一起来看纳哥是如何手把手教的。

(量子位在不改变原意的基础上,进行了编译整理)

从头实现llama3

在运行纳哥提供的文件前,大伙儿需要预先下载Meta官方提供的Llama3模型权重。



纳哥表示自己没搞分词器,推荐用Karpathy的现成简洁版BPE代码。





PS:

“字节级(byte-level)”BPE算法,在UTF-8编码的字符串上运行,广泛应用于大模型分词。Karpathy提供的这个代码库包含两个分词器,都能在给定文本上训练分词器的词汇表和合并规则、将文本编码为token、将token解码为文本。



读取模型文件的方式通常取决于model classes的编写方式以及class中变量的命名。但由于纳哥是从头开始实现Llama3,所以将逐个张量地读取文件内容。





通过此配置可以推断出模型的结构和参数信息,例如模型包含的Transformer层数、多头注意力块中的头数,以及词汇表的大小等细节。



将文本转换为token时,纳哥使用tiktoken作为分词器。





接下来,纳哥展示了在代码中将token转换为高维的嵌入表示。这是代码库中唯一使用内置神经网络模块的部分。

[17x1]的token矩阵变成了[17x4096]的嵌入矩阵。也就是说,每个token被转换为一个长度为4096的嵌入向量,总共有17个这样的嵌入向量。





然后,纳哥对嵌入进行RMS归一化。经过这一步后,嵌入的形状不会改变,只有数值被归一化了。纳哥强调需要一个norm_eps,避免意外将RMS值设为0导致除以0的错误。

以下是公式:





构建Transformer的第一层,进行归一化处理,从模型字典中访问layer.0(即第一层)。归一化之后,张量的形状仍然是[17x4096],与嵌入时相同,但数值已被归一化。





跟着纳哥从头实现注意力机制,加载Transformer第一层的注意力头。

从模型中加载query、key、value和output向量时,它们的形状分别是 [4096x4096]、[1024x4096]、[1024x4096] 和 [4096x4096]。

纳哥表示乍一看有点奇怪,因为理想情况是每个注意力头的q、k、v和o向量是独立的。而代码作者将它们捆绑在一起,是为了方便并行计算注意力头的矩阵乘法。

把所有这些向量解包开来:





下一步,纳哥将从多个注意力头中解包query,解包后的形状是[32x128x4096],32是Llama3中的注意力头数量,128是query向量的大小,4096是token嵌入的大小。



在这里,纳哥访问了第一层第一个注意力头的query权重矩阵,query权重矩阵的大小是[128x4096]。



将query权重矩阵与token嵌入相乘,获得每个token的query向量。结果的形状为[17x128],有17个token,每个token对应一个长度为128的query向量。





接下来需要位置编码。

现在已经为prompt中的每个token生成了query向量,但每个单独的query向量并不知道它在prompt中的具体位置。

例如,query:“the answer to the ultimate question of life, the universe, and everything is ”(生命、宇宙和一切的终极问题的答案是)。

在这个prompt中,使用了三次”the”,需要根据它们在prompt中的位置,使这三个”the”token的query向量有所不同(每个向量的大小为[1x128])。

通过使用RoPE(旋转位置嵌入)来进行这些旋转操作。





上一步中,纳哥将query向量分成对,并对每一对应用一个旋转角度偏移。

由此,得到的向量大小为 [17x64x2],这是将长度为128的query向量对每个prompt中的token分成64对。这64对中的每一对都会根据m*(theta) 进行旋转,其中m是要旋转query的token的位置。



使用复数的点积来旋转一个向量:









现在每个token的query元素都有一个复数(角度变化向量),可以将query向量(之前分成的对)转换为复数,然后通过点积根据位置旋转query向量。



获得旋转后的向量后,可以通过将复数重新视为实数来得到成对的query向量。



旋转后的对现在已经合并,有一个新的query向量(旋转后的query向量),其形状为[17x128],其中17是token的数量,128是query向量的维度。



key与query几乎相同。



纳哥表示自己不会详细讲解key的数学原理,只需要记住以下几点:

key生成的key向量维度也是128;key的权重只有query的四分之一,这是因为key的权重在同一时间内被4个头共享,来减少计算量;key也会旋转添加位置信息,原因与query相同。





此时,纳哥已经为每个token获得了旋转后的query和key。每个query和key现在的形状都是[17x128]。



下一步,纳哥将对query矩阵和key矩阵进行相乘操作。这样做会生成一个评分矩阵,将每个token关联起来。这些评分描述了每个token的query与每个token的key之间的相关性,这就是自注意力机制。

注意力评分矩阵(qk_per_token)的形状为[17x17],其中17是prompt中的token数量。





接下来需要对query key评分进行掩码处理。在Llama3的训练过程中,未来token的qk评分是被掩码的,只通过过去的token来预测token。

因此,在推理时,要将未来的token评分设置为0。

















接下来是value,接近注意力机制的最后一步。



这些评分(0-1)用于确定每个token使用多少value矩阵。

和key一样,value的权重也在每4个注意力头之间共享,所以下面value权重矩阵的形状是[8x128x4096]。



第一层,第一个注意力头的value权重矩阵如下所示:



然后是value向量。



使用value权重来获取每个token的注意力值,矩阵的大小是[17x128],其中17是prompt中的token数量,128是每个token的value向量的维度。



注意力:与每个token的value相乘后得到的注意力向量的形状为[17x128]。





现在有了第一层第一个头的注意力value。然后纳哥运行一个循环,对第一层的每个头执行与上面的计算完全相同的数学运算。





然后得到了第一层所有32个头的qkv_attention矩阵,接下来将所有注意力得分合并成一个大小为[17x4096]的大矩阵。





对于第0层注意力机制的最后步骤,其一是将注意力得分矩阵与权重矩阵相乘。





这是一个简单的线性层,所以只需进行矩阵乘法。





现在得到了注意力机制后的嵌入value变化,应该被添加到原始的token嵌入中。



对嵌入增量进行归一化处理,然后通过嵌入增量运行一个前馈神经网络。





在Llama3中,加载前馈权重并实现前馈网络。使用了一种名为SwiGLU的前馈网络,这种网络结构在模型需要的时候,能够有效地增加非线性。





现在完成了第一层之后每个token的新嵌入。现在只剩下31层了,只需通过一个循环来完成。

纳哥表示可以将这个编辑后的嵌入想象成包含了第一层中所有查询信息的嵌入。随着层数的增加,每一层都会对输入的信息进行越来越复杂的处理,直到最终得到一个能够全面了解下一个需要预测的token的嵌入。



之前做的所有事情,对每一层都重复一次。





然后得到了最终的嵌入,这是模型对下一个token的最优预测。这个嵌入的形状与常规的token嵌入相同,为[17x4096],其中17是token的数量,4096是嵌入的维度。





最后,将嵌入解码成token值。



使用输出解码器将最终的嵌入转换成一个token。



接下来看纳哥使用最后一个token的嵌入来预测下一个value,希望预测的结果是42。

因为根据《银河系漫游指南》一书中的说法,42是“生命、宇宙及一切的终极问题的答案”。大多数LLM在这里都会回答42,这将验证整个代码的正确性。



模型预测下一个token的编号为2983。这个编号对应数字42吗?







OK,结束。

“让研究变得更加触手可及”

简单介绍一下Nishant Aklecha。



Nishant Aklecha是构建和改进定制语言模型平台Glaive AI的研究员,曾任职于摩根士丹利,负责训练和微调大语言模型。



此外,他还和朋友一同创立了一个研究实验室,名为A10(AAAAAAAAAA)。



他们的目标可以总结成一句话:让研究变得更加触手可及。



除了放出这个代码库,Nishant Aklecha可谓好人做到底。

网友想更好地理解这个代码库的内容,Nishant直接一个YouTube视频甩了过来:



之前Nishant Aklecha还曾写过一篇Blog,详解了潜在一致性模型(LCM),同样收获了不少好评。



啥也不说了,感兴趣的家人们赶紧码住吧。



GitHub链接:https://github.com/naklecha/llama3-from-scratch

参考链接:
[1]https://x.com/naklecha/status/1792244347225641338
[2]https://naklecha.notion.site/explained-latent-consistency-models-13a9290c0fd3427d8d1a1e0bed97bde2
[3]https://www.youtube.com/watch?v=o29P0Kpobz0&t=530s
[4]https://www.youtube.com/watch?v=eMlx5fFNoYc

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
御姐风!太高级!要不起的感觉

御姐风!太高级!要不起的感觉

梧州生活宝
2024-05-22 23:14:03
放弃宅基地,释放了什么信号?

放弃宅基地,释放了什么信号?

风声声
2024-06-24 17:38:05
没有造假!阿里数学竞赛负责人回应,姜萍事件很快会有结果

没有造假!阿里数学竞赛负责人回应,姜萍事件很快会有结果

财话连篇
2024-06-24 18:10:09
觉醒吧!中国需要真实声音,拒绝盲目歌颂!

觉醒吧!中国需要真实声音,拒绝盲目歌颂!

雪莉故事汇
2024-06-24 07:27:47
还打什么仗?关键时刻400个军事目标被摧毁 上千名士兵一个没跑掉

还打什么仗?关键时刻400个军事目标被摧毁 上千名士兵一个没跑掉

聚峰军评
2024-06-24 17:19:20
周强、陈洪生被查

周强、陈洪生被查

鲁中晨报
2024-06-23 17:31:02
高端、低端全端走!富士康正式宣布,郭台铭:不再赏饭吃了

高端、低端全端走!富士康正式宣布,郭台铭:不再赏饭吃了

小蘑菇壹号
2024-06-24 09:39:45
现在,日本为何不跟我们争钓鱼岛的归属,不跟我们提东海划界了?

现在,日本为何不跟我们争钓鱼岛的归属,不跟我们提东海划界了?

蓝莓防务
2024-06-24 22:54:41
祝贺!成都七中(林荫校区)理科考生戴思宇715分

祝贺!成都七中(林荫校区)理科考生戴思宇715分

爱看头条
2024-06-23 23:46:11
马筱梅曝睡眠不佳,半年来首次睡满8小时,网友:终于理解大S了

马筱梅曝睡眠不佳,半年来首次睡满8小时,网友:终于理解大S了

古希腊掌管月桂的神
2024-06-24 11:23:57
西班牙内讧?曝34岁皇马名将不满0出场!拒加练+独自坐公交回酒店

西班牙内讧?曝34岁皇马名将不满0出场!拒加练+独自坐公交回酒店

我爱英超
2024-06-24 20:59:49
韩流遇冷!韩女团为博眼球模仿疯马秀造型,歌词露骨低俗被骂翻

韩流遇冷!韩女团为博眼球模仿疯马秀造型,歌词露骨低俗被骂翻

萌神木木
2024-01-22 22:53:38
中国女游客坐到日本奈良的鹿身上?纯属造谣抹黑!系错位拍摄

中国女游客坐到日本奈良的鹿身上?纯属造谣抹黑!系错位拍摄

不掉线电波
2024-06-24 17:00:19
离开10年,知名地产大佬返回内地!名下公司面临清盘危机,账上现金不到10亿元,超1100亿元借款或须一年内偿还

离开10年,知名地产大佬返回内地!名下公司面临清盘危机,账上现金不到10亿元,超1100亿元借款或须一年内偿还

每日经济新闻
2024-06-24 19:58:10
宁可回家也摆大巴!欧洲杯最不想赢的队伍,果然最后1分钟被绝杀

宁可回家也摆大巴!欧洲杯最不想赢的队伍,果然最后1分钟被绝杀

家乡体育
2024-06-24 08:34:29
最新放假通知:不调休!又要被羡慕了!

最新放假通知:不调休!又要被羡慕了!

云南网络广播电视台
2024-06-24 21:00:59
超三万人施工,仅12天建成的雷神山医院,停用4年后现在怎样了

超三万人施工,仅12天建成的雷神山医院,停用4年后现在怎样了

蒋飞Talk
2024-06-24 22:13:58
不得不说,俄罗斯正面临三线作战

不得不说,俄罗斯正面临三线作战

新民周刊
2024-06-24 11:35:09
韩国锂电池厂大火,火势燃烧近5小时才控制,19名中国公民身亡:锂电池燃烧难扑灭

韩国锂电池厂大火,火势燃烧近5小时才控制,19名中国公民身亡:锂电池燃烧难扑灭

红星新闻
2024-06-24 20:52:35
香港被欧盟取消免签?一些人哀嚎“金融中心变回渔村”,典型看标题不看正文

香港被欧盟取消免签?一些人哀嚎“金融中心变回渔村”,典型看标题不看正文

可达鸭面面观
2024-06-24 20:06:30
2024-06-25 04:02:44
量子位
量子位
追踪人工智能动态
9570文章数 175387关注度
往期回顾 全部

科技要闻

价格战中的合资车企,可能活不到双11了

头条要闻

佛山通报辖区楼栋轻微晃动:未发现大楼结构受损等情况

头条要闻

佛山通报辖区楼栋轻微晃动:未发现大楼结构受损等情况

体育要闻

一次换人,让他成为了欧洲杯网红

娱乐要闻

黄晓明斩获金爵奖影帝遭质疑!

财经要闻

前夸迪高管自曝在华熙生物遭遇职场霸凌

汽车要闻

从故宫到凡尔赛宫 开京牌标致 408X自驾欧洲

态度原创

教育
本地
游戏
公开课
军事航空

教育要闻

TTS新传论文带读:Manner甚至监控员工上厕所时间!!不要太离谱!!!

本地新闻

我和我的家乡|来合肥,共赴一场皖美之约

这款用铁链考验玩家默契的游戏特别好评:仅约20元!

公开课

近视只是视力差?小心并发症

军事要闻

媒体:俄罗斯正面临三线作战 更大的麻烦还在后面

无障碍浏览 进入关怀版