“退网”两周的前OpenAI大神归来再整活，1000行C代码搞定GPT-2训练，网友：C语言复兴了！

编译 | 屠敏

出品 | CSDN（ID：CSDNnews）

大佬的话究竟有几分可信？很多人已经傻傻分不清了，遥记多年前，当 Linux 之父 Linus Torvalds 声称要去休假时，他一个人趁着休息时间捣鼓出了如今成为主流的项目版本管理工具 Git。

现下放到 AI 领域，不久之前，特斯拉前 AI 总监、OpenAI 联合创始人 Andrej Karpathy 在社交媒体平台 X 上高调宣布，他友好地从 OpenAI 离职，未来将专注于“个人项目”，而后又口口声声说要尝试性地戒掉上网两周，去了 Bhutan（不丹王国）休假。

谁承想，就在其宣布回归互联网的第三天，他便带来了自己徒手编写的 1000 行 C 代码即实现 GPT-2 训练的新项目——LLM.c（https://github.com/karpathy/llm.c），惊艳众人。

这款开源项目一经发布，便迅速冲到 HN 的 Top 榜，且在 GitHub 上也狂揽 2600 颗星。

而 Andrej Karpathy 本人，也因之前使用 并成功跑在 MacBook 上的经历，加上这一次的尝试，被网友给予了一个肯定的评价——「Real men program in C」（真男人就应该用 C 编程）。

1000 行 C 代码完成 GPT-2 训练的 LLM.c

根据 GitHub 页面介绍，llm.c 是一个简单、纯粹的 C/CUDA LLM 训练项目。不需要使用 245MB 的 PyTorch 或 107MB 的 cPython 就能用纯 C 语言训练 LLM。

更让人佩服的是，LLM.c 仅用约 1000 行干净的代码即可在 CPU/fp32 上实现 GPT-2 训练。它可以立即编译并运行，并且与 PyTorch 参考实现完全匹配。

之所以选择 GPT-2 作为训练的起点，Andrej Karpathy 表示，是因为 GPT-2 是 LLM 的鼻祖，这也是大模型堆栈第一次以公认的现代形式组合在一起，并提供了模型权重。

你可以在这里查看原始的训练实施情况：

https://github.com/karpathy/llm.c/blob/master/train_gpt2.c

Andrej Karpathy 透露，这个项目在一开始就在一个大的 1D 内存块中一次性分配了所有需要的内存。

由此，在训练过程中不会创建或销毁内存，因此内存占用量保持不变，只是动态地将数据批次流过。

这里的关键在于手动实现所有单个层的前向和后向传递，然后将它们串联起来。例如，这里是 layernorm 的前向和后向传递。

除了 layernorm 之外，也还需要编码器、matmul、自注意力、gelu、残差、softmax 和交叉熵损失。

一旦你有了所有的层，你就可以把所有的层串联起来。

“不瞒你说，写这个过程相当乏味，也很受虐，因为你必须确保所有的指针和张量偏移都正确排列”，Andrej Karpathy 吐槽道。

左图：在内存中分配一个单一的 1D 数组，然后将所有模型权重和激活指向该数组；

右图：非常小心地进行所有指针运算

一旦有了前向/后向，剩下的部分（数据加载器、Adam 更新等）就变得微不足道了。

不过，真正的乐趣才刚刚开始，Andrej Karpathy 分享道，“我现在正在逐层将其移植到 CUDA，这样它就能变得高效，甚至可以与 PyTorch 相媲美，但却没有任何严重的依赖性。我已经做了几层了，这是一项相当有趣的 CUDA 工作。”

在此基础上，扩展包括将精度从 fp32 降低到 fp16/以下，并增加几层（如 RoPE），以支持更现代的架构，如 llama 2 / mistral / gemma 等。

对此，Andrej Karpathy 也表示，一旦这个项目进入稍稍稳定的状态后，他就会从头开始构建更为详细的观看视频。

立足于当下，Andrej Karpathy 也正在研究：

• 直接使用 CUDA 实现，这将大大提高速度，并可能接近 PyTorch。

• 使用 SIMD 指令加速 CPU 版本，X86 上的 AVX2 / ARM 上的 NEON（如 Apple Silicon）。

• 更现代的架构，如 Llama2、Gemma 等。

对于 GitHub repo，他希望同时维护干净、简单的参考实现，以及更优化的版本，这些版本可以接近 PyTorch，但代码和依赖性只占很小一部分。

快速开始吧！

基于此，Andrej Karpathy 也为广大网友直接开始上 LLM.c 的使用步骤，方便大家自己去实践一把。

首先第一步，下载并 tokenize 数据集。在这里，Andrej Karpathy 使用了 tinyshakespeare 数据集（https://raw.githubusercontent.com/karpathy/char-rnn/master/data/tinyshakespeare/input.txt），并称其下载和 tokenize 速度最快：

输出：

.bin 文件是由 int32 数字组成的原始字节流，用 GPT-2 tokenizer 表示 token ID。你也可以使用 prepro_tinystories.py 对 TinyStories 数据集进行 tokenize。

原则上，按照步骤走到这里就可以训练模型了。

不过，Andrej Karpathy 表示，CPU/fp32 基准参考代码的效率很低，从头开始训练这些模型还不太现实。相反，他使用 OpenAI 发布的 GPT-2 权重进行初始化，然后进行微调。为此，必须下载 GPT-2 权重，并将其保存为检查点，以便在 C 语言中加载：

你可以从 nanoGPT 中找到这段代码，它是 PyTorch 中简单的 GPT-2 参考实现。

这个脚本将下载 GPT-2 (124M) 模型，对一批数据进行 10 次迭代过拟合，运行几步生成，最重要的是它将保存两个文件：

1）gpt2_124M.bin 文件，其中包含用于在 C 语言中加载的原始模型权重；

2）gpt2_124M_debug_state.bin，其中还包含更多调试状态：输入、目标、logits 和损失。这对调试 C 代码、单元测试和确保我们与 PyTorch 参考实现完全匹配非常有用。

现在，我们只关心 gpt2_124M.bin 中的模型权重，以用它们进行初始化，并用原始 C 语言进行训练：

当然，你可以查看 Makefile 及其注释。它将尝试自动检测你的系统是否支持 OpenMP，这对于以极低的代码复杂度为代价加快代码速度非常有帮助。train_gpt2 编译完成后，就可以运行了：

接下来，我们应该根据 CPU 的内核数量来调整线程数。程序将加载模型权重和 token，它将在 Adam lr 1e-4 的条件下运行微调 loop，进行几次迭代，然后根据模型生成样本。

“该文件（我认为）可读性很强，你应该看一看。简单地说，所有层的前向和后向传递都有实现方法，它们被串成一个大型的手动前向/后向/更新循环。”Andrej Karpathy 说。

在 MacBook Pro（苹果 Silicon M3 Max）上，输出结果是这样的：

现在，生成器只提供 token ID，我们必须将其解码为文本。当然也可以用 C 语言轻松实现，因为解码非常简单，只需查找字符串块并打印即可。时下可以使用 tiktoken：

输出：

「我喜欢 Netflix 出现的方式，很明显，模型中还潜藏着过去训练的影子」，Andrej Karpathy表示，「我没有尝试调整微调超参数，因此很有可能会有很大改进，尤其是在训练时间更长的情况下。」

除了具体的步骤之外，Andrej Karpathy 还附上了一个简单的单元测试，以确保 C 代码与 PyTorch 代码一致。编译并运行：

现在加载 gpt2_124M_debug_state.bin 文件，运行前向传递，比较 logits 和损失与 PyTorch 参考实现，然后用 Adam 进行 10 次迭代训练，确保损失与 PyTorch 一致。

Andrej Karpathy 时不时丢一个 LLM 相关的个人项目，还附上详尽的教程，也让不少网友开启膜拜模式：

还有人评价道，在前有很多政府机构将 C/C++ 归纳为不安全的内存语言之际，“我们实际上正在开始一场 C 语言的复兴”。

最后，不得不说，离开企业后的 Andrej Karpathy 更为自由一些，他不仅在 YouTube 上持续分享有关大模型的教学视频，更是生怕这届学生看不懂，每次在发布项目时，都会附上详尽的教程。

这不，在发布 LLM.c 时，Andrej Karpathy 在 doc/layernorm/layernorm.md 中附上了一个很小的教程：这是实现 GPT-2 模型单层（layernorm 层）的一个简单的分步指南，也是了解如何用 C 语言实现层的一个很好的起点。

https://twitter.com/karpathy/status/1777427944971083809

https://github.com/karpathy/llm.c

https://github.com/karpathy/llm.c/blob/master/doc/layernorm/layernorm.md

4 月 25 ~ 26 日，由 CSDN 和高端 IT 咨询和教育平台 Boolan 联合主办的「全球机器学习技术大会」将在上海环球港凯悦酒店举行，特邀近 50 位技术领袖和行业应用专家，与 1000+ 来自电商、金融、汽车、智能制造、通信、工业互联网、医疗、教育等众多行业的精英参会听众，共同探讨人工智能领域的前沿发展和行业最佳实践。欢迎所有开发者朋友访问官网 http://ml-summit.org、点击「阅读原文」或扫码进一步了解详情。