【震惊】用Excel实现GPT-2，一个表格就可以学习ChatGPT原理

本文为 960字 ，建议阅读 2分钟

今天 HackerNews 上最火的网站是这个：https://spreadsheets-are-all-you-need.ai用一个Excel 表格来学习 ChatGPT 的工作原理，不用写任何代码，配有三个油管视频，非常形象。 最让人震惊的是它用 Excel 实现了一个简易的 GPT2，可以下载：不过特别大，有 1.25 个G，大家如果感兴趣可以试试看。 Excel 太强大了，干啥都行。

具体来说，这个平台通过在Excel里完全实现早年间最先进的GPT-2大型语言模型（也是ChatGPT的前辈）的前向传播过程，直观展示现今各类大型语言模型如ChatGPT、Claude、Bard/Gemini和Llama背后所依赖的Transformer架构是如何工作的。

它并非空谈理论，而是实实在在地引导用户通过一系列实用的Excel表格实例学习。比如在其中的一个课程里，详尽解析了GPT模型的第一步——字节对编码（Byte Pair Encoding，简称BPE）和分词技术，这是包括ChatGPT在内的诸多先进模型都会用到的关键步骤。课程会细致地探讨BPE算法的训练过程及其在语言数据分词中的应用，并通过实际的电子表格模拟来展示GPT-2模型如何进行分词操作，同时也会讨论BPE和其他分词方法各自的局限性和替代方案。

更重要的是，这个项目鼓励实践参与，你可以直接从GitHub仓库下载xlsb格式的Excel文件，在Mac或PC上的Excel应用程序中运行这个完整的GPT-2小型模型（拥有12400万参数，包括字节对编码、嵌入层、多头注意力机制和多层感知机等各个阶段），不过请注意，此版本只支持前向推断而不含训练功能，输入文本上下文长度有限定在10个令牌，且每个单词最多10个字符，输出结果固定‍

考虑到模拟文件体积庞大，尤其在Mac系统上可能会导致Excel反应迟钝甚至卡死，强烈推荐在使用时开启Excel的手动计算模式，并尽量在Windows环境下运行，或者通过Parallels在Mac上安装Windows版本的Excel以确保流畅度。

github地址：https://github.com/ianand/spreadsheets-are-all-you-need

结语

“Spreadsheets are all you need”这个名字源自著名的《Attention Is All You Need》论文，这篇论文第一次提出了如今ChatGPT等生成式AI所采用的Transformer架构。虽然你在Excel中搭建的模型无法像ChatGPT那样进行交互式对话，因为缺乏人类反馈强化学习（RLHF）和专门针对聊天场景的调优，但它确实帮助你通过简单易懂的电子表格界面，逐步揭示了大型语言模型内部运作的神秘面纱。只需一键订阅，即可跟随更多即将上线的课程视频，深度挖掘现代AI的内在细节。从此，打开Excel，探索AI的世界，你会发现，原来理解AI真的只需要一张张表格的距离！

⭐星标AI寒武纪，好内容不错过⭐

用你的赞和在看告诉我～

还得是Excel