一个只有2500万参数的语言模型,能在普通CPU上从零搭起来并完成训练。freeCodeCamp.org 的 YouTube 频道上线了一门课程,讲的就是这件事:用 Python 从零构建并训练一个多模态语言模型,覆盖预训练与后训练两个阶段。
![]()
课程由 @vukrosic 主讲,全部代码、幻灯片和实验都放在视频简介链接的 GitHub 仓库里。完整课程时长 44 分钟。
这个缩小版模型的技术配置相当具体:
- 260 个 token 的字节级词表
- 192 个 token 的上下文长度
- 一个小型视觉编码器,把 32×32 的图像转成 16 个 token
课程内容按模块推进。先是分词与嵌入,解释小模型为什么需要小的字节级词表,以及权重绑定如何让嵌入矩阵和输出头共用同一个矩阵。
接着是线性注意力与稀疏注意力。线性注意力为近期 token 保留固定大小的记忆,而每第四层改用带索引器的稀疏注意力,用来找回远处的细节。
混合专家部分讲的是路由机制:token 被分配给少数几个被选中的专家,另有一个共享专家负责学习所有 token 共有的信息。视觉部分则把图像切成 patch,用二维旋转位置编码(2D RoPE)处理后合并成图像 token,让模型能识别数字。
预训练实验关注数据多样性、交错和课程安排对学习的影响,其中交错有助于防止灾难性遗忘。强化学习部分讲奖励函数的设计、按 GRPO 的方式计算优势、只更新最后几层,以及测试组大小、温度和随机种子。
效果上有一个明确的对照:强化学习之后,模型在 24 个 Python 任务上从解出 0 个变成解出 16 个。
特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.