网易首页 > 网易号 > 正文 申请入驻

2500万参数模型跑在CPU上,强化学习后24道题解出16道

0
分享至

一个只有2500万参数的语言模型,能在普通CPU上从零搭起来并完成训练。freeCodeCamp.org 的 YouTube 频道上线了一门课程,讲的就是这件事:用 Python 从零构建并训练一个多模态语言模型,覆盖预训练与后训练两个阶段。


课程由 @vukrosic 主讲,全部代码、幻灯片和实验都放在视频简介链接的 GitHub 仓库里。完整课程时长 44 分钟。

这个缩小版模型的技术配置相当具体:

  • 260 个 token 的字节级词表
  • 192 个 token 的上下文长度
  • 一个小型视觉编码器,把 32×32 的图像转成 16 个 token

课程内容按模块推进。先是分词与嵌入,解释小模型为什么需要小的字节级词表,以及权重绑定如何让嵌入矩阵和输出头共用同一个矩阵。

接着是线性注意力与稀疏注意力。线性注意力为近期 token 保留固定大小的记忆,而每第四层改用带索引器的稀疏注意力,用来找回远处的细节。

混合专家部分讲的是路由机制:token 被分配给少数几个被选中的专家,另有一个共享专家负责学习所有 token 共有的信息。视觉部分则把图像切成 patch,用二维旋转位置编码(2D RoPE)处理后合并成图像 token,让模型能识别数字。

预训练实验关注数据多样性、交错和课程安排对学习的影响,其中交错有助于防止灾难性遗忘。强化学习部分讲奖励函数的设计、按 GRPO 的方式计算优势、只更新最后几层,以及测试组大小、温度和随机种子。

效果上有一个明确的对照:强化学习之后,模型在 24 个 Python 任务上从解出 0 个变成解出 16 个。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
演员毛林林:直播带货在影视行业里是一个非常悲哀的现象

演员毛林林:直播带货在影视行业里是一个非常悲哀的现象

阿废冷眼观察所
2026-11-18 06:49:39
“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

“比亚迪工资再低,至少让102万人有活干有社保”,博主吹比亚迪102万就业,被网友一句话怼到哑火:底薪2300、加班堆出五千

秋风妃
2026-11-15 20:45:54
5800 万!利物浦锁定世界最佳中卫!实力碾压范戴克

5800 万!利物浦锁定世界最佳中卫!实力碾压范戴克

澜归序
2026-11-17 10:58:53
江苏一老人因忘带钥匙徒手爬2楼窗户回家,全程无任何保护,物业回应:老人70岁左右,已当面告知此行为不妥,并向公安部门报备

江苏一老人因忘带钥匙徒手爬2楼窗户回家,全程无任何保护,物业回应:老人70岁左右,已当面告知此行为不妥,并向公安部门报备

洪观新闻
2026-11-17 20:21:52
世体:埃斯特旺感谢安切洛蒂,抱怨切尔西教练不给机会

世体:埃斯特旺感谢安切洛蒂,抱怨切尔西教练不给机会

懂球帝
2026-11-18 07:23:14
美股存储芯片、光通信深夜直线跳水,闪迪、美光科技跌超3%,黄金白银短线拉升

美股存储芯片、光通信深夜直线跳水,闪迪、美光科技跌超3%,黄金白银短线拉升

21世纪经济报道
2026-11-17 23:45:04
7条最坑人的糖尿病谣言,尤其是最后一条!千万别再信了!

7条最坑人的糖尿病谣言,尤其是最后一条!千万别再信了!

新时代的两性情感
2026-11-18 05:37:49
出差去一趟长沙,我发现长沙人跟国内其他地方的人有很大差别

出差去一趟长沙,我发现长沙人跟国内其他地方的人有很大差别

据说说娱乐
2026-11-18 00:18:32
王祖贤回应容貌争议,称“我已经60岁了,大家还在谈论我的容貌”

王祖贤回应容貌争议,称“我已经60岁了,大家还在谈论我的容貌”

韩小娱
2026-09-27 10:31:59
重磅!世界级工程再迎重大进展!武汉交通格局生变!

重磅!世界级工程再迎重大进展!武汉交通格局生变!

白浅娱乐聊
2026-11-17 13:35:42
只要我不开口,没人敢交易我!盘点生涯从未被摆上货架的5大球星

只要我不开口,没人敢交易我!盘点生涯从未被摆上货架的5大球星

库库侃体育
2026-11-16 20:01:29
打脸埃贝尔,鲁梅尼格:赫内斯和我决定,由我给瓜帅打电话

打脸埃贝尔,鲁梅尼格:赫内斯和我决定,由我给瓜帅打电话

懂球帝
2026-11-17 02:30:27
非常紧张!铜价,发出一个信号!

非常紧张!铜价,发出一个信号!

米筐投资
2026-11-18 07:07:51
伤停11个月!英超22岁天才中锋冬窗复出 身价仅剩1500万

伤停11个月!英超22岁天才中锋冬窗复出 身价仅剩1500万

球事百科吖
2026-11-18 06:37:38
泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

泽连斯基掀桌子,既然俄方一步也不退让,那就别指望乌克兰再克制

麓谷隐士
2026-11-17 00:05:04
出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

出轨女子第二波聊天记录曝光,虎狼之词惊呆吃瓜网友,她嫌丢人开始批量投诉了

汉史趣闻
2026-09-01 17:55:01
藏南风向开始变了!60个村子已团结起来,直接拒绝与印度当局谈判

藏南风向开始变了!60个村子已团结起来,直接拒绝与印度当局谈判

触摸史迹
2026-11-14 01:22:48
黄乐出轨黄仁勋名满天下,丈夫康伟却在监狱里偷偷落泪

黄乐出轨黄仁勋名满天下,丈夫康伟却在监狱里偷偷落泪

微评社
2026-11-12 09:07:38
从7.1.4到11.3.4,汽车音响声道卷到头了?

从7.1.4到11.3.4,汽车音响声道卷到头了?

Autolab
2026-11-17 22:09:43
曲阜会议上那一巴掌,拍碎的是谁的账本

曲阜会议上那一巴掌,拍碎的是谁的账本

纪史行者
2026-11-16 20:06:55
2026-11-18 07:44:49
闪存猎手
闪存猎手
全网蹲好价的野生捕手,算力与羊毛都不可辜负。
200文章数 85关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

头条要闻

中俄美元首首次三方"面谈" 俄方:现代史上前所未有

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

健康
教育
本地
数码
军事航空

医生眼里"很伤腰"的椅子,很多人天天坐

教育要闻

“健康第一”,钱塘区2026年中小学生田径运动会火热开幕

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

NVIDIA发布全新GPU猛兽!CUDA核心数量创纪录:首次超过5万个

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版