网易首页 > 网易号 > 正文 申请入驻

田渊栋离职Meta,最后一篇论文?

0
分享至

新智元报道

编辑:桃子

【新智元导读】离职Meta后,田渊栋团队最新论文放出了。他们提出的「三门理论」发现,RLVR微调只在小权重里发力,性能提升的同时又不破坏模型结构。

田渊栋离职Meta之后,最后一篇亲笔?

上月末,Meta血裁600人团队,AI大佬田渊栋官宣自己也被裁员。

最近,他在Meta期间一篇论文正式发布,已被顶会NeurIPS 2025录用。

最新研究中,他们发现一个反常却稳定的规律——

强化学习与可验证奖励(RLVR)虽能提升模型性能,但几乎不碰主方向上的权重。

这是一种受模型结构自身约束的优化偏置。

这背后的原因究竟是什么,不如打开「黑箱」看一看。

论文地址:https://arxiv.org/pdf/2511.08567

论文中,团队提出了「三门理论」,即KL锚点 → 几何结构 → 精度。

它能解释并刻画AI独特的优化行为,也为近期一系列来自参数空间的观察现象,提供了可解释性:

其中就包括,RL更新稀疏、RL遗忘较少,在线量化秩序一次校准。

更重要的是,RLVR的优化方式与监督微调(SFT)完全不同,而且,人们常在SFT中用到的方法,不一定在RL中好使。

总言之,新论文最大的贡献在于,首次绘制出RLVR训练动态的「参数层面全景图」。

RL学习,优化偏差从哪来?

在研究之前,Meta团队提出了一个关于RL学习动态的核心问题:

优化偏差是从哪里产生的?它在训练过程中如何影响参数的变化?

为此,他们专门探索了RLVR方法。

它是通过使用确定性的、可验证的奖励函数,去提高LLM在精确任务中的性能。

RLVR会在同一个预训练模型的前提下,把更新引导到跨不同运行、数据集和训练方案中的同一类偏好区域。这是一种受模型本身影响的优化偏向。

如下所示,在训练过程中,RL会把更新集中在同一模型的相同区域。

每个面板展示的是一个0-1更新掩码(1=已更改,0= 更改)。尽管使用的数据和算法不同,这种条纹状模式仍在不同运行中反复出现

1 RL会将更新定位到同一模型的相同区域

这里,作者分析了DeepSeek-R1-Distill-Qwen-1.5B的5次微调运行。

这些运行分别使用了,包括数学、代码等多样化数据,以及不同的RL变体,如GRPO、DAPO、Reinforcement++。

首先计算更新掩码 M_i,通过比较基础模型和微调模型来追踪更新集中在哪些位置。

随后,更新一致性比率:

如下所示,在五次RLVR运行中,团队绘制了第13层的投影(Q/K/V/O)以及MLP的下投影。

较亮的条带标记了在大多数运行中被更新的坐标,呈现出一种稳定的、类似条纹的路由模式,而不是随机散布。

权重更新的一致性比例

2 优化偏向在整个训练过程中持续存在

为了研究单次运行内部的动态变化,作者又在DeepSeek-R1-Distill-Qwen-1.5上,跟踪了训练步骤中的按行和按列的更新比率:

下图中,路由偏向在训练初期便开始出现,并在训练推进中不断增强。

这表明这是一种随时间保持稳定的现象,而不是短暂的偶发现象。 其峰值与图2中的偏置结构一致。

3 这种偏向可在不同模型族之间泛化

不仅如此,作者又在Llama和Mistral上,同样观察到了类似的条纹结构特征。

这表明,这种路由偏向是RLVR的普遍现象。

「三门」理论,破解黑盒

那么,究竟是什么驱动了RLVR独特的训练动态?

论文中,研究人员提出了一个「三门理论」。具体来说,每一步RL更新都会经过三个「门」——

它们共同将更新从主方向偏离,并引导进入低曲率、保持谱结构的区域。

门一: KL锚点对更新的约束

实验显示,同策略(on-policy) 的RL更新,会施加一种隐式的KL「牵引绳」,即锚点效应。

这使得每一步策略的偏移都保持很小。

巧的是,这一观察与近期MIT、斯坦福等机构研究的观点一致。此前研究表明,最终策略也与初始策略保持KL上的接近。

接下来的重点在于,这条「牵引绳」是如何影响权重更新的动态过程?

门二:模型几何结构决定KL约束下更新的落点

上面的门一,提供了限制单步偏移的KL「牵引绳」,但并不规定更新会落在哪里。

在一个预训练良好、具有结构化几何特性的模型中,小幅更新会局限在其既有几何结构内。

根据矩阵扰动理论,如Wedin的sin-Θ定理),小范数扰动只会导致极小的子空间旋转,并保持近乎稳定的谱结构。

在KL约束下,RL更新往往会保持模型的原始权重结构,而不是将其破坏。

因此,更新会自然偏向优化地形的低曲率方向,从而避免模型行为出现剧烈变化。

鉴于直接在长CoT的LRM中量化曲率成本极高,团队又采用一种高效的替代指标——主权重(principal weight)。

门三:精度限制

正如作者所言,存不下的东西看起来就像「稀疏」的。

bf16的有限精度(仅有7位尾数)像一块「透镜」:它会掩盖那些RL想持续施加但幅度过小、无法被有效存储的微更新。

基于理论的验证:RLVR优化动态

在参数层面,作者验证了RLVR的学习动态,其与理论框架高度一致。

尤其是,门二所描述的「更新偏向非主权重」。RLVR在提升推理能力的同时避开主方向:

它保持谱几何结构、避开主权重;而一旦预训练的几何结构被破坏,这种优化偏向也会随之消失。

RLVR保持谱几何结构,而SFT会破坏它

如下所示,是SFT与RLVR在Qwen3-8B-Base上的谱几何对比。

与SFT相比,RLVR能保持稳定的前k阶谱,并显著减少子空间旋转。

左图:示例层的前k个主角度和奇异值曲线;右图:跨所有层的最大主角度与归一化谱漂移

RLVR会避开主权重,而SFT则会直接更新主权重

下图中,RL会避免更新主权重。

研究人员将RL的更新掩码与主权重掩码M_princ、低幅值掩码M_low,以及二者的组合M_princ ∩ M_low^c进行对比。

RL更新与主权重之间的逐层重叠比例始终低于随机水平;

而当去除其与M_low的重叠权重(即M_princ ∩ M_low^c)后,这种效应表现得更为明显。

RL算法重新思考

作者观察到的训练动态揭示了一个超越机制本身的重要洞见:

RL在参数空间中的优化机制,与SFT完全不同。

那些诞生于SFT时代的旧PEFT方法,尤其是依赖稀疏或低秩先验、并因此与SFT训练动态高度对齐的方法,在RLVR中的迁移表现并不好。

下图中的曲线直接验证了:SFT中偏好的主方向更新,对于RL并不有效。

下图中,是LoRA与PiSSA在DS-Qwen-1.5B(DeepMath-103K)上的表现对比。

整体来看,PiSSA(以主方向为目标)相较LoRA并未带来额外收益;

并且在较高学习率、被强制推动主方向更新时,它往往会在早期崩溃,而LoRA依然更为稳定。

这一结果支持了研究中的几何分析:强行将更新推入SFT所偏好的主方向与RL的优化特性并不匹配,不但无法带来明显收益,还会在放大学习率时导致训练崩溃。

智能体与RLHF任务

此外,作者还分析了额外的智能体与RLHF(基于人类反馈的 RL)检查点,并确认它们在权重空间上的诊断结果与前文一致:

(i) 主子空间旋转幅度极小,

(ii) 谱漂移轻微,

(iii) 更新与主方向存在显著错位。

如下是更多关于关于智能体和RLHF的实验结果。

参考资料:

https://x.com/tydsh/status/1989049095575728156?s=20

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
黄乐最新私密照爆出, 难怪黄仁勋把持不住!

黄乐最新私密照爆出, 难怪黄仁勋把持不住!

仕道
2026-11-17 11:11:01
就在今天!灰熊3号秀创造了一个NBA历史纪录

就在今天!灰熊3号秀创造了一个NBA历史纪录

篮球大视野
2026-11-17 16:10:44
重磅官宣!美国商务与司法部联合声明:黄乐不是间谍

重磅官宣!美国商务与司法部联合声明:黄乐不是间谍

起点财经
2026-11-17 15:47:51
突发!大反转!黄仁勋果然翻盘!

突发!大反转!黄仁勋果然翻盘!

财经要参
2026-11-17 15:20:05
马斯克确认将前往中国

马斯克确认将前往中国

政知新媒体
2026-11-17 16:01:50
中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

中国股市大局已定:若一切正常,明年起,中国股市或迎来5大洗牌

星语者056
2026-11-17 08:46:25
中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

中央5台乒乓球直播时间表出炉:11月17日CCTV5节目表CCTV5+节目单

曹说体育
2026-11-17 11:37:11
财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

财政不再兜底、大公交退市、老年卡取消,四部委文件真如此说了?

云霄纪史观
2026-11-17 04:30:23
AI演员一句“戴了一天很舒服”,被罚6.8万元

AI演员一句“戴了一天很舒服”,被罚6.8万元

凤凰网财经
2026-11-17 00:22:30
克里米亚大桥被炸,勒庞承诺如当选继续援乌

克里米亚大桥被炸,勒庞承诺如当选继续援乌

名人苟或
2026-11-17 14:46:21
浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

浙江一小区内大摆80桌宴席,900多人参加,还有人霸气拿出茅台请客,业主感叹:像吃流水席,明年还要办

大风新闻
2026-11-17 08:52:07
薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

薇娅找了个好老公,东南亚的生意做大了,一年入账 34 亿

起点财经
2026-11-17 08:46:25
再这么搞下去,中国烟草员工的内退潮或将无可避免

再这么搞下去,中国烟草员工的内退潮或将无可避免

别人都叫我阿腈
2026-11-17 04:40:56
詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

詹姆斯轮休!76人拒篮网24分逆转 恩比德37分布朗31+13

醉卧浮生
2026-11-17 11:13:22
谁才是英伟达真正的主人?一张图看懂股东结构

谁才是英伟达真正的主人?一张图看懂股东结构

互联网大观
2026-11-17 15:16:16
离称霸,字节只差一个聊天软件了!

离称霸,字节只差一个聊天软件了!

城事堂
2026-11-17 14:09:44
全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

全力詹要回来了?美记:詹姆斯已告知76人教练组,他会在12月份提升自己的比赛状态

移动挡拆
2026-11-17 10:44:16
传腾讯内部空前危机感:AI也会被替代!

传腾讯内部空前危机感:AI也会被替代!

城事堂
2026-11-17 00:05:10
俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

俄罗斯被曝将芬兰退出北约列为结束俄乌战争的条件之一,芬兰国防部长公开表示:没有谈判余地,俄罗斯心知肚明,提出这种要求简直荒谬至极

吉刻新闻
2026-11-15 18:22:34
黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

黄仁勋辞任前 8 个月,已转移超 105 亿美元英伟达股票

云头条
2026-11-17 05:07:23
2026-11-17 17:43:00
新智元 incentive-icons
新智元
AI产业主平台领航智能+时代
16703文章数 67238关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

头条要闻

伊朗罕见公开20多年前史料:最高领袖视察导弹演习

体育要闻

我们三兄弟,都是意大利国脚

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

日本经济再现负增长 日央行12月还加息吗

汽车要闻

红旗H9 PHEV这后排,谁还抢着坐副驾?

态度原创

艺术
游戏
教育
家居
军事航空

艺术要闻

寸境宏光——2026中国小幅油画展 作品选四

GTA6即将发售 葱哥真跑路了?影响到你了吗

教育要闻

看似容易,想要做对却不容易

家居要闻

2026建博会(广州) 公装联探展交流活动

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版