DeepSeek 把R1论文又更新了60多页，V4呼之欲出了吧

作者 ｜ 周一笑
邮箱 ｜ zhouyixiao@pingwest.com

1月4日，DeepSeek在arXiv上更新了R1论文。

没有官宣，没有推文，只是版本号从v1变成了v2。但打开PDF的人都会发现一个变化，页数从22页膨胀到了86页，文件大小从928KB涨到1562KB。

新增内容包括完整的训练管线拆解、20多个评测基准的详细数据、以及长达数十页的技术附录，近乎重写的大手术。

时间点也有些微妙。1月20日是R1发布一周年，再往后推一个月，2月17日是农历春节，而DeepSeek有在春节前放大招的传统，去年的V3和R1都是在春节窗口期发布的。

一篇“旧”论文的大更新，会是新动作的前奏吗？要回答这个问题，我们先来看看这86页里到底写了什么。

1

一篇论文的“三生三世”

要理解这次更新的意义，需要先回顾R1论文的完整旅程。

2025年1月20日，22页预印本发布。DeepSeek在arXiv发布R1论文，核心结论是：纯强化学习可以让大模型自己“学会”推理，不需要人类标注的思维链数据。论文开源、模型开源、方法开源，直接引爆全球AI社区。

2025年9月17日，R1论文登上Nature封面，梁文锋署名通讯作者。这是全球首个通过顶级学术期刊同行评审的主流大模型，8位专家审稿，逐条质疑，逐条回应。审稿人关注的问题包括，R1是否使用了OpenAI模型的输出来训练（即“蒸馏”质疑）、训练数据的具体来源、以及安全性细节。DeepSeek在回应中明确否认了蒸馏指控，并首次公开了训练成本，从V3-Base训练到R1，只花了29.4万美元。

Nature为此专门撰写社论，指出主流大模型公司发布模型时通常不经过独立评审，“这一空白随着Nature发表DeepSeek-R1的细节而改变”。

2026年1月4日，86页完整版上线。最新版本把Nature版的技术细节同步回arXiv。Dev1、Dev2、Dev3训练阶段的完整拆解、扩展后的评测数据、以及附录A-F的技术文档，现在免费向所有人开放。

期刊发表后同步更新预印本，在学术界是常规操作。但从22页扩到86页、内容量翻近四倍，这种幅度的更新相当罕见。某种程度上，DeepSeek把一篇论文做成了一份技术全书，它想让所有人都能复现R1，而不只是读懂R1。

1

新增了什么？拆解64页“增量”

训练“黑箱”打开：Dev1、Dev2、Dev3首次曝光

原版论文对训练过程的描述相当克制：冷启动SFT → 强化学习 → 最终SFT，三步走完，细节从略。新版则把这个管线彻底拆开，引入了三个中间检查点：Dev1、Dev2、Dev3。

Dev1是冷启动阶段的产物。模型在这个阶段学会了听话（指令遵循能力大幅提升），但代价是推理能力反而下滑。论文披露的数据显示，Dev1在AIME数学竞赛上的表现比基座模型还要差。

Dev2专门用来“抢救”推理能力。这个阶段只做reasoning-oriented RL，把数学和代码能力拉回来，同时保持住指令遵循的水平。

Dev3是最终打磨。通过拒绝采样生成高质量数据，再做一轮SFT，让模型在推理任务和通用任务上都能稳定输出。

这套先教规矩、再练内功、最后调形态的三段式流程，解释了一个很多人关心的问题，为什么R1既能做长链推理，又不会像R1-Zero那样输出混乱、中英混杂。

从5个benchmark到20+：评估体系全面扩展

原版论文的评测集中在几个核心指标，AIME数学竞赛、Codeforces编程、MATH数据集。新版大幅扩展了评测范围，涵盖MMLU、MMLU-Pro、DROP、GPQA Diamond、IFEval、Arena-Hard、SWE-bench Verified、LiveCodeBench等20多个基准。

R1-Zero训练曲线：准确率从15.6%涨到77.9%，超过人类水平（绿色虚线）

更值得关注的是人类baseline的引入。新版论文直接把R1的AIME成绩和人类参赛者的平均分放在一起比较。R1-Zero在训练过程中，pass@1从15.6%一路涨到71.0%，使用多数投票后达到86.7%，超过了人类平均水平。

这种和人比的评测方式，比单纯刷榜更能说明问题。

RL炼丹手册：附录A-F中的“秘籍”

对于想复现R1的研究者来说，新增的附录可能是最有价值的部分。

附录A详解了GRPO（Group Relative Policy Optimization）的实现细节，包括学习率、KL系数、采样温度等关键超参数。附录B-F则覆盖了奖励函数设计、数据构造策略、评测细节等。原版论文的"方法论"色彩浓厚，新版则更像一本操作手册，参数写死、流程写清、坑也标出来。

正如一篇技术解读所说，与原版聚焦高层方法论和结果不同，新版的附录为任何想了解模型工作原理的人提供了完整透明的指南。

被写进论文的失败尝试

新版论文还有一个容易被忽略的章节：Unsuccessful Attempts（失败的尝试）。

DeepSeek坦承，他们试过MCTS（蒙特卡洛树搜索）和PRM（过程奖励模型）m这两条路线是过去一年业界最热门的研究方向，不少顶级实验室都在重注押宝。结果是：走不通，至少在通用推理任务上走不通。

论文的解释是，这类方法对“步骤颗粒度”要求太高，适合数学证明这种每一步都能清晰验证的场景，但很难泛化到更开放的推理任务。这和开发者社区的讨论不谋而合，PRM和MCTS可能会限制强化学习的探索空间，只适合那些边界清晰的问题。

把失败写进论文，在学术界并不罕见，但在工业界主导的大模型研究中相当少见。某种程度上，DeepSeek帮整个行业做了一次祛魅，巨头们死磕的方向，未必是对的方向。

从22页到86页，DeepSeek补上的是可复现性。这也引出了一个问题，为什么选择在这个时间点做这件事？

1

为什么是现在？

期刊发表后把内容同步回预印本，学术界司空见惯。但R1的这次的论文更新，还是有几个值得玩味的地方。

首先是时间节点。1月4日论文更新，1月20日R1发布一周年，2月17日农历春节，三个日期串在一起，很难不让人联想。去年V3和R1都是在春节窗口期发布的，DeepSeek似乎形成了某种“年货”传统。X上已经有不少人在问：“我们会很快听到鲸鱼的消息吗？”

其次是更新本身的反常。大多数论文发布后就不再改动，最多修修勘误。一次性补上60多页，把内部积累的实现细节、消融实验、甚至失败尝试全部公开，这在追求护城河的AI行业相当少见。

怎么理解这种“反常”？一种解读是这些技术对DeepSeek的当前研究已经不再构成竞争优势，他们已经转向了更新的方向。结合1月1日刚发布的mHC架构论文，下一代模型的轮廓似乎正在浮现。

另一种解读是防御性的开源策略，把一年前的技术细节彻底公开，使其变成公共知识，可以防止竞争对手将类似技术申请专利或构建壁垒。与其让R1的技术在闭源竞争中被逐渐稀释，不如主动释放，拉高整个开源社区的水位。

还有一个容易被忽略的细节是作者名单。论文用星号标注已离职人员，但在100多位贡献者中只有5位带星号，18位核心作者一年后全部还在。更有意思的是，一位曾经带星号的研究员这次星号消失了，似乎重新回到了团队。核心班底几乎零流失，在人才争夺白热化的AI行业也相当罕见。

回看过去一年，DeepSeek的节奏始终是先发论文，再发模型。V3论文详解了MoE架构和MLA注意力机制，R1论文拆解了纯RL训练框架，mHC论文优化训练稳定性问题。每一篇都不是事后总结，而是提前铺路。这次86页的更新，某种意义上也是同样的逻辑，在下一个大动作之前，把上一个阶段的技术债彻底清完。

至于那个“大动作”是什么、什么时候来，答案或许很快会揭晓。

点个“爱心”，再走 吧