DeepSeek V4报告太详尽了！484天换代之路全公开

来源：市场资讯

（来源：量子位）

DeepSeek V4“迟到”半年，但发布后的好评如潮还在如潮。

中外热搜上了一整圈，科技媒体的版面今天都让给了它，OpenAI也成了它的陪衬。

大家惊叹于DeepSeek在有限条件下作出重大突破的创造力，也佩服其在2026年，还能坚定选择开源路线的决心。

可以说，一时间信息多的有些超载，但多归多，主线就两条。

第一条，百万token上下文全面开源，KVcache大幅缩减。

V4-Pro和V4-Flash，1.6万亿参数/2840亿参数上下文都是1M。1M场景下，V4-Pro的单token FLOPs只有V3.2的27%，KV cache只有10%。

亚马逊硬件师GPD表示，这意味着DeepSeek可能解决当前的HBM短缺问题。

第二条，国产芯片适配，已经支持华为算力，预计下半年昇腾950超节点批量上市。

此外，大家最关心的，还莫过于在过去四个月中，DeepSeek陆续放出了几篇「可能进V4」的论文，今天技术报告开源了，可以对一下账。

四个预期，三个落地，一个给下一代。

V4这一代，是DeepSeek系列里动刀最多的一版。相比V3，V4在三个地方做了升级。

第一，引入mHC（Manifold-Constrained Hyper-Connections）强化残差连接。

第二，设计hybrid attention架构，CSA和HCA交替叠加，解决长文效率问题。

第三，采用Muon作为主优化器。

MoE部分仍然用DeepSeekMoE，MTP（Multi-Token Prediction）模块跟V3保持一致。

一些细节微调包括，affinity score的激活函数从Sigmoid换成了Sqrt(Softplus(·))，去掉了routing target nodes的数量约束，前几层dense FFN换成了用Hash routing的MoE层。

接下来，我们一个个看。

残差连接是何恺明2016年在ResNet里提出来的，十年没怎么变过。模型一层一层堆，梯度沿着残差往回传，这是深度学习能work的前提。

但模型越来越深、参数越来越多之后，传统残差开始露怯，信号传递不稳，训练容易崩。

先说Hyper-Connections（HC），这是Kimi团队之前提出的想法。核心是把残差流从一维变成n_hc条并行通道，每层之间通过一个矩阵B来混合。

A、B、C是三个线性映射。想法很优雅，相当于给残差流增加了一个新的scaling维度。但DeepSeek在堆多层时发现，HC经常出现数值不稳定，训练说崩就崩。

V4的做法叫mHC，把矩阵B约束到「双随机矩阵」的流形上（数学上叫Birkhoff polytope），行和列都归一化为1。这个约束带来两个好处。

输入映射A和输出映射C则通过Sigmoid函数保证非负且有界，避免信号互相抵消。

实现上用Sinkhorn-Knopp迭代，交替做行归一化和列归一化，迭代20次收敛。整个过程对每一层都跑一遍。

听起来贵，但DeepSeek做了fused kernel，再配合选择性recomputation，实测mHC带来的wall-time开销控制在overlapped pipeline的6.7%。

技术判断上，mHC不是那种让人眼前一亮的架构创新，更像是一个「稳得住大模型」的工程补丁。但随着模型深度和参数量继续往上推，这种补丁会变成刚需。

这是全篇论文最厚的一块，也是「百万token效率」的核心魔法所在。

V4的注意力层不是一种，是两种交替使用的结构，CSA（Compressed Sparse Attention）和HCA（Heavily Compressed Attention）。

CSA做两件事，先压缩，再稀疏选择

第一步，KV压缩。每m个token的KV entries，通过一个带学习权重的attention-like机制压成一个。

第二步，lightning indexer + top-k选择。这部分继承自V3.2的DSA。对每个query token，用一个轻量的indexer计算它和每个压缩KV块的相关性分数。

第三步，core attention。在选中的这top-k压缩KV块上做Multi-Query Attention，得到注意力输出。

第四步，grouped output projection。因为V4把head dimension c设成了512（比V3.2的128大得多），如果直接把所有head的输出投影回d维会很贵，所以做了分组投影，把n_h个head分成g组，每组先投影到一个中间维度d_g，最后再合并投影回d。

整个CSA等于做了两层压缩。第一层是序列长度压缩，n变成n/m。第二层是稀疏选择，n/m变成top-k。对1M token的序列，原本需要attend 1M个token，现在只需要attend 1024个压缩块。

HCA的思路更简单粗暴，压得更狠，但不做稀疏。

压缩率m’=128，每128个token压成一个。压缩过程也没有CSA那样的overlap，直接每m’个一组压。然后对所有压缩后的KV做dense attention。

论文里没有长篇大论地解释CSA和HCA为什么要配对使用，但读完整个architecture章节，能看出它们的分工。

CSA的压缩温和、靠稀疏把关，适合做token-level的精细检索。HCA的压缩凶猛、保持dense，适合做长距离的全局信号汇总。

V4把两者层层交替。Pro有61层，Flash有43层，CSA和HCA一层一层往上叠。既不漏细节，也不被细节拖住。

此外，论文还透露了几个trick。

Q/KV normalization。CSA和HCA在core attention之前，都对query和KV entries做一次RMSNorm，防止attention logits爆炸。

Partial RoPE。只对query和KV entries的最后64维施加旋转位置编码，其余维度不动。

因为KV entries既做key又做value，naive的RoPE会让输出带上绝对位置信息，所以在output端也对应施加一个位置为-i的RoPE来抵消，只保留相对位置信息。这是个巧妙的工程处理。

Sliding window attention作为辅助分支。

因为压缩注意力保证严格因果性，一个query token看不到自己压缩块内其他token的信息。为了补偿近距离依赖，V4额外加了一个sliding window分支，每个query除了看压缩KV之外，还能看最近128个token的uncompressed KV。

Attention sink。借鉴OpenAI和StreamingLLM的trick，在attention分母上加一个learnable sink logit，允许attention score总和不等于1。

这在长序列里尤其有用，能避免模型被迫把注意力均摊。

V4训练中绝大多数参数优化用的不是AdamW，是Muon。

Muon是前几年Keller Jordan那批人（他现在在OpenAI）在小模型上验证过的优化器，基于矩阵正交化。

它只优化2D参数矩阵，其他参数（embedding、prediction head、RMSNorm权重、mHC的静态偏置等）还是走AdamW。

Muon在LLM规模上的第一次大规模验证是Kimi K2。 2025年，Moonshot用Muon（加上他们自己的QK-Clip变种，合称MuonClip）训了一个1T参数的MoE，15.5T token，全程零崩溃。

现在DeepSeek也用上了。不过他们做了自己的版本，hybrid Newton-Schulz迭代，10步分两段。

这里有个细节值得注意。Kimi用Muon需要QK-Clip来防止attention logits爆炸，DeepSeek没用这招。他们的理由是，V4的注意力架构允许直接对query和KV做RMSNorm，从源头把爆炸的可能压住了。

两家公司，同一个优化器，解决同一个问题，走的是两条路。这种跨团队的技术共享和各自演化，是2026年开源社区最有意思的一面。

DeepSeek-V4系列在预训练数据量上实现了翻倍。

对比V3仅用14.8T Token训练，V4-Flash 与 V4-Pro 的数据消耗量分别达到了32T和33T。训练数据量整整翻了一倍多（增长约 1.2 倍）

数据构成上，长文档数据单独curate，优先收录科学论文和技术报告这类有学术价值的长材料。tokenizer仍用V3的128K词表。

在模型架构上，V4-Flash，43层，隐藏维度4096。

MoE用1个shared expert + 256个routed experts，每token激活6个。总参数284B，激活13B。

V4-Pro，61层，隐藏维度7168。MoE用1个shared expert + 384个routed experts，每token激活6个。总参数1.6T，激活49B。

训练调度上，序列长度走四段，4K → 16K → 64K → 1M。sparse attention不是从头打开，前1T token用dense attention做warmup，扩到64K时才introduce sparsity。

论文表示，训练中间出过一次严重的loss spike，DeepSeek摸到两个土办法，Anticipatory Routing和SwiGLU Clamping。论文原话非常诚实，这两个trick work，但底层机理仍是open question。

一个训练了两个万亿参数MoE的团队公开承认「我们不知道为什么这两个trick管用」，在2026年已经是一件挺稀罕的事。

在后训练阶段，V4这一代做了一次方法论替换，传统的mixed RL阶段被On-Policy Distillation（OPD）完全替代。

流程分两步。

第一步，训domain specialist。

数学、代码、agent、指令跟随四个领域，各自独立训一个expert。先SFT打底，再用GRPO做domain-specific RL。V4还引入了三档reasoning effort mode，Non-think、Think High、Think Max，每档输出长度不同。

第二步，OPD合并。

十几个expert通过on-policy distillation合进一个统一的student。student自己rollout，最小化reverse KL向对应领域的expert对齐。数学任务向数学expert靠，编程任务向编程expert靠。

方法论听起来很优雅。但工程上装不下，十几个teacher每个都是万亿级，vocab size超过10万。

V4的做法是teacher权重offload到分布式存储按需加载，只缓存hidden states不materialize logits，按teacher排序样本保证每个mini-batch只加载一个teacher head。

一套看似优雅的后训练方法论，背后是一堆「不这样做就装不下」的工程妥协。

在实验部分，有三件最值得说的事。

开源领先。

SimpleQA-Verified上V4-Pro-Max拿到57.9，K2.6是36.9，GLM-5.1是38.1。领先所有开源模型20个百分点。

匹敌闭源。

Codeforces rating 3206，超过了GPT-5.4的3168和Gemini-3.1-Pro的3052，在人类选手榜单上排名第23。开源模型匹敌闭源头部，这次是真的匹敌了。

差距仍在。

HLE上V4-Pro-Max 37.7，Gemini-3.1-Pro 44.4，Claude-Opus-4.6-Max 40.0。1M MRCR上V4优于Gemini但明显不如Claude。知识类和最前沿的推理任务仍有3-6个月的gap。

论文中，DeepSeek表示：

Flash-Max可能是这篇论文最被低估的一部分。

V4-Flash-Max只激活13B参数，推理任务上能打平GPT-5.2和Gemini-3.0-Pro，代码和数学甚至超过K2.6-Thinking。

如果只看激活参数量，这是目前效率最极致的推理模型之一。

现实任务里最值得提的是内部R&D代码benchmark，V4-Pro-Max 67%，接近Claude Opus 4.5的70%。

85人的内部开发者调研里，91%表示V4-Pro可以作为主力coding模型。

在官方的推文中，也侧面印证了这个说法：

在论文的最后，DeepSeek也表示：

未来方向几条，探索新维度的sparsity（点名了Engram那条线）、低延迟架构、长时程多轮agentic任务、多模态、更好的数据curation。

有个蛮有意思的小细节，在形式化数学评测中，DeepSeek也皮了一下友商：

太火了，就是说。

把V4放回DeepSeek的完整路径里看，它不是在追赶frontier。

过去三年的趋势非常清晰。闭源大厂追求的是能力上限，谁家的模型能在HLE上拿更高分。DeepSeek追求的一直是另一条线，同样能力下的成本下限。

V4把这件事推到了百万token。一个1M的上下文，在V3.2的成本结构下是不可持续的，KV cache会把显存吃光。V4把它压到V3.2的10%，成本曲线突然打直了。

那结果会怎样呢。一个很长的agent会话，一份反复回读的技术文档，一次跨多仓库的重构，这些过去要切窗口、要加retrieval、要精心管理上下文的场景，在V4这里变成了「全塞进去看看再说」。

DeepSeek这几年做的事，底层动作很清晰，一直在删。从V2的MLA开始，每一代都在删KV cache、删激活参数、删注意力计算量。

删到V4，单token推理FLOPs砍到四分之一，KV cache砍到十分之一。

百万token不是一个新的能力，是同一个上下文窗口被压到可以承担的成本。

论文的结尾有一份长长的贡献者名单。

梁文锋在其中。

其中有不少带星号的名字，是已经离开团队、但仍然对V4做出过重要贡献的研究者。

过去这一年，关于DeepSeek人才流失的消息传过好几轮。但这份名单把他们的名字和V4这个大家等了整整一年多的模型，绑在了同一张纸上。

每一个人都算数，每一天也都算数。

V4发布当天，DeepSeek研究员陈德里在x上转发并写道：

DeepSeek-V3：2024年12月26日。

DeepSeek-V4：2026年4月24日。

484天后，我们谦卑地分享这份爱心的劳动。

一如既往，我们始终坚持长期主义和全民开源。

AGI属于每个人。

[1]https://huggingface.co/deepseek-ai/DeepSeek-V4-Pro

[2]https://arxiv.org/pdf/2512.24880