关于DeepSeek v4，你需要知道的几件事儿

来源：市场资讯

（来源：巴芒时间）

文章同步更新于网站，链接：

（https://www.aitouzi.tech/index.php/2026/05/10/关于deepseek-v4，你需要知道的几件事儿）

2026年4月24日，DeepSeek v4发布，DeepSeek v4到底做了哪些事情？能力如何？与业界顶级模型的差距多少？本文给你讲清楚。

1. DeepSeek-v4 模型的能力如何？

大模型的能力测试一般围绕四大块，正对应论文中对DeepSeek-v4 模型测试的四个部分，分别是（世界）知识、推理能力、Agent、长上下文。原文是这么说的：

客观的说：

• 世界知识层面，与Gemini-3.1-pro 仍有差距；

• 推理能力层面，与顶级模型GPT-5.4、Gemini-3.1-pro的差距大概在3~6个月。水平大概与GPT-5.2、Gemini-3.0-pro 相当；

• Agent层面：与Kimi-K2.6、GLM-5.1 相当。但是稍微差于顶级的闭源模型；

• 长上下文层面：在1M token上下文的背景下，效果甚至超过了Gemini-3.1-Pro

2. DeepSeek v4有哪些版本？参数量多大？

DeepSeek v4系列有两大版本，分别是flash与pro。在flash与pro版本下，又各对应一个test-time scaling 的版本，即：flash-max 与 pro-max，一图看懂：

简单来说，deepseek-v4-pro-max 就是DeepSeek-v4-pro 做出极限思考下的版本。flash同理。

test-time scaling是指：在推理时给出一些长思考，目的是提升模型的效果。

3. DeepSeek-v4 的初衷是什么？

DeepSeek v4的初衷是：解决长上下文推理问题。

当前各个模型通常会采取test-time scaling 方法来提升模型在推理时的效果，但是test-time scaling存在一个问题：推理时输出的长context会导致计算和内存疯狂暴涨，其复杂程度是O(N^2)级别。

鉴于推理时耗时耗内存的问题，DeepSeek-v4 给出的解决方案是：极致压缩Attention。怎么极致压缩呢？文章提出了两种方法，分别是CSA（Compressed Sparse Attention）和 HCA（Heavliy Compressed Attention）。

CSA的架构

HCA的架构

这两种Attention方法的核心思想是完全一致的：就是基于Attention再做Attention。这么做完之后，就实现了DeepSeek-v4的目的：通过极致的压缩长下文，实现了长下文下的性能极致发挥，从而做到极致的性价比。

所以，DeepSeek-v4 最大的意义在于大模型平权。

4. DeepSeek-v4 系列的预训练

deepseek-v4 的预训练表明：即使使用预训练的方式，只要模型结构设计良好且高效，那么也会取得非常不错的效果。

DeepSeek-V4-Flash 使用 32T tokens ，DeepSeek-V4-Pro 使用 33Ttokens 进行预训练。

经过预训练后，DeepSeek-v4-Flash-Base 的效果就已经超过了DeepSeek-V3.2-Base。这表明：v4的模型设计是更加高效的。更离谱的是，Deepseek-v4-Pro-base 进一步放大了这个收益，直接达到了DeepSeek基座模型的新巅峰水平——在推理、编码、长上下文、世界知识任务中都有全面优势。

5. DeepSeek-v4 系列的后训练

DeepSeek-v4系列选择了两阶段训练的范式：

• stage 1：独立地训练领域专家；

具体地，先通过SFT的方式过领域内数据，如数学、代码、Agent的数据；然后使用GRPO的方式优化模型领域内对齐的行为。

• stage 2：通过on-policy 蒸馏联合训练模型的整合。

这部分是通过KL损失来学习各个领域专家模型的能力。

6. DeepSeek-v4 的模型架构

模型架构中主要使用了下面这些算法&优化：

• 继承自V3的MOE、MTP方式

MTP在DeepSeek-V3中已经被证明有效，所以仍然保留。MTP应该会成为后续模型的主流。

• 混合Attention：CSA与HCA、MQA、Sliding Window Attention

Attention 是LLM/VLM中最重要的结构，可以说，任何一个大模型最重要的部件就是Attention。为了各种目的优化，会对Attention做更改。比如本paper使用的几种Attention。

• Attention sink

这个算法的思想其实就是调整Attention score的值。这么做的原因是：实验发现，一串embedding的Attention值通常集中在头部，为了避免这种sink（下沉）现象，就对Attention值做了一个修正：

其实就是加上了这部分值：

，这样就会让最后的Attention score加和不是1。

小结

这期内容主要介绍了DeepSeek-v4系列的初衷、模型架构、优化细节。后面会对CSA、HCA、mHC等算法的细节内容进行详细解读。

历史文章概览

（1）企业分析

（2）投资心法

（3）好书分享

（4）财报详解

（5）宏观经济