Llama 4 发布：我看到了 DeepSeek 的影子

Llama 4 发布了。

https://huggingface.co/meta-llama

但这次，它没有高调宣称参数量“遥遥领先“，而是通过三款模型来重新布局：

• • Scout：109B 参数，17B 激活，16 专家 MoE，可部署在单张 H100 上，10M token 长上下文 ，适用于文档分析、多轮对话、代码等任务

• • Maverick：400B 参数，17B 激活，128 专家 MoE，1M token 长上下文 ：400B 参数，128 专家，推理仅激活两个。对标 GPT-4o，性能不逊色， 推理成本仅为其十分之一

• • Behemoth：2T 参数，288B激活，16 专家 MoE ，不部署、不开放，仅用于训练阶段， 为 Scout 和 Maverick 生成训练数据

一个用、一主力、一教学，不卷彼此，也不试图通吃所有任务。

讲道理，看这个发布的时候，我总隐隐有当时读 DeepSeek V3 技术报告的感觉：拥抱 MoE，拥抱合成数据

架构转向：MoE 登上主舞台

Lllma 3 是 Dense，哪怕 400B 的模型都是 Dense；而 Llama 4 是 MoE 架构。

（关于架构的问题，推荐阅读：）

MoE 大概就是这样

过去，MoE 更多还是“实验室选项”，自 DeepSeek 大火后，很多厂商开始尝试将其用于主力模型，比如这次的 Meta。在 Llama 4 中，模型 Scout 配置 16 专家，而 Maverick 则是 128 专家，推理时都只激活两个，17B的量。

回顾一下，DeepSeek 在 R1 和 V3 中也是类似：671B 总参数，37B 激活，用更可控的计算开销，换来模型能力密度的提升。

当然，得说一下，MoE 并不适合所有任务场景，也存在调度复杂、专家平衡等训练难题。但它至少打开了一个现实维度：参数使用方式，和参数数量本身一样值得被设计。

多模态：从外挂走向原生

Llama 3 时代，图像输入依赖外挂 encoder，与语言模型拼接；Llama 4 时代，图像直接作为 token 输入，参与语言上下文建模。

这意味着：图文不是模型之后拼出来的，而是在训练中就一体建模的语境单位。

这种结构带来的提升，在任务表现中非常直接：

• • Maverick 在 DocVQA 拿下 94.4，超过 GPT-4o（92.8）

• • ChartQA 达到 90.0，MathVista 73.7，均高于 GPT-4o

• • 推理成本却仅为 GPT-4o 的十分之一

而原生多模态架构也体现在 Scout 身上——虽然是轻量模型，但在 DocVQA、ChartQA 上，Scout 依然打出了高于同尺寸模型（甚至部分大模型）的稳定表现。

此处说一下， DeepSeek 的 V3/R1 仍未引入图像 token

训练转向：大模型是过程

Behemoth 最大号的 Llama4，很强，但它不对外。

Behemoth的全部作用，是生成训练数据，为 Scout 和 Maverick 提供能力示范，并通过轻量 DPO 和 RLHF 进一步优化行为。换句话说，Meta 并不再执着于“最强模型”上线，而是选择把最大资源投入到训练系统本身。

这个事儿，有点像：

• • OpenAI 开发了「草莓」，来训练新的 GPT

• • DeppSeek 开发了 DeepSeek-R1-Light 来训练 DeepSeek V3

在我看来，Llama 4 并没有带来参数最大、能力最强的单点突破。但它用一个更完整、更分工明确的体系，回应了模型设计正在发生的变化：

Scout 是部署，Maverick 是交付，Behemoth 是理解力的源头

与其说是一次产品发布，更像是宣告一次路线调整。