Llama 4重磅来袭，Meta叫板OpenAI

出品｜虎嗅科技组

作者｜孙晓晨

编辑｜苗正卿

头图｜视觉中国

当地时间4月5日，Meta推出其迄今最为强大的开源AI模型Llama 4系列，其首批推出的Llama 4系列模型包括Llama 4 Scout和Llama 4 Maverick。此外，还有更为强大的Llama 4 Behemoth仍在训练中。

据Meta介绍，Llama 4 Scout包含170亿活跃参数、16个专家模型及1090亿总参数，在各种广泛接受的基准测试中，性能优于Gemma 3、Gemini 2.0 Flash-Lite和Mistral 3.1。Llama 4 Scout的支持上下文长度为1000万token，这将为AI模型的功能打开新的可能，如多文档摘要，解析大规模用户活动以进行个性化任务，以及在庞大的代码库中进行推理。

而Llama 4 Maverick也拥有170亿活跃参数，但是其专家模型数量增至128个，总参数量为4000亿。该模型据称拥有顶尖的图像定位能力，可将用户指令与相关视觉概念精准对齐，并将模型响应锚定到图像中的特定区域。Meta表示，Llama 4 Maverick在多项主流基准测试中，全面超越GPT-4o与Gemini 2.0 Flash；在活跃参数仅为其一半的情况下，该模型在推理与代码能力方面实现了与DeepSeek V3同等性能；其聊天版本在LMArena测试中取得1417的ELO评分，拥有无与伦比的性价比。

Llama 4 Scout和Llama 4 Maverick均从Llama 4 Behemoth中蒸馏而来，而Llama 4 Behemoth据称包含2880亿活跃参数、16个专家模型以及2万亿参数。Meta表示，Llama 4 Behemoth为其迄今为止最强大的模型，且尚在训练中，目前在STEM领域的基准测试中表现优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro。

在官网博文中，Meta分享了关于Llama 4系列模型的技术细节：

该系列模型为首批采用混合专家（MoE）架构的模型，其在训练和推理时计算效率更高，且在相同的训练FLOPs预算下，能够生成更高质量的结果。

此外，Llama 4采用原生多模态设计，融入早期融合技术，将文本和视觉标记无缝集成到统一的模型骨干中。Meta称：“早期融合是一个重大的进步，因为它使我们能够使用大量未标记的文本、图像和视频数据对模型进行联合预训练。”Llama 4的视觉编码器也得到改进，以更好地适应大语言模型。

在模型训练过程中，训练团队采用了名为“MetaP”的新型训练技术，能够可靠地设置关键模型超参数（如各层学习率和初始化规模）。Llama 4通过预训练支持200种语言（其中100多种语言的训练标记量超过10亿个），整体多语言训练标记量较Llama 3提升10倍，为开源社区的模型微调工作奠定了坚实基础。

Meta还通过其他一系列动作对模型进行训练和完善，如采用FP8精度以进行高效模型训练、采用“中期训练”的方式继续训练模型以提升模型核心能力等。

模型安全也是Meta关注的重点，其在博文中称“我们的目标是开发最有帮助和最有用的模型，同时防范和减轻最严重的风险。我们按照我们的《开发者使用指南：人工智能保护》中概述的最佳实践来构建 Llama 4。这包括在模型开发的每个层面（从预训练到后训练）整合缓解措施，以及可调节的系统级缓解措施，以保护开发者免受对抗性用户的影响。”

2025年以来，DeepSeek R1、Grok 3、GPT-4.5众多模型接连推出，不断刷新数据，如今Llama 4又强势入场，声称碾压GPT-4.5，可见这场模型之战愈加激烈。作为开源大模型，Llama 4系列模型展现了Meta对开源策略的坚持。Meta首席执行官扎克伯格表示：“他们的目标是建立世界领先的人工智能，将其开源，并使其普遍可用，以便世界上每个人都能受益。”结合DeepSeek带来的冲击以及OpenAI日益明显的开源倾向，AI公司对开源策略似乎已经愈加认同。但是面对OpenAI等众多竞争对手，Meta能否通过开源策略构建有效生态壁垒，Llama 4 Behemoth能否助其在“万亿参数俱乐部”中占据领先地位，还尚未可知。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4207107.html?f=wyxwapp