浙江
本周早些时候，Meta因使用其 Llama 4 Maverick 模型的未发布实验版本在众包基准测试 LM Arena 上取得高分而陷入困境。此事促使 LM Arena 的维护人员道歉，并修改了他们的政策，并使用未经修改的原版 Maverick 进行评分。事实证明，它的竞争力并不强。
截至周五，未经修改的 Maverick 模型“Llama-4-Maverick-17B-128E-Instruct”的排名低于OpenAI 的 GPT-4o、Anthropic 的 Claude 3.5 Sonnet 和Google的 Gemini 1.5 Pro 等模型。这些模型中有许多甚至都是几个月前推出的。
为什么表现不佳？Meta上周六发布的图表中解释道，其实验性的 Maverick 模型 Llama-4-Maverick-03-26-Experimental 已“针对对话性进行了优化” 。这些优化显然在 LM Arena 中表现出色，因为该平台要求人类评分员比较各个模型的输出，并选择他们更倾向于哪个模型。
由于各种原因，LM Arena 从来都不是衡量 AI 模型性能的最可靠指标。然而，根据基准定制模型——除了具有误导性之外——也使得开发人员难以准确预测模型在不同环境下的表现。
Meta 发言人在一份声明中表示，Meta 尝试了“所有类型的自定义变体”。
“‘Llama-4-Maverick-03-26-Experimental’ 是我们测试过的聊天优化版本，在 LMArena 上也表现良好，”该发言人表示。“我们现在已经发布了开源版本，并将观察开发者如何根据自身用例定制 Llama 4。我们非常期待看到他们最终的成果，并期待他们持续的反馈。”
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
