北京
新智元报道
编辑：编辑部 NXY
【新智元导读】Llama 4本该是AI圈的焦点，却成了大型翻车现场。开源首日，全网实测代码能力崩盘。更让人震惊的是，模型训练测试集被曝作弊，内部员工直接请辞。
Meta前脚刚发Llama 4，后脚就有大佬请辞了！
一亩三分地的爆料贴称，经过反复训练后，Llama 4未能取得SOTA，甚至与顶尖大模型实力悬殊。
为了蒙混过关，高层甚至建议：
在后训练阶段中，将多个benchmark测试集混入训练数据。
在后训练阶段中，将多个benchmark测试集混入训练数据。
最终目的，让模型短期提升指标，拿出来可以看起来不错的结果。
这位内部员工@dliudliu表示，「自己根本无法接受这种做法，甚至辞职信中明确要求——不要在Llama 4技术报告中挂名」。
另一方面，小扎给全员下了「死令」——4月底是Llama 4交付最后期限。
在一系列高压之下，已有高管提出了辞职。
网友Flavio Adamo使用相同的提示词，分别让Llama 4 Maveric和GPT-4o制作一个旋转多边形的动画。
可以看出，Llama 4 Maveric生成的多边形并不规则而且没有开口。小球也不符合物理规律，直接穿过多边形掉下去了。
相比之下GPT-4o制作的动画虽然也不完美，但至少要好得多。
甚至，有人直接曝出，Llama 4在LMarena上存在过拟合现象，有极大的「作弊」嫌疑。
而如今，内部员工爆料，进一步证实了网友的猜想。
沃顿商学院教授Ethan Mollick一语中的，「如果你经常使用 AI 模型，不难分辨出哪些是针对基准测试进行优化的，哪些是真正的重大进步」。
不过，另一位内部员工称，并没有遇到这类情况，不如让子弹飞一会儿。
内部员工爆料，Llama 4训练作弊？
几位AI研究人员在社交媒体上都「吐槽」同一个问题，Meta在其公告中提到LM Arena上的Maverick是一个「实验性的聊天版本」。
如果看得仔细一点，在Llama官网的性能对比测试图的最下面一行，写着「Llama 4 Maverick optimized for conversationality.」
翻译过来就是「针对对话优化的Llama 4 Maverick」——似乎有些「鸡贼」。
这种「区别对待」的会让开发人员很难准确预测该模型在特定上下文中的表现。
AI的研究人员观察到可公开下载的Maverick与LM Arena上托管的模型在行为上存在显著差异。
而就在今天上午，已经有人爆料Llama 4的训练过程存在严重问题！
即Llama 4内部训练多次仍然没有达到开源SOTA基准。
Meta的领导层决定在后训练过程中混合各种基准测试集——让Llama 4「背题」以期望在测试中取得「好成绩」。
这个爆料的原始来源是「一亩三分地」，根据对话，爆料者很可能来自于Meta公司内部。
对话中提到的Meta AI研究部副总裁Joelle Pineau也申请了5月底辞职。（不过，也有网友称并非是与Llama4相关）
但是根据Meta的组织架构体系，Pineau是FAIR的副总裁，而FAIR实际上是Meta内部与GenAI完全独立的组织，GenAI才是负责Llama项目的组织。
GenAI的副总裁是Ahmad Al-Dahle，他并没有辞职。
Llama 4才刚刚发布一天，就出现如此重磅的消息，让未来显得扑朔迷离。
代码翻车，网友大失所望
在昨天网友的实测中，评论还是有好有坏。 但是过去一天进行更多的测试后，更多的网友表达了对Llama 4的不满。 在Dr_Karminski的一篇热帖中，他说Llama-4-Maverick——总参数402B的模型——在编码能力方面大致只能与 Qwen-QwQ-32B相当。 Llama-4-Scout——总参数109B的模型——大概与Grok-2或Ernie 4.5类似。
在评论中，网友响应了这个判断。
有人说Llama 4的表现比Gemma 3 27B还要差。
有人认为Llama 4的表现甚至和Llama 3.2一样没有任何进步，也无法完成写诗。
其他用户在测试后也表达了同样的观点，Llama 4有点不符合预期。
网友Deedy也表达了对Llama 4的失望，称其为「一个糟糕的编程模型」。
他表示，Scout (109B) 和Maverick (402B)在针对编程任务的Kscores基准测试中表现不如4o、Gemini Flash、Grok 3、DeepSeek V3和Sonnet 3.5/7。
他还给出了贴出了Llama 4两个模型的一张测试排名，结果显示这两个新发布的模型远远没有达到顶尖的性能。
网友anton说，Llama 4「真的有点令人失望」。
他表示自己不会用它来辅助编码，而Llama 4的定位有点尴尬。
anton认为Llama 4的两个模型太大了，不太好本地部署。他建议Meta应该推出性能优秀的小模型，而不是去追求成为SOTA。
「因为目前他们根本做不到。」他写道。
参考资料：
https://x.com/natolambert/status/1908959159959027903
https://x.com/karminski3/status/1908841453780177244
https://x.com/abacaj/status/1908884059264086520
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
