网易首页 > 网易号 > 正文 申请入驻

Llama 4被质疑“作弊”!在竞技场刷高分,实战频频“翻车”,Meta AI副总裁紧急辟谣,图灵奖大佬“站台”

0
分享至

每经记者:宋欣悦 每经编辑:兰素英

当地时间4月5日,美国科技巨头Meta宣布推出其新一代开源大模型Llama 4。Llama 4目前有两个混合专家(MoE)架构的版本,分别为Scout和Maverick。更为强大的Llama 4 Behemoth仍在训练中。

Meta官方称,Llama 4在一系列广泛接受的基准测试中均实现了领先同行的水平,尤其是Llama 4 Behemoth,在多个基准测试中的表现要优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro等一众行业顶尖封闭模型。

然而,就在模型发布后不久,铺天盖地的质疑声涌来。开发者实测Llama 4后发现,其真实效果并不如宣传中那么惊艳,甚至问题百出。

与此同时,有开发者质疑Meta作弊“刷榜”,根据相关评测基准对模型进行“量身定制”训练。

知名科技媒体TechCrunch也发文,直指Meta新AI模型的性能测试“具有一定误导性”。

Meta深陷舆论漩涡之中。对于外界的质疑,当地时间4月7日,Meta生成式AI副总裁艾哈迈德·阿尔·达赫勒(Ahmad Al-Dahle)在社交平台X上公开回应,明确指出相关说法毫无事实依据。

图片来源:Meta官网


Meta“刷榜”?开发者实测Llama 4:编程等任务表现不佳,“远排不上第一或第二”

据Meta介绍,Llama 4模型家族使用了混合专家(MoE)架构,原生支持多模态,实力超强,堪称“全能选手”。

其中,Llama 4 Scout拥有170亿活跃参数以及16个专家模块,提供长达1000万tokens上下文窗口。在多项基准测试中,Scout的表现优于Gemma 3和Gemini 2.0 Flash-Lite等模型。

Llama 4 Maverick同样拥有170亿活跃参数,专家模块数量提升至128个。在多项主流基准测试中,其成绩超越了GPT-4o和Gemini 2.0 Flash。Meta还特意点名DeepSeek,强调在推理和编码方面,Llama 4 Maverick可以比肩DeepSeek新开源的V3模型,而其活跃参数还不到DeepSeek新版V3的一半。

被Meta称为“世界上最聪明的模型之一”的Llama 4 Behemoth则拥有2880亿活跃参数和16个专家模块。在多项主流基准测试中,其性能表优于GPT-4.5、Claude Sonnet 3.7和Gemini 2.0 Pro等行业顶尖模型。

图片来源:Meta官网

而在大模型竞技场上,Llama 4 Maverick表现夺目,总排名位居第二,成为第四个突破1400分的大模型。在开源模型中,Llama 4 Maverick排名第一,超越了DeepSeek。

在困难提示词、编程、数学、创意写作等任务的比拼中,Llama 4 Maverick均斩获第一名。相较于自家前代产品Llama 3(405B)获得的1268分,Llama 4 Maverick的得分实现大幅跃升,达到了1417分。

图片来源:大模型竞技场

这本应是开源社区的又一狂欢。但开发者们实测发现,Llama 4的效果并不像官方宣称的那样惊艳,甚至可以说是问题百出。

Menlo Ventures风险投资人迪迪·达斯(Deedy Das)直言,“Llama 4实际上是一个糟糕的编程模型。”

达斯指出,在专注于编程任务(如代码生成和代码补全)的KCORES基准测试中,Llama 4 Scout和Llama 4 Maverick表现欠佳,落后于GPT-4o、Grok 3、DeepSeek-V3等模型。

图片来源:KCORES LLM Arena

这与此前Llama 4在大模型竞技场的表现形成鲜明反差。

有网友直接曝出,Llama 4在大模型竞技场上存在过拟合现象,有极大的作弊“刷榜”嫌疑。

在一些实测中,Llama 4在上下文任务的实际表现远低于预期。Llama 4 Maverick在aider多语言编码基准测试中的实测得分仅为16%。

Abacus.AI首席执行官宾杜・雷迪(Bindu Reddy)评论道:“人类的评估已经毫无意义了……根据现实世界的表现,Llama 4 Maverick应该远远排不上第一或第二。”

大模型竞技场官方也下场“补刀”,指出Meta在大模型竞技场使用的并非HuggingFace上供开发者使用的Llama 4版本,而是“针对人类偏好进行优化的定制模型Llama-4-Maverick-03-26-Experimental”。

大模型竞技场官方要求Meta对此事作出澄清,并强调其排行榜结果准确可靠,后续将对Llama 4重新进行评测。

图片来源:X

知名科技媒体TechCrunch也发文,标题直言Meta新AI模型的性能测试“具有一定误导性”。

文章指出,针对基准测试优化特定版本去打榜,却给开发者提供“基础版”的做法,让开发者难以依据榜单排名准确预估模型在实际应用场景中的真实表现。

《每日经济新闻》记者发现,在Llama官网提供的性能对比测试图的最下面,写着其在大模型竞技场上使用的是专门针对对话场景优化的Llama 4 Maverick版本。不过,这一信息的字体极小,很难被注意到。

图片来源:X


Llama 4训练作弊?Meta紧急辟谣,大佬杨立昆也“站台”

就在Llama 4被集体质疑之时,内部员工的一则爆料帖子,让Meta陷入了更深的舆论漩涡之中。

4月7日,在海外留学求职交流论坛“一亩三分地”上,一位自称参与了Llama 4训练的内部员工爆料称,Llama 4模型训练测试集作弊,并表示自己已因此辞职。

图片来源:一亩三分地

该员工透露,尽管团队反复努力训练,Llama 4的内部模型性能始终无法达到开源SOTA(State-of-the-Art,顶尖水平)基准,且差距明显。为达成目标,公司领导层提出在训练后期将各种基准测试的测试集数据混入训练或微调数据中,以此在各项指标上达成目标,交出一份“好看”的成绩单。

这位内部员工表示,自己无法接受公司这种做法,甚至辞职信中明确要求不要在Llama 4技术报告中挂名。

就在Llama 4发布前几天,Meta AI研究主管乔尔·皮诺(Joelle Pineau)在工作8年之后突然宣布离职。

不过,由于发帖人并未实名,该帖子的真实性暂无法核实。在帖子下方评论区,已有数名Meta员工实名进行辟谣。

Meta研究科学家主管Licheng Yu称,团队绝不存在针对测试集过拟合训练的情况。

图片来源:一亩三分地

另一位Meta高级AI研究科学家Di Jin也反驳道:“我参与了微调和强化学习的数据混合工作,并没有这种(将基准测试的测试集数据混入训练或微调数据)情况。”

并且,Di Jin还指出,近期离职的AI研究主管乔尔・皮诺,实则并非Meta GenAI团队成员,没有参与GenAI的任何模型训练工作。

图片来源:一亩三分地

根据Meta的组织架构体系,乔尔・皮诺是FAIR的副总裁,而FAIR实际上是Meta内部与GenAI完全独立的组织,GenAI才是负责Llama项目的组织。

针对外界对Llama 4模型的诸多质疑,当地时间4月7日,Meta生成式AI副总裁艾哈迈德·阿尔·达赫勒(Ahmad Al-Dahle)在社交平台X上公开回应,明确指出相关说法毫无事实依据。

同时,达赫勒指出,部分用户通过不同云服务商使用Llama 4模型时,遭遇了质量不稳定问题。他对此解释道:“由于我们在模型准备好后就迅速发布,因此预计需要几天的时间来调整所有公开版本。后续,Meta将持续进行错误修复工作,并与合作伙伴保持沟通。”

图片来源:X

此外,Meta首席AI科学家、图灵奖得主Yann LeCun也转发了该帖子,为Llama 4声援“站台”。

图片来源:X

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

网友称安徽芜湖一小区有高空作业人员疑似被人割断安全绳,报消防后获救,物业:系5楼住户用钝器切割,目前警方正在侦办中

潇湘晨报
2026-11-17 11:31:12
《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

《伟大的长征》研讨会,李乃文让“张国焘”出尽了洋相,一番心虚发言惹严肃的会场哄堂大笑

娱乐故事
2026-11-17 23:54:45
10月失业率降到5.1%,就业大局稳住了

10月失业率降到5.1%,就业大局稳住了

贝壳财经
2026-11-17 09:40:03
小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

小米回应雷军APEC发言紧张:这么大的国际场合,紧张太正常啦

潇湘晨报
2026-11-17 20:47:10
落后2球都能赢,96分钟绝杀,哈兰德双响+一剑封喉,挪威连扳3球,3-2逆转丹麦,晋级欧国联八强

落后2球都能赢,96分钟绝杀,哈兰德双响+一剑封喉,挪威连扳3球,3-2逆转丹麦,晋级欧国联八强

侧身凌空斩
2026-11-18 05:46:08
车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

车间用纺织机器吹头发拍视频走红,次日被开除,网友:太作死了

秒懂资讯
2026-11-17 16:58:55
环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球时报快评:“希望我的祖国也能有一个深圳”在外网火了

环球网资讯
2026-11-17 17:49:03
美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

美国商务部和司法部联合发表声明,对新加坡Megaspeed公司的调查进展

风向观察
2026-11-17 12:57:36
大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

大四女生凌晨外出失联近两年未归,失联前最后身影曝光:身穿红裙白袜,脚上没穿鞋;母亲称曾住酒店寻人4个多月无果

极目新闻
2026-11-17 17:21:30
央视现场调查证实,当地被迫承认问题;观点:如果基层连基本的实事求是都做不到,那互动也就没有意义

央视现场调查证实,当地被迫承认问题;观点:如果基层连基本的实事求是都做不到,那互动也就没有意义

南方都市报
2026-11-17 08:27:50
比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

南海浪花
2026-11-18 01:30:46
先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

先挨二记闷棍!俄罗斯导弹袭击基辅南北两座大桥,恰逢北约峰会开会在即

军迷战情室
2026-11-17 07:39:35
功亏一篑!斥巨资护桥终付东流,俄罗斯克里米亚大桥已经被乌军击毁一侧

功亏一篑!斥巨资护桥终付东流,俄罗斯克里米亚大桥已经被乌军击毁一侧

军迷战情室
2026-11-17 19:38:27
说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

说实话,这种局面不能再延续下去了,否则中国真的有点危险了!

今夜繁星坠落
2026-11-15 23:17:03
11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

11月17日俄乌:克宫引以为傲的克里米亚大桥被炸塌了

山河路口
2026-11-17 19:39:00
东风-61列装,引发岛内巨震

东风-61列装,引发岛内巨震

极目新闻
2026-11-17 15:57:30
腾讯发声:已到生死存亡时刻

腾讯发声:已到生死存亡时刻

首席品牌评论
2026-11-17 16:49:36
重磅!美国商务部新规落地,围堵中国 AI 远程算力(附中英文下载)

重磅!美国商务部新规落地,围堵中国 AI 远程算力(附中英文下载)

起点财经
2026-11-17 14:28:47
俄罗斯总统普京抵达深圳

俄罗斯总统普京抵达深圳

澎湃新闻
2026-11-18 02:09:03
一旦我国出生人口跌破700W会怎样?网友们竟都直言不讳!真有条有理

一旦我国出生人口跌破700W会怎样?网友们竟都直言不讳!真有条有理

夜深爱杂谈
2026-11-17 20:43:25
2026-11-18 07:19:00
每日经济新闻 incentive-icons
每日经济新闻
中国主流财经全媒体平台。
1699125文章数 2728960关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

俄罗斯总统普京凌晨抵达深圳 现场画面披露

头条要闻

俄罗斯总统普京凌晨抵达深圳 现场画面披露

体育要闻

东契奇心仪之人 三年后拿着底薪站到他身旁

娱乐要闻

刘欢有6位生死之交,个个可托付后事

财经要闻

全民抛售AI,市场转折点或已悄然临近

汽车要闻

奕境X9纯电版信息曝光 将于11月27日广州车展上市

态度原创

亲子
房产
艺术
手机
军事航空

亲子要闻

诺和诺德公布司美格鲁肽最新研究结果:近80%的6岁至12岁肥胖儿童BMI降低10%或以上

房产要闻

5381亩之后,三亚绿谷,等一个500强!

艺术要闻

国际名家镜头里的绝美人像,越看越惊艳,第几张美到你?

手机要闻

2026年最后一款超模旗舰!小米18标准版屏幕、性能、影像全面领跑

军事要闻

美乌陷入外交僵局 俄乌互攻势头不减

无障碍浏览 进入关怀版