网易首页 > 网易号 > 正文 申请入驻

苹果AI论文太坑了!用GPT写的GT,导致北京程序员通宵加班

0
分享至

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

大无语事件天天有,今天特别多——

AI大模型公司阶跃星辰的研究员,自曝被苹果挂在arXiv上的论文,狠狠坑了一把。

自己去反馈问题,对方简单回了两句就把issue关了;直到自己留下公开评论,对方才撤稿下架代码了。

别着急,我们先来梗概一下故事线:

这个月月初,阶跃研究员Lei Yang被同事安利了一篇arXiv上苹果出品的论文(该论文也在投ICLR 2026),论文中提出的benchmark和Lei Yang最近做的研究非常契合。

他超级开心,马上停下手头的工作,开始适配这个benchmark。

结果这个声称“小模型全面超越GPT-5、数据经人工精心把控”的视觉benchmark,实际上却存在荒谬的官方代码bug和高达约30%的GT(Ground Truth)错误率。

看到这儿,你是不是已经觉得够离谱了?

不好意思了朋友们,这还不是最离谱的……后续的故事看得人脑子上一个问号接一个问号冒出来。

这场闹剧的荒诞程度,一步步升级,直到最终Lei Yang“公开把它喷撤稿了”。

总之看得围观的Reddit吃瓜网友连连摇头:

  • 我们曾拥有BatchNorm、ResNet、Dropout、Transformer这些革命性成果。
    但到了大模型时代看起来真的是一团糟。

好了,咱们一起来详细看看这个大无语事件到底是怎么回事。

什么,GT的错误率可能高达30%?

这个荒诞故事涉及的论文名为《Where Did the Reasoning Go Wrong? A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection》。

它提出了一个基于谜题的视觉推理任务的诊断benmark。

巧的是,论文中提出的这个新benchmark,和Lei Yang近期的研究方向挺契合。

所以Lei Yang读完论文后,停下手头其他工作,开始着手适配。

没想到的是,熬了一个周末的通宵完成适配后,模型跑出来的点数极其之低,远低于预期。

“我非常沮丧。”Lei Yang又开始做各种检查和尝试。

这个阶段就开始出现不对劲了。Lei Yang发现了官方代码的bug:

  • 请求VLM的时候只用了图片路径的字符串,而不包含图片本身。

行,有bug咱们就修bug呗!

好家伙,修复这个bug后,模型的点数更低了……

这结果给Lei Yang干懵了。他在多个平台公开的小作文中写道:“由于结果过于离谱,我不得不做更多的验证工作,最终结论仍然是修了bug后点会更低。”

不得已,Lei Yang决定一条一条地分析错题,看看自家的模型是怎么做错的。

他抽查了前20道阶跃模型答错的题,结果令人大吃一惊:

  • 里面有6道题明确属于GT错误。
  • 从GT错误风格来看,很可能是模型自动生成的GT加上质检严重不足,导致GT包含大量幻觉。

这意味着,写进论文里、作者精心挑选用于展示的内容存在大问题。

他初步估算了一下,GT错误率可能高达30%。

“我公开把它喷撤稿了”

于是,Lei Yang选择在GitHub上向作者反馈,指出其中的错误。

6天过后,论文作者简单回复了一下,然后直接关闭了issue。

给Lei Yang气的呀,组织语言一通回击。

然而这件荒谬事件没有最离谱,只有更离谱——

ICLR review公布后,Lei Yang看了看该论文的5条reviews,居然没有任何一个审稿人发现GT质量问题,也没人发现论文中的例子存在幻觉和错误。

(这里中插一下Openreview的直通车:https://openreview.net/forum?id=pS9jc2zxQz)

愤怒之下,他撰写了一份详尽的Public Comment。

内容大概是列举GT问题的实例,提醒ICLR审稿人和社区这个数据集质量堪忧、极易误导研究方向。

在这条评论最后,Lei Yang留了句话

  • 我在这里评论是为了防止有兴趣的研究人员重复我经历的相同循环——看到第一个错误检测任务时的兴奋,运行它后的震惊和失望,以及追踪底层GT问题后的沮丧——从而节省每个人的时间和精力

Fine,看似是输出愤怒,实则是真没招了,顺便警醒一下后来人不要再被坑。

不少网友为Lei Yang的这个行为超棒的:

最后,在这条公开评论发表的第二天,论文作者就宣布撤稿,并删除了GitHub上的repo。

原论文作者公开回应

这两天Lei Yang在多个平台分享自己的惨痛踩坑经历,希望通过分享这一遭遇,让更多研究者警觉起来,尤其不要盲目信任表面包装,哪怕是来自大公司。

今天上午,论文作者在小地瓜(没错就是那个平台)上现身回应了。

他首先声明自己这边已经和Lei Yang详细交流,也感谢和尊重推动学术社区进展的每个人。

我们梳理了一下论文作者的回应。

首先关于数据质量,作者承认审核不周。

虽然当初对injected error(人为注入错误)的样本做了人工检查,但没有认真审核更关键的部分。

所以也就没有留意到GT解答思路由GPT自动转换成分步骤CoT时出现了幻觉,导致step label出现了问题。

这部分实质上承认了此次荒谬事件中最核心的问题,即自动构建数据时的质检严重不足。

其次说了说关于论文中example inference的事儿。

他解释称项目中的example inference代码是一个dummy示例,不是正式的演示代码。

在o3的输出例子中,是可以看到模型确实看到了图片的。

然后,他表示当时接收到Lei Yang的提醒后,修改了dummy代码,并且回复了Lei Yang。

最后他对自己当时直接关闭了issue感到非常抱歉。

“当时reopen并且回复了新提出的问题,下次也会一直开着直到问题全部解决。”

回应贴的最后一点是这么写的:

  • 我们的目标包括这个benchmark的目的都是推进各个研究方向,在做数据时有不应出现的疏忽,但我们各自都是出于对这个方向的兴趣,利用业余时间在做这个项目,也在其中花费了大量时间精力为了推进这个小方向的发展。
    会认真总结这次的经验教训,再接再厉。

参考链接:
[1]https://x.com/diyerxx/status/1994042370376032701
[2]https://www.reddit.com/r/MachineLearning/comments/1p82cto/d_got_burned_by_an_apple_iclr_paper_it_was/
[3]https://www.xiaohongshu.com/explore/6928aaf8000000001b022d64?app_platform=ios&app_version=9.10&share_from_user_hidden=true&xsec_source=app_share&type=normal&xsec_token=CBLEH7cvuVDNN78gtS-RUB8YQp0_GXstBHlQAk14v6t8I=&author_share=1&xhsshare=WeixinSession&shareRedId=NzxHOEQ6OTw6Pjw3Sj81SD1HQUk5R0lK&apptime=1764289526&share_id=c73caa18d27a408898ea99622f8e0360
[4]https://openreview.net/forum?id=pS9jc2zxQz
[5]https://openreview.net/pdf/e5917f72a8373c7f56b3cb9c0ac881d991294ee2.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
金价暴跌顾客挤不上电梯爬十几层抢购,网友:糊涂啊!过年就500了

金价暴跌顾客挤不上电梯爬十几层抢购,网友:糊涂啊!过年就500了

东方豪侠
2026-11-22 14:34:43
又出意外!70岁男犯人被执行死刑,工作人员没找到犯人静脉,致行刑持续1小时,现场惨叫不断……美国相关发言人:我们按所有规程正确执行

又出意外!70岁男犯人被执行死刑,工作人员没找到犯人静脉,致行刑持续1小时,现场惨叫不断……美国相关发言人:我们按所有规程正确执行

都市快报橙柿互动
2026-11-21 23:33:49
这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

这下彻底佩服了!​黄仁勋的情人黄乐,​手上戴的手镯,我特意去查了一下它的价格,真是贫穷限制了我的想象!

财经要参
2026-11-15 12:00:05
太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

太惨了!十多位财经博主的年度收益浮出水面,有人亏光本金93.9%,仅三名博主盈利

火山詩话
2026-11-22 05:03:22
A股:周末两大重磅利好,不出意外的话,行情要走出关键一步!

A股:周末两大重磅利好,不出意外的话,行情要走出关键一步!

云鹏叙事
2026-11-22 13:54:17
俄欧“隔空启动谈判”,欧盟已意识到自己几乎已经丢光了所有筹码

俄欧“隔空启动谈判”,欧盟已意识到自己几乎已经丢光了所有筹码

阿尔卑斯瞭望
2026-11-22 17:58:53
下一个库蒂尼奥!利物浦 1.2 亿水货完美逆袭!伊劳拉挖到宝了

下一个库蒂尼奥!利物浦 1.2 亿水货完美逆袭!伊劳拉挖到宝了

澜归序
2026-11-22 10:47:44
“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

“A10后备厢装几箱啤酒就被压露底”,零跑汽车回应:系物品超过设计承重上限所致,已与用户沟通并获得理解,后续将优化用车指引

政知新媒体
2026-11-21 09:48:46
2004年,43岁的高市早苗第一次结婚,嫁给了52岁、离过婚还带着三个孩子的山本拓。

2004年,43岁的高市早苗第一次结婚,嫁给了52岁、离过婚还带着三个孩子的山本拓。

回京历史梦
2026-11-21 09:30:09
曝三星未来三年大部分存储芯片产能已被锁定,有客户希望供货保障至2031年

曝三星未来三年大部分存储芯片产能已被锁定,有客户希望供货保障至2031年

IT之家
2026-11-21 21:03:24
一个坏消息:中国200万复读生群体面临的非常严峻问题,已经到来

一个坏消息:中国200万复读生群体面临的非常严峻问题,已经到来

次元君情感
2026-11-22 12:19:33
随着日本1-2落败,亚洲9队U17世界杯首轮战绩出炉:4队取胜5队失利,中国输得最惨

随着日本1-2落败,亚洲9队U17世界杯首轮战绩出炉:4队取胜5队失利,中国输得最惨

绿茵舞着
2026-11-22 17:53:38
为何说新西兰没几个中国人待得住?网友:待了几个月,都快疯了

为何说新西兰没几个中国人待得住?网友:待了几个月,都快疯了

乌克兰小静
2026-11-20 09:02:01
今日重要赛事!11月22日,央视CCTV5、CCTV5+节目表

今日重要赛事!11月22日,央视CCTV5、CCTV5+节目表

薇说体育
2026-11-22 10:30:22
350公里大单,司机开到乘客面前取消!平台核实:无责,补空驶费

350公里大单,司机开到乘客面前取消!平台核实:无责,补空驶费

叮当当科技
2026-11-22 16:46:02
熊杰严重违纪违法被开除党籍

熊杰严重违纪违法被开除党籍

六安新周报
2026-11-22 18:23:13
黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

黄仁勋走后,台积电掏出账本:以后,老黄是老黄,英伟达是英伟达

指忘崖
2026-11-22 08:31:37
精准预言黄金大跌的人,又发声了

精准预言黄金大跌的人,又发声了

新浪财经
2026-11-21 19:16:22
就在今天!文班创造了80年NBA奇迹

就在今天!文班创造了80年NBA奇迹

篮球大视野
2026-11-22 12:59:28
杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

杨瀚森被弃用!大桥三分绝杀尼克斯拒开拓者26分逆转 布伦森30分

醉卧浮生
2026-11-22 10:56:08
2026-11-22 19:03:00
量子位 incentive-icons
量子位
追踪人工智能动态
13709文章数 176602关注度
往期回顾 全部

科技要闻

Anthropic收涨17.1%,市值一度破2万亿美元

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

头条要闻

主播私闯果园带货糟蹋一千多斤苹果:切开后全扔地上

体育要闻

全场挨打1比4溃败 阿隆索已过保质期?

娱乐要闻

杨迪戴东北绒帽在黑龙江漠河舞厅跳舞

财经要闻

金价跌破3550美元,分析称短期下行未逆转

汽车要闻

旗舰纯电大六座 2027款岚图泰山将于广州车展预售

态度原创

家居
本地
时尚
公开课
军事航空

家居要闻

2026建博会(广州) 公装联探展交流活动

本地新闻

43年起落记忆倒计时,去厦门高崎领绝版登机牌!

这些才是适合50岁女性的穿搭!衣服不花哨、不老气,得体又自然

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

伊朗革命卫队称袭击美军在巴林两处基地防空雷达

无障碍浏览 进入关怀版