网易首页 > 网易号 > 正文 申请入驻

苹果AI论文太坑了!用GPT写的GT,导致北京程序员通宵加班

0
分享至

衡宇 发自 凹非寺
量子位 | 公众号 QbitAI

大无语事件天天有,今天特别多——

AI大模型公司阶跃星辰的研究员,自曝被苹果挂在arXiv上的论文,狠狠坑了一把。

自己去反馈问题,对方简单回了两句就把issue关了;直到自己留下公开评论,对方才撤稿下架代码了。

别着急,我们先来梗概一下故事线:

这个月月初,阶跃研究员Lei Yang被同事安利了一篇arXiv上苹果出品的论文(该论文也在投ICLR 2026),论文中提出的benchmark和Lei Yang最近做的研究非常契合。

他超级开心,马上停下手头的工作,开始适配这个benchmark。

结果这个声称“小模型全面超越GPT-5、数据经人工精心把控”的视觉benchmark,实际上却存在荒谬的官方代码bug和高达约30%的GT(Ground Truth)错误率。

看到这儿,你是不是已经觉得够离谱了?

不好意思了朋友们,这还不是最离谱的……后续的故事看得人脑子上一个问号接一个问号冒出来。

这场闹剧的荒诞程度,一步步升级,直到最终Lei Yang“公开把它喷撤稿了”。

总之看得围观的Reddit吃瓜网友连连摇头:

  • 我们曾拥有BatchNorm、ResNet、Dropout、Transformer这些革命性成果。
    但到了大模型时代看起来真的是一团糟。

好了,咱们一起来详细看看这个大无语事件到底是怎么回事。

什么,GT的错误率可能高达30%?

这个荒诞故事涉及的论文名为《Where Did the Reasoning Go Wrong? A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection》。

它提出了一个基于谜题的视觉推理任务的诊断benmark。

巧的是,论文中提出的这个新benchmark,和Lei Yang近期的研究方向挺契合。

所以Lei Yang读完论文后,停下手头其他工作,开始着手适配。

没想到的是,熬了一个周末的通宵完成适配后,模型跑出来的点数极其之低,远低于预期。

“我非常沮丧。”Lei Yang又开始做各种检查和尝试。

这个阶段就开始出现不对劲了。Lei Yang发现了官方代码的bug:

  • 请求VLM的时候只用了图片路径的字符串,而不包含图片本身。

行,有bug咱们就修bug呗!

好家伙,修复这个bug后,模型的点数更低了……

这结果给Lei Yang干懵了。他在多个平台公开的小作文中写道:“由于结果过于离谱,我不得不做更多的验证工作,最终结论仍然是修了bug后点会更低。”

不得已,Lei Yang决定一条一条地分析错题,看看自家的模型是怎么做错的。

他抽查了前20道阶跃模型答错的题,结果令人大吃一惊:

  • 里面有6道题明确属于GT错误。
  • 从GT错误风格来看,很可能是模型自动生成的GT加上质检严重不足,导致GT包含大量幻觉。

这意味着,写进论文里、作者精心挑选用于展示的内容存在大问题。

他初步估算了一下,GT错误率可能高达30%。

“我公开把它喷撤稿了”

于是,Lei Yang选择在GitHub上向作者反馈,指出其中的错误。

6天过后,论文作者简单回复了一下,然后直接关闭了issue。

给Lei Yang气的呀,组织语言一通回击。

然而这件荒谬事件没有最离谱,只有更离谱——

ICLR review公布后,Lei Yang看了看该论文的5条reviews,居然没有任何一个审稿人发现GT质量问题,也没人发现论文中的例子存在幻觉和错误。

(这里中插一下Openreview的直通车:https://openreview.net/forum?id=pS9jc2zxQz)

愤怒之下,他撰写了一份详尽的Public Comment。

内容大概是列举GT问题的实例,提醒ICLR审稿人和社区这个数据集质量堪忧、极易误导研究方向。

在这条评论最后,Lei Yang留了句话

  • 我在这里评论是为了防止有兴趣的研究人员重复我经历的相同循环——看到第一个错误检测任务时的兴奋,运行它后的震惊和失望,以及追踪底层GT问题后的沮丧——从而节省每个人的时间和精力

Fine,看似是输出愤怒,实则是真没招了,顺便警醒一下后来人不要再被坑。

不少网友为Lei Yang的这个行为超棒的:

最后,在这条公开评论发表的第二天,论文作者就宣布撤稿,并删除了GitHub上的repo。

原论文作者公开回应

这两天Lei Yang在多个平台分享自己的惨痛踩坑经历,希望通过分享这一遭遇,让更多研究者警觉起来,尤其不要盲目信任表面包装,哪怕是来自大公司。

今天上午,论文作者在小地瓜(没错就是那个平台)上现身回应了。

他首先声明自己这边已经和Lei Yang详细交流,也感谢和尊重推动学术社区进展的每个人。

我们梳理了一下论文作者的回应。

首先关于数据质量,作者承认审核不周。

虽然当初对injected error(人为注入错误)的样本做了人工检查,但没有认真审核更关键的部分。

所以也就没有留意到GT解答思路由GPT自动转换成分步骤CoT时出现了幻觉,导致step label出现了问题。

这部分实质上承认了此次荒谬事件中最核心的问题,即自动构建数据时的质检严重不足。

其次说了说关于论文中example inference的事儿。

他解释称项目中的example inference代码是一个dummy示例,不是正式的演示代码。

在o3的输出例子中,是可以看到模型确实看到了图片的。

然后,他表示当时接收到Lei Yang的提醒后,修改了dummy代码,并且回复了Lei Yang。

最后他对自己当时直接关闭了issue感到非常抱歉。

“当时reopen并且回复了新提出的问题,下次也会一直开着直到问题全部解决。”

回应贴的最后一点是这么写的:

  • 我们的目标包括这个benchmark的目的都是推进各个研究方向,在做数据时有不应出现的疏忽,但我们各自都是出于对这个方向的兴趣,利用业余时间在做这个项目,也在其中花费了大量时间精力为了推进这个小方向的发展。
    会认真总结这次的经验教训,再接再厉。

参考链接:
[1]https://x.com/diyerxx/status/1994042370376032701
[2]https://www.reddit.com/r/MachineLearning/comments/1p82cto/d_got_burned_by_an_apple_iclr_paper_it_was/
[3]https://www.xiaohongshu.com/explore/6928aaf8000000001b022d64?app_platform=ios&app_version=9.10&share_from_user_hidden=true&xsec_source=app_share&type=normal&xsec_token=CBLEH7cvuVDNN78gtS-RUB8YQp0_GXstBHlQAk14v6t8I=&author_share=1&xhsshare=WeixinSession&shareRedId=NzxHOEQ6OTw6Pjw3Sj81SD1HQUk5R0lK&apptime=1764289526&share_id=c73caa18d27a408898ea99622f8e0360
[4]https://openreview.net/forum?id=pS9jc2zxQz
[5]https://openreview.net/pdf/e5917f72a8373c7f56b3cb9c0ac881d991294ee2.pdf

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

太硬气了!央视今天拒绝转播开拓者队比赛,原因或许只有一个

南海浪花
2026-11-18 11:34:45
克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

克莱10次单场飙中10+三分,哈登4次,利拉德8次,那库里呢?

大卫的篮球故事
2026-11-18 19:39:37
昨晚我实在憋不住了,等孩子睡熟了,把老公拉进厕所关上门,压低嗓音:小叔子来家里住68天了,还穿件裤衩在家里晃悠,他到底啥时候走?

昨晚我实在憋不住了,等孩子睡熟了,把老公拉进厕所关上门,压低嗓音:小叔子来家里住68天了,还穿件裤衩在家里晃悠,他到底啥时候走?

温柔记事簿
2026-10-22 14:39:08
王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

王兴兴一身西装亮相APEC峰会 一双旧小白鞋抢了镜

快科技
2026-11-18 10:02:25
大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

大家发现没?油车跑1000公里要500多块,电车跑1000公里呢?

兴趣知识
2026-11-18 02:59:02
黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

黄仁勋与黄乐更多照片曝光,老黄没被电到我是不信的

杭城村叔
2026-11-16 16:21:12
特朗普果然批评泽连斯基了!乌克兰防长:炸断克里米亚大桥仅仅是开始

特朗普果然批评泽连斯基了!乌克兰防长:炸断克里米亚大桥仅仅是开始

鹰眼Defence
2026-11-18 16:46:59
就在中国深圳!普京与特朗普见面握手并合影

就在中国深圳!普京与特朗普见面握手并合影

看看新闻Knews
2026-11-18 23:46:04
中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

中方两小时“送客令”:高市早苗不收回那句话,日本连装糊涂的资格都没有

浯江孤舟
2026-08-31 10:07:56
字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

字节跳动贷款4.8亿美元买显卡被叫停:这事比你想得要大!

城事堂
2026-11-18 17:22:57
普京盼了好几年的主桌,特朗普却掐着表想走,这饭局有意思

普京盼了好几年的主桌,特朗普却掐着表想走,这饭局有意思

远方风林
2026-11-17 19:05:17
兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

兰州监狱服刑者非正常死亡案再审一审宣判:四狱警分别被判处有期徒刑11年6个月、5年、5年、5年,“疑点利益”不归“毁尸灭迹”者

大风新闻
2026-11-18 14:36:05
深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

深夜,集体跳水!美联储,加息大消息!黄金、白银、铜、镍、锌,全线下挫

证券时报
2026-11-18 22:45:02
印度大V又吹牛了!在X晒出深圳图片,却称是孟买,问:中国有这么美丽的城市吗?

印度大V又吹牛了!在X晒出深圳图片,却称是孟买,问:中国有这么美丽的城市吗?

小徐讲八卦
2026-11-18 09:28:45
−4.5%,上海社零已连续7个月为负

−4.5%,上海社零已连续7个月为负

互联网大观
2026-11-18 21:08:50
山东69-65逆转广东!产生3个不争的事实,广东3人拉胯,徐杰扛着球队太累

山东69-65逆转广东!产生3个不争的事实,广东3人拉胯,徐杰扛着球队太累

老吴说体育
2026-11-18 22:02:58
中国国家主席夫妇举行欢迎宴会 大家都到了!

中国国家主席夫妇举行欢迎宴会 大家都到了!

看看新闻Knews
2026-11-18 22:29:23
杀回英伟达,黄仁勋要先干掉董事会

杀回英伟达,黄仁勋要先干掉董事会

起点人文
2026-11-18 17:16:37
广州失去两条国际航线

广州失去两条国际航线

窗帘拉开
2026-11-18 19:50:04
为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

为什么说以张维迎为代表的一批所谓新自由主义经济学家本质上是资本、富豪和权贵的代言人呢?

回京历史梦
2026-11-18 10:06:16
2026-11-19 01:51:00
量子位 incentive-icons
量子位
追踪人工智能动态
13695文章数 176601关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

游戏
健康
房产
教育
本地

PC Gamer试玩GTA6百小时:双主角出色但任务重复

医生眼里"很伤腰"的椅子,很多人天天坐

房产要闻

6.6亿!海口卖地!

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

本地新闻

乌兰察布:以前种土豆,现在种Token

无障碍浏览 进入关怀版