北京
衡宇 发自 凹非寺
量子位 | 公众号 QbitAI
大无语事件天天有，今天特别多——
AI大模型公司阶跃星辰的研究员，自曝被苹果挂在arXiv上的论文，狠狠坑了一把。
自己去反馈问题，对方简单回了两句就把issue关了；直到自己留下公开评论，对方才撤稿下架代码了。
别着急，我们先来梗概一下故事线：
这个月月初，阶跃研究员Lei Yang被同事安利了一篇arXiv上苹果出品的论文（该论文也在投ICLR 2026），论文中提出的benchmark和Lei Yang最近做的研究非常契合。
他超级开心，马上停下手头的工作，开始适配这个benchmark。
结果这个声称“小模型全面超越GPT-5、数据经人工精心把控”的视觉benchmark，实际上却存在荒谬的官方代码bug和高达约30%的GT（Ground Truth）错误率。
看到这儿，你是不是已经觉得够离谱了？
不好意思了朋友们，这还不是最离谱的……后续的故事看得人脑子上一个问号接一个问号冒出来。
这场闹剧的荒诞程度，一步步升级，直到最终Lei Yang“公开把它喷撤稿了”。
总之看得围观的Reddit吃瓜网友连连摇头：
- 我们曾拥有BatchNorm、ResNet、Dropout、Transformer这些革命性成果。
但到了大模型时代看起来真的是一团糟。
好了，咱们一起来详细看看这个大无语事件到底是怎么回事。
什么，GT的错误率可能高达30%？
这个荒诞故事涉及的论文名为《Where Did the Reasoning Go Wrong? A Benchmark of Puzzle-Based Visual Tasks with CoT Error Detection》。
它提出了一个基于谜题的视觉推理任务的诊断benmark。
巧的是，论文中提出的这个新benchmark，和Lei Yang近期的研究方向挺契合。
所以Lei Yang读完论文后，停下手头其他工作，开始着手适配。
没想到的是，熬了一个周末的通宵完成适配后，模型跑出来的点数极其之低，远低于预期。
“我非常沮丧。”Lei Yang又开始做各种检查和尝试。
这个阶段就开始出现不对劲了。Lei Yang发现了官方代码的bug：
- 请求VLM的时候只用了图片路径的字符串，而不包含图片本身。
行，有bug咱们就修bug呗！
好家伙，修复这个bug后，模型的点数更低了……
这结果给Lei Yang干懵了。他在多个平台公开的小作文中写道：“由于结果过于离谱，我不得不做更多的验证工作，最终结论仍然是修了bug后点会更低。”
不得已，Lei Yang决定一条一条地分析错题，看看自家的模型是怎么做错的。
他抽查了前20道阶跃模型答错的题，结果令人大吃一惊：
- 里面有6道题明确属于GT错误。
- 从GT错误风格来看，很可能是模型自动生成的GT加上质检严重不足，导致GT包含大量幻觉。
这意味着，写进论文里、作者精心挑选用于展示的内容存在大问题。
他初步估算了一下，GT错误率可能高达30%。
“我公开把它喷撤稿了”
于是，Lei Yang选择在GitHub上向作者反馈，指出其中的错误。
6天过后，论文作者简单回复了一下，然后直接关闭了issue。
给Lei Yang气的呀，组织语言一通回击。
然而这件荒谬事件没有最离谱，只有更离谱——
ICLR review公布后，Lei Yang看了看该论文的5条reviews，居然没有任何一个审稿人发现GT质量问题，也没人发现论文中的例子存在幻觉和错误。
（这里中插一下Openreview的直通车：https://openreview.net/forum?id=pS9jc2zxQz）
愤怒之下，他撰写了一份详尽的Public Comment。
内容大概是列举GT问题的实例，提醒ICLR审稿人和社区这个数据集质量堪忧、极易误导研究方向。
在这条评论最后，Lei Yang留了句话
- 我在这里评论是为了防止有兴趣的研究人员重复我经历的相同循环——看到第一个错误检测任务时的兴奋，运行它后的震惊和失望，以及追踪底层GT问题后的沮丧——从而节省每个人的时间和精力
Fine，看似是输出愤怒，实则是真没招了，顺便警醒一下后来人不要再被坑。
不少网友为Lei Yang的这个行为超棒的：
最后，在这条公开评论发表的第二天，论文作者就宣布撤稿，并删除了GitHub上的repo。
原论文作者公开回应
这两天Lei Yang在多个平台分享自己的惨痛踩坑经历，希望通过分享这一遭遇，让更多研究者警觉起来，尤其不要盲目信任表面包装，哪怕是来自大公司。
今天上午，论文作者在小地瓜（没错就是那个平台）上现身回应了。
他首先声明自己这边已经和Lei Yang详细交流，也感谢和尊重推动学术社区进展的每个人。
我们梳理了一下论文作者的回应。
首先关于数据质量，作者承认审核不周。
虽然当初对injected error（人为注入错误）的样本做了人工检查，但没有认真审核更关键的部分。
所以也就没有留意到GT解答思路由GPT自动转换成分步骤CoT时出现了幻觉，导致step label出现了问题。
这部分实质上承认了此次荒谬事件中最核心的问题，即自动构建数据时的质检严重不足。
其次说了说关于论文中example inference的事儿。
他解释称项目中的example inference代码是一个dummy示例，不是正式的演示代码。
在o3的输出例子中，是可以看到模型确实看到了图片的。
然后，他表示当时接收到Lei Yang的提醒后，修改了dummy代码，并且回复了Lei Yang。
最后他对自己当时直接关闭了issue感到非常抱歉。
“当时reopen并且回复了新提出的问题，下次也会一直开着直到问题全部解决。”
回应贴的最后一点是这么写的：
- 我们的目标包括这个benchmark的目的都是推进各个研究方向，在做数据时有不应出现的疏忽，但我们各自都是出于对这个方向的兴趣，利用业余时间在做这个项目，也在其中花费了大量时间精力为了推进这个小方向的发展。
会认真总结这次的经验教训，再接再厉。
参考链接：
[1]https://x.com/diyerxx/status/1994042370376032701
[2]https://www.reddit.com/r/MachineLearning/comments/1p82cto/d_got_burned_by_an_apple_iclr_paper_it_was/
[3]https://www.xiaohongshu.com/explore/6928aaf8000000001b022d64?app_platform=ios&app_version=9.10&share_from_user_hidden=true&xsec_source=app_share&type=normal&xsec_token=CBLEH7cvuVDNN78gtS-RUB8YQp0_GXstBHlQAk14v6t8I=&author_share=1&xhsshare=WeixinSession&shareRedId=NzxHOEQ6OTw6Pjw3Sj81SD1HQUk5R0lK&apptime=1764289526&share_id=c73caa18d27a408898ea99622f8e0360
[4]https://openreview.net/forum?id=pS9jc2zxQz
[5]https://openreview.net/pdf/e5917f72a8373c7f56b3cb9c0ac881d991294ee2.pdf
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
