网易首页 > 网易号 > 正文 申请入驻

ICLR 2027首轮评审,槽点有点多

0
分享至

机器之心编辑部

这几天,机器学习顶会 ICLR 2027 的首轮评审意见陆续公开。

对论文作者来说,这通常是一个颇为紧张的时刻。几个月甚至一两年的研究工作,终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导,指出研究中真正存在的问题。



但今年,一些研究者打开 OpenReview 后,看到的评审意见却让人有些哭笑不得。

ICLR 2027 的同行评审,一时间成了 AI 圈的一场大型吐槽现场。

有人让作者解释标准差

有人把 AI 提示词直接贴了上来

先来看加州大学伯克利分校的 Hanchen Li。

他发帖称,自己收到了一份 ICLR 评审意见,对方要求他们解释什么是「standard deviation」(标准差)。

他还开玩笑说,这下仿佛又回到了高中课堂。



原帖没有展示完整的论文和评审上下文,无法判断审稿人究竟是希望作者补充统计定义,还是对论文中的具体用法存在疑问。

但这条帖子还是迅速引发了讨论。

另一位研究者 Ravid Shwartz Ziv 展示的情况,则更加有喜剧效果。他贴出了三位审稿人的意见。

第一位写道:「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」第二位几乎原封不动地重复了这句话。

到了第三位,画风突然变了:「Certainly! Here is a review of the paper」。后面才开始进入正式评审内容。这下连 AI 生成文本常见的对话开场白都没有清理干净。

两份评语像是从同一个模板里复制出来,第三份则留下了更明显的 AI 生成痕迹。更让作者无奈的是,这些意见最终都进入了正式的同行评审流程。



还有一位研究者 Konstantin Grotov 遇到的问题,则涉及 AI 辅助写作。他表示,自己提交 ICLR 的论文收到了一条主要针对 AI 使用情况的评审意见。





问题在于,论文已经按照要求披露了 AI 辅助写作。



Grotov 随后解释,审稿人当然可以对 AI 使用提出质疑,但应该拿出具体的技术论据,说明这种使用如何影响了论文的质量、研究结果或可信度。仅仅因为论文使用了 AI,就把它当成拒稿理由,显然不够充分。

接下来的一个案例更为微妙。

研究者 Artur Chakhvadze 分享了一份评审意见,其中审稿人坦承自己并不具备充分的专业背景,无法很好地评估这篇论文。

Chakhvadze 对此反而表示认可:至少这位审稿人诚实地承认了自己的能力边界。他还吐槽,自己见过不少评审连论文所属领域的基础知识都没有弄明白,却依然给出 3/4 的高信心评分。



这条帖子引发了不同意见。有人认为,审稿人主动说明自己不熟悉研究方向,已经比装懂、胡乱编造评审意见负责任得多。也有人追问:既然专业背景不匹配,为什么这篇论文一开始就会分配给他?Chakhvadze 随后也补充了一句:审稿人本人未必有错,真正值得质疑的是分配和管理评审的流程。



几条帖子看下来,其实是不同类型的问题:有人没有充分理解论文,有人可能依赖 AI 生成评语,还有人被分配到了自己并不熟悉的研究方向。这些最后都落到了同一个问题上:作者拿到的评审意见,到底能不能真正帮助学术判断?

AI 擅长找毛病

却未必知道什么毛病值得拒稿

这次讨论中,有一条观点尤其值得注意。

来自德克萨斯大学奥斯汀分校的 Jiaxin Pei 指出,自己在 2026 年最头疼的审稿问题,是 AI 审稿人似乎分不清论文的「局限性」和真正影响论文成立的「关键问题」。

他认为,大语言模型可以轻易找出一篇论文上百个局限性,即使是历史上最优秀的论文也不例外。但这并不意味着这些论文就不应该被接收。



这句话点出了 AI 参与同行评审时一个很重要的短板。一篇科研论文几乎不可能做到面面俱到。实验规模可能有限,某些场景没有覆盖,方法可能依赖特定假设,理论分析也可能存在适用范围。这些都是正常的研究局限。

真正决定论文是否成立的,是这些局限有没有动摇它的核心贡献。

审稿人当然可以要求增加更多数据集、模型规模和对照实验。但如果现有实验已经足以支撑论文的核心结论,额外实验就未必构成拒稿理由。反过来,如果论文最关键的实验设计存在漏洞,或者理论推导中有无法修复的错误,即使其他部分写得再漂亮,也可能无法成立。

这里需要的是判断问题重要性的能力。大模型却很容易把这两件事混在一起。它可以不断列出潜在问题,却未必能判断哪个问题真正影响研究结论。于是,评审意见可能越来越长,要求补充的实验越来越多,真正决定论文质量的核心问题反而被淹没。

Jiaxin Pei 的这条帖子引发了不少研究者共鸣。

有人指出,这种问题正在渗透到同行评审机制本身。如今,每场 AI 学术会议上,似乎都会出现一批审稿人:他们一边给论文打出较低的评分,一边又要求作者补充一些无关紧要、或者只是对现有实验做小幅增补的新实验。



还有人提出一个很直接的判断标准:如果修复这个问题,论文的核心结论会发生变化吗?如果答案是否定的,它可能只是一个普通的局限性,而不是足以否定整篇论文的关键缺陷。这恰恰是同行评审最需要的能力:知道什么值得关注,也知道什么可以接受。

结语

如果把这些案例放在一起看,就会发现,ICLR 这次的争议并非单纯的审稿人水平问题。

更大的背景是,AI 正在同时改变学术研究的生产端和评价端。

同行评审本身是一项高度依赖专业知识和时间投入的工作。论文数量增长的速度,未必能被专业审稿人的数量追上。ICLR 2027 项目主席团队此前就专门解释过这个问题。9 月 2 日,ICLR 2027 项目主席团队发布了一篇官方文章,分析了 AI 时代同行评审面临的新压力。



https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/

主席团队指出,机器学习领域近年来增长迅速,新进入者的数量远远超过资深研究者,具备专业评审能力的人手可能跟不上投稿增长。生成式 AI 又进一步降低了论文生产门槛,即使是不熟悉某个研究领域的人,也可以借助 AI 生成一份外观上像研究论文的稿件。与此同时,审稿人将评审工作交给 AI,也成为需要解决的新问题。

为缓解评审资源紧张,ICLR 2027 推出了一系列措施,包括限制投稿数量、强化互惠审稿制度等。

审稿义务也进一步收紧:署名出现在 3 篇及以上投稿中的作者,必须至少完成 6 篇论文的审稿工作。此外,每篇投稿至少需要有一位具备规定资格的作者注册成为审稿人,并承诺评审至少 3 篇论文。如果所有作者都不具备相应资格,则可以豁免这项要求。

在 AI 使用方面,ICLR 没有完全禁止审稿人使用大模型,而是允许有限度、负责任地使用 AI 辅助撰写评审意见和元评审。但这有明确的前提:审稿人必须披露 AI 使用情况。如果使用大模型生成或修改评审意见的任何部分,还必须提交自己最初独立撰写的论文评估,以及与大模型的全部交互记录。多轮对话也必须提供各轮输入内容。

ICLR 还明确规定,如果 AI 生成的评审包含虚假信息、幻觉或失实陈述,或者评审本身质量低下,审稿人可能因未履行互惠审稿义务而受到纪律处分。处罚可能包括将其作为作者参与的全部投稿直接拒稿,或者限制其未来参加会议投稿。

当然,目前公开的只是 ICLR 首轮评审意见。作者与审稿人的公开讨论将持续到 11 月 18 日,最终录用决定预计在 12 月 16 日公布。作者仍然有机会针对错误评审提出质疑,审稿人也可以根据新的信息修改自己的评分。

https://x.com/mbilgehanertan/status/2118760558854070637

https://x.com/jiaxin_pei/status/2118714662892327158

https://x.com/norpadon/status/2118896999709684071

https://x.com/lihanc02/status/2118843054975336646

https://x.com/kgrotov/status/2118695897890804071

https://x.com/ziv_ravid/status/2118718086920413494

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

香烟突然大降价,不是良心发现,是老百姓彻底觉醒了

流苏晚晴
2026-11-13 22:20:15
晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

晚年毛主席原谅了很多人,为何唯独不原谅潘汉年?主席对他寒了心

温读
2025-03-13 18:28:10
开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

开拓者遭遇2连败!杨瀚森被DNP,CCTV5中途弃播,诺里又被打脸了

董说体育
2026-11-18 12:12:12
美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

美国记者惊呼:中国已成全球顶流!美国青年正经历中国化转变?

科普启示录小强哥
2026-11-14 19:50:07
外媒:中国在百舰演习期间,无预警发射了洲际导弹

外媒:中国在百舰演习期间,无预警发射了洲际导弹

军武吐槽君
2026-11-17 23:04:57
黄仁勋想复出被董事会秒拒,众议院民主党领袖:他对美国太危险了

黄仁勋想复出被董事会秒拒,众议院民主党领袖:他对美国太危险了

社会日日鲜
2026-11-18 15:54:25
外媒:深圳何以成为“奇迹之城”?

外媒:深圳何以成为“奇迹之城”?

中国青年报
2026-11-17 12:48:18
耿同学再开炮!用“虾滑”冒充肿瘤发9.7分论文?湘雅二医院陷入争议!土豆泥肿瘤、男性子宫肌瘤,论文工厂造假有多离谱?

耿同学再开炮!用“虾滑”冒充肿瘤发9.7分论文?湘雅二医院陷入争议!土豆泥肿瘤、男性子宫肌瘤,论文工厂造假有多离谱?

梅斯医学
2026-11-17 20:29:15
冷冷冷!网友:上海的3℃那就是冷到骨头了!上海发布大风蓝色预警信号…

冷冷冷!网友:上海的3℃那就是冷到骨头了!上海发布大风蓝色预警信号…

新浪财经
2026-11-18 12:04:32
作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

作家陈岚点评大S之死,如果汪小菲带大S去旅游,估计连灰都没有了

小人物看尽人间百态
2025-02-09 09:12:11
韩国前女总统朴槿惠私生活有多乱,很多人不知道的10个冷知识

韩国前女总统朴槿惠私生活有多乱,很多人不知道的10个冷知识

疯狂的小历史
2026-11-17 11:56:01
中俄美元首首次三方"面谈" 深圳迎来历史性会晤

中俄美元首首次三方"面谈" 深圳迎来历史性会晤

看看新闻Knews
2026-11-17 23:12:04
母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

母亲是著名演员,父亲上亿家产,他却跑龙套11年,如今终成实力派

阿讯说天下
2026-11-18 08:18:31
普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

普京来中国带上三大副总理,办完大事不急着回国,直奔中俄大后方

巷北楠猫本尊
2026-11-17 16:13:32
三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

三次申请全碰壁!印度挤破头想进APEC,到底卡在哪了?

小马姨
2026-11-16 09:42:14
山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

山东大师王兴夫被抓捕归案,99名女徒弟揭露内幕,真相让人意外

诡谲怪谈
2025-03-25 17:25:18
流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

流亡的阿萨德一家何去何从?俄罗斯近日表明了明确态度:即便法院判了死刑,阿萨德也休想离开俄罗斯

人生录
2026-10-22 00:20:08
女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

女子谈释永信过往,她们姐妹住少林寺3天2夜,争着往释永信房间跑

江山挥笔
2025-07-29 16:50:59
麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

麦丹准绝杀!开拓者惜败森林狼遭双杀,多苏姆30分利拉德25+5

湖人崛起
2026-11-18 11:38:46
“1600元的烤全羊剥不出1两肉!”四川一游客称自己在民宿订餐 和预期严重不符

“1600元的烤全羊剥不出1两肉!”四川一游客称自己在民宿订餐 和预期严重不符

闪电新闻
2026-11-18 11:57:54
2026-11-18 21:11:00
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14506文章数 142760关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

头条要闻

游客花1600元买的烤全羊剥不出1两肉 官方通报

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

主持人张泉灵被曝猛料,公司成老赖

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

艺术
家居
手机
公开课
军事航空

艺术要闻

投资55亿!深圳歌剧院施工现场更新,主音乐厅马蹄形已现!

家居要闻

2026建博会(广州) 公装联探展交流活动

手机要闻

消息称荣耀明年没有常规大折叠手机,取而代之的是阔折叠

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

美军再袭伊朗格什姆岛

无障碍浏览 进入关怀版