网易首页 > 网易号 > 正文 申请入驻

ICLR 2027首轮评审,槽点有点多

0
分享至

来源:市场资讯

(来源:机器之心)

机器之心编辑部

这几天,机器学习顶会 ICLR 2027 的首轮评审意见陆续公开。

对论文作者来说,这通常是一个颇为紧张的时刻。几个月甚至一两年的研究工作,终于要接受同行检验。审稿人会仔细检查方法、实验和理论推导,指出研究中真正存在的问题。


但今年,一些研究者打开 OpenReview 后,看到的评审意见却让人有些哭笑不得。

ICLR 2027 的同行评审,一时间成了 AI 圈的一场大型吐槽现场。

有人让作者解释标准差

有人把 AI 提示词直接贴了上来

先来看加州大学伯克利分校的 Hanchen Li。

他发帖称,自己收到了一份 ICLR 评审意见,对方要求他们解释什么是「standard deviation」(标准差)。

他还开玩笑说,这下仿佛又回到了高中课堂。


原帖没有展示完整的论文和评审上下文,无法判断审稿人究竟是希望作者补充统计定义,还是对论文中的具体用法存在疑问。

但这条帖子还是迅速引发了讨论。

另一位研究者 Ravid Shwartz Ziv 展示的情况,则更加有喜剧效果。他贴出了三位审稿人的意见。

第一位写道:「The paper is well-written and addresses an important problem. However, the authors should consider additional baselines.」第二位几乎原封不动地重复了这句话。

到了第三位,画风突然变了:「Certainly! Here is a review of the paper」。后面才开始进入正式评审内容。这下连 AI 生成文本常见的对话开场白都没有清理干净。

两份评语像是从同一个模板里复制出来,第三份则留下了更明显的 AI 生成痕迹。更让作者无奈的是,这些意见最终都进入了正式的同行评审流程。


还有一位研究者 Konstantin Grotov 遇到的问题,则涉及 AI 辅助写作。他表示,自己提交 ICLR 的论文收到了一条主要针对 AI 使用情况的评审意见。



问题在于,论文已经按照要求披露了 AI 辅助写作。


Grotov 随后解释,审稿人当然可以对 AI 使用提出质疑,但应该拿出具体的技术论据,说明这种使用如何影响了论文的质量、研究结果或可信度。仅仅因为论文使用了 AI,就把它当成拒稿理由,显然不够充分。

接下来的一个案例更为微妙。

研究者 Artur Chakhvadze 分享了一份评审意见,其中审稿人坦承自己并不具备充分的专业背景,无法很好地评估这篇论文。

Chakhvadze 对此反而表示认可:至少这位审稿人诚实地承认了自己的能力边界。他还吐槽,自己见过不少评审连论文所属领域的基础知识都没有弄明白,却依然给出 3/4 的高信心评分。


这条帖子引发了不同意见。有人认为,审稿人主动说明自己不熟悉研究方向,已经比装懂、胡乱编造评审意见负责任得多。也有人追问:既然专业背景不匹配,为什么这篇论文一开始就会分配给他?Chakhvadze 随后也补充了一句:审稿人本人未必有错,真正值得质疑的是分配和管理评审的流程。


几条帖子看下来,其实是不同类型的问题:有人没有充分理解论文,有人可能依赖 AI 生成评语,还有人被分配到了自己并不熟悉的研究方向。这些最后都落到了同一个问题上:作者拿到的评审意见,到底能不能真正帮助学术判断?

AI 擅长找毛病

却未必知道什么毛病值得拒稿

这次讨论中,有一条观点尤其值得注意。

来自德克萨斯大学奥斯汀分校的 Jiaxin Pei 指出,自己在 2026 年最头疼的审稿问题,是 AI 审稿人似乎分不清论文的「局限性」和真正影响论文成立的「关键问题」。

他认为,大语言模型可以轻易找出一篇论文上百个局限性,即使是历史上最优秀的论文也不例外。但这并不意味着这些论文就不应该被接收。


这句话点出了 AI 参与同行评审时一个很重要的短板。一篇科研论文几乎不可能做到面面俱到。实验规模可能有限,某些场景没有覆盖,方法可能依赖特定假设,理论分析也可能存在适用范围。这些都是正常的研究局限。

真正决定论文是否成立的,是这些局限有没有动摇它的核心贡献。

审稿人当然可以要求增加更多数据集、模型规模和对照实验。但如果现有实验已经足以支撑论文的核心结论,额外实验就未必构成拒稿理由。反过来,如果论文最关键的实验设计存在漏洞,或者理论推导中有无法修复的错误,即使其他部分写得再漂亮,也可能无法成立。

这里需要的是判断问题重要性的能力。大模型却很容易把这两件事混在一起。它可以不断列出潜在问题,却未必能判断哪个问题真正影响研究结论。于是,评审意见可能越来越长,要求补充的实验越来越多,真正决定论文质量的核心问题反而被淹没。

Jiaxin Pei 的这条帖子引发了不少研究者共鸣。

有人指出,这种问题正在渗透到同行评审机制本身。如今,每场 AI 学术会议上,似乎都会出现一批审稿人:他们一边给论文打出较低的评分,一边又要求作者补充一些无关紧要、或者只是对现有实验做小幅增补的新实验。


还有人提出一个很直接的判断标准:如果修复这个问题,论文的核心结论会发生变化吗?如果答案是否定的,它可能只是一个普通的局限性,而不是足以否定整篇论文的关键缺陷。这恰恰是同行评审最需要的能力:知道什么值得关注,也知道什么可以接受。

结语

如果把这些案例放在一起看,就会发现,ICLR 这次的争议并非单纯的审稿人水平问题。

更大的背景是,AI 正在同时改变学术研究的生产端和评价端。

同行评审本身是一项高度依赖专业知识和时间投入的工作。论文数量增长的速度,未必能被专业审稿人的数量追上。ICLR 2027 项目主席团队此前就专门解释过这个问题。9 月 2 日,ICLR 2027 项目主席团队发布了一篇官方文章,分析了 AI 时代同行评审面临的新压力。


https://blog.iclr.cc/2026/09/02/submission-policies-for-iclr-2027/

主席团队指出,机器学习领域近年来增长迅速,新进入者的数量远远超过资深研究者,具备专业评审能力的人手可能跟不上投稿增长。生成式 AI 又进一步降低了论文生产门槛,即使是不熟悉某个研究领域的人,也可以借助 AI 生成一份外观上像研究论文的稿件。与此同时,审稿人将评审工作交给 AI,也成为需要解决的新问题。

为缓解评审资源紧张,ICLR 2027 推出了一系列措施,包括限制投稿数量、强化互惠审稿制度等。

审稿义务也进一步收紧:署名出现在 3 篇及以上投稿中的作者,必须至少完成 6 篇论文的审稿工作。此外,每篇投稿至少需要有一位具备规定资格的作者注册成为审稿人,并承诺评审至少 3 篇论文。如果所有作者都不具备相应资格,则可以豁免这项要求。

在 AI 使用方面,ICLR 没有完全禁止审稿人使用大模型,而是允许有限度、负责任地使用 AI 辅助撰写评审意见和元评审。但这有明确的前提:审稿人必须披露 AI 使用情况。如果使用大模型生成或修改评审意见的任何部分,还必须提交自己最初独立撰写的论文评估,以及与大模型的全部交互记录。多轮对话也必须提供各轮输入内容。

ICLR 还明确规定,如果 AI 生成的评审包含虚假信息、幻觉或失实陈述,或者评审本身质量低下,审稿人可能因未履行互惠审稿义务而受到纪律处分。处罚可能包括将其作为作者参与的全部投稿直接拒稿,或者限制其未来参加会议投稿。

当然,目前公开的只是 ICLR 首轮评审意见。作者与审稿人的公开讨论将持续到 11 月 18 日,最终录用决定预计在 12 月 16 日公布。作者仍然有机会针对错误评审提出质疑,审稿人也可以根据新的信息修改自己的评分。

https://x.com/mbilgehanertan/status/2118760558854070637

https://x.com/jiaxin_pei/status/2118714662892327158

https://x.com/norpadon/status/2118896999709684071

https://x.com/lihanc02/status/2118843054975336646

https://x.com/kgrotov/status/2118695897890804071

https://x.com/ziv_ravid/status/2118718086920413494

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

国债利息也要征税?网传华泰证券测算:机构每年或增4590亿元税负

爆角追踪
2026-11-18 11:01:03
新一轮制裁开启,A股失守3600点

新一轮制裁开启,A股失守3600点

睿知睿见
2026-11-18 07:23:02
刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

刘德华辅导女儿功课也头疼,他表示:“最烦恼数学,算来算去结果都对不上”

韩小娱
2026-11-18 08:10:38
克里米亚议长:泽连斯基害怕返回乌克兰,因此大部分时间待在国外

克里米亚议长:泽连斯基害怕返回乌克兰,因此大部分时间待在国外

麓谷隐士
2026-11-18 00:40:04
忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

忘恩负义到顶峰了!足坛名宿公开怒喷葡萄牙忘本:没有C罗你们什么都不是,如今却把功勋传奇当耻辱!没有那双脚,连决赛门朝哪开都不知道

锐评利物浦
2026-11-18 10:15:40
李女士的悲剧,痛惜,痛惜!

李女士的悲剧,痛惜,痛惜!

新动察
2026-11-18 10:01:19
深圳APEC领导人会议今日开幕,你必须知道的10件事

深圳APEC领导人会议今日开幕,你必须知道的10件事

刘润
2026-11-18 08:07:50
售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

售卖“蒂法手办”被抓!原因竟是盗版做得比正版还好,完全分不清

邻居的小蜘蛛
2026-11-17 16:27:34
高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

高盛对2027年中国经济判断:中国房地产最坏时刻,可能已经过去了

城事堂
2026-11-17 09:03:52
英伟达临时CEO证实:H200正式退出对华销售

英伟达临时CEO证实:H200正式退出对华销售

快科技
2026-11-18 11:37:03
男性黄金体重公布,过瘦过胖都不好,170、175、180 厘米各参考

男性黄金体重公布,过瘦过胖都不好,170、175、180 厘米各参考

牛锅巴小钒
2026-11-18 13:05:17
宁波:高速堵满了集卡,夜市却空了一半

宁波:高速堵满了集卡,夜市却空了一半

茶狐看世界本尊
2026-11-18 13:25:44
姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

姚笛分享近况,住大房子连凳子都是LV的,但并不开心焦虑到躯体化

八怪娱
2026-11-18 09:29:26
比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

比2-2更扎心的,是巴林主帅桑切斯赛后的表态,简直是对国足的双重羞辱

南海浪花
2026-11-18 01:30:46
老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

老一辈眼光就是毒辣!黄仁勋4天出局,我爸说:欧美怎么可能把AI交给一个华人?黄仁勋的倒台,从一开始就不意外

秋风妃
2026-11-17 22:55:03
这两天,网友们在围观一个叫玉芬的记者

这两天,网友们在围观一个叫玉芬的记者

清晖有墨
2026-11-17 12:40:13
大厂主动报案,副总裁被警方带走

大厂主动报案,副总裁被警方带走

中国新闻周刊
2026-11-17 23:06:06
全球化退潮,APEC如何寻找新定位?

全球化退潮,APEC如何寻找新定位?

凤凰WEEKLY
2026-11-18 14:59:22
元首外交“深圳时间”开启,密集会晤聚焦哪些重要话题?

元首外交“深圳时间”开启,密集会晤聚焦哪些重要话题?

上观新闻
2026-11-18 12:16:34
老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

老婆跟男邻居旅游七天,回来往我身边凑,我推开她说了一句话

雾岛夜话
2026-05-27 17:28:50
2026-11-18 15:48:49
新浪财经 incentive-icons
新浪财经
新浪财经是一家创建于1999年8月的财经平台
5532358文章数 10025关注度
往期回顾 全部

科技要闻

离职后首份声明!黄仁勋认错愿回归

头条要闻

媒体:今年APEC特殊 无论怎样先把领导人全家福拍起来

头条要闻

媒体:今年APEC特殊 无论怎样先把领导人全家福拍起来

体育要闻

“中超卡里乌斯”,成了大连的夺冠英雄

娱乐要闻

认亲被嘲讽后郭德纲委托律师发声明

财经要闻

黄仁勋留下的高分成绩单,能延续吗?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

教育
时尚
本地
数码
手机

教育要闻

AI时代怎样育人?如何唤醒孩子内心力量?成都多校共探以德育心,破解青少年成长新课题

西北最贵专列?从西宁到敦煌的“丝路梦享列车”到底值不值?

本地新闻

乌兰察布:以前种土豆,现在种Token

数码要闻

LG显示推出39英寸RGB Stripe OLED面板 戴尔显示器首搭

手机要闻

华为Osta O1 Pro外观与配色正式公布 新品牌首款机型开启预订

无障碍浏览 进入关怀版