网易首页 > 网易号 > 正文 申请入驻

AI代写论文露馅?顶刊主编一问,作者啥都答不上来

0
分享至

编辑|Panda

你写了一篇论文,现在问你三个问题:你这篇论文的问题设定是什么?这个符号代表什么?摘要里说的这个结论,在正文哪一部分得到了支撑?

如果论文真是你写的,那这些问题肯定很简单,甚至不用准备就能答出来。

但在机器学习期刊 TMLR(Transactions on Machine Learning Research)最近的一次小规模试验中,有三篇论文的作者连这些基础问题都答不上来。



9 月 16 日,TMLR 在官方博客上发布了一篇题为《向作者询问他们自己的论文》的文章,作者是该刊联合主编之一、卡内基梅隆大学(CMU)的 Nihar B. Shah。他在两周的主编轮值期内,挑出 10 篇原本要被直接拒稿(desk rejection)的投稿,没有直接拒掉,而是逐一约作者「聊聊」。结果,这 10 篇论文还是全部被拒了。



https://medium.com/@TmlrOrg/asking-authors-about-their-own-papers-3d2e04e5dee0

同为 TMLR 主编的 Gautam Kamath 在 上转发时称这是一次「英勇的实验」,并说它证实了很多人心里早有的猜测:一部分投稿者其实并不知道自己的论文里写了什么。



抽查 10 篇待拒稿,都拒了

据 Shah 的描述,这次试验发生在 2026 年 8 月 14 日至 28 日他轮值主编期间。他从待直接拒稿的论文中非正式地抽取了 10 篇,通过审稿平台 OpenReview 给作者发去一条简短消息:一位主编希望在送审之前和您聊聊,以便更好地理解这篇论文,如果方便,请发邮件告知可约时间。

消息发出后,事情迅速分化。一篇论文的作者直接撤稿;一位作者回复说手头事情太多,没空通话;剩下 8 篇约上了会,但其中一位作者到点没有出现。

最终与 Shah 见上面的,是 7 篇论文的作者。他们身份各异,包括本科生、硕士生、博士生、高校教师和独立研究者。这批论文大多是单作者论文,但并非全部。



Shah 的提问分两类:一类是关于问题设定、符号和论文所声称结果的基础问题,另一类是关于具体技术表达式、理论结果和实验设计选择的细节问题。

7 场会谈里,只有 1 篇论文的作者答上了全部问题。 另有 3 篇的作者能讲清高层思路,但一被追问技术细节就陷入困难。最糟糕的是另外 3 篇,作者连基础问题都答不上来,而且这 3 篇全是单作者论文。

Shah 写道,其中两位作者看起来对自己论文的内容几乎没有实质理解,另一位则找不到摘要中声称的几项关键结果究竟在正文哪里给出或得到支撑。

唯一全部答对的那篇,也没能过关。Shah 在审读中发现,论文的一项主要结论存在重大错误,作者随后也承认了。TMLR 对这篇作了直接拒稿,但允许作者在修正错误或收窄结论后重新投稿。其余 9 篇则被直接拒稿,且不开放重投。

会后的两个插曲

Shah 在文中还记录了两件事,读来颇具黑色幽默。



第一件:有两篇论文的作者在会上答不出基础问题,会后却给他发来了书面答复。Shah 把这两封邮件交给 AI 文本检测工具 Pangram,结果均被判定为「100% AI」。



第二件:另一场会谈中,一位作者试图向 Shah 介绍自己用到的分析方法,结果讲着讲着,无意间完整描述了一套 p-hacking 流程,也就是通过反复调整分析方式、直到数据「显著」为止的做法。

需要说明的是,Shah 本人并不排斥 AI。他在文中坦言,为了在两周内读完 8 篇论文,他自己也借助了 LLM 来辅助理解,甚至学习了一些此前不熟悉的概念。他关心的并不是作者有没有用 AI,而是作者能否为署着自己名字的内容负责。

为什么要做这件事?

TMLR 创刊于 2022 年,由 JMLR 背后的团队运营,以「只看结论是否被证据支撑,不以新颖性和 SOTA 作为拒稿理由」的审稿标准著称。它的审稿人、执行编辑(Action Editor)和主编全部是无偿志愿者,这也让它在今年的投稿潮中格外吃力。

根据 TMLR 6 月发布的公告,过去一年里其投稿量增长到原来的三倍,其中单作者投稿更是暴增至 13 倍,编辑部甚至见过有人一天投出 5 篇论文。Shah 在最新文章中给出的另一组数字更直观:2023 年,TMLR 直接拒稿的比例约为 6%,如今已升至约 53%,也就是说超过一半的投稿走不到外审环节。



面对这种局面,TMLR 在今年夏天密集推出了一系列措施。

其一是按作者设置年度投稿配额。与许多会议「每人最多 N 篇」的固定上限不同,TMLR 采用了一种「调和式」配额规则,一篇论文消耗每位作者的额度会随合著者人数增加而递减。具体参数是:只投单作者论文的人,每年最多投 2 篇;若所有投稿都是 9 人合著,则每年最多 9 篇;活跃的审稿人和执行编辑额度翻倍。该规则从 7 月 1 日起执行。TMLR 在公告中解释,之所以不按人数平摊,是为了防止有人靠挂名「凑作者」来换取更多投稿额度。

其二是引入 AI 审稿。TMLR 7 月宣布,每篇投稿将在常规人工审稿之外附带一份 AI 生成的审稿意见,只评估论文的「可靠性」,即结论是否有准确、清晰、令人信服的证据支撑,不做主观判断,也不给出录用建议,最终决定仍由执行编辑作出。经过评测,TMLR 选用了 CSPaper 的 AI 审稿器。

其三是把「写得清楚」写进录用标准。8 月 28 日,TMLR 修改了原有的「受众兴趣」标准,明确要求论文要向读者清楚地传达其发现。公告直言,当前的 AI 写作往往绕、术语堆砌、难以读懂;如果一篇论文几乎完全由 AI 生成、缺少人的参与,至少以现有 AI 系统的水平,它很可能达不到这一标准。

Shah 在文章结尾总结,这次约谈让编辑部对现有的直接拒稿流程更有信心,配额制度和对清晰写作的强调也被证明很有帮助。

不只是 TMLR

TMLR 的遭遇并非孤例。今年以来,AI 领域几个重要的发表渠道都在与同一个问题搏斗。

6 月初,NeurIPS 官方博客披露,NeurIPS 2026 立场论文(Position Paper)赛道的 971 篇投稿中,有 273 篇(28.2%)被 Pangram 判为 AI 分数 100%。



https://blog.neurips.cc/2026/06/02/ai-generated-papers-in-the-neurips-2026-position-paper-track/

该赛道今年明确要求论文必须「实质上由人类撰写」,AI 只能用于文字润色等外围修改。NeurIPS 同时指出,AI 写作的增长是全面性的:在「评测与数据集」赛道,Pangram 分数不低于 90% 的论文数从 2025 年到 2026 年增长了十倍以上。不过 NeurIPS 也承认检测结果对参数敏感,改用中等尺寸的检测窗口后,AI 分数在 90% 至 100% 区间的论文比例会从 42.7% 降至 12.7%。

更早的 5 月中旬,arXiv 计算机科学板块负责人 Thomas G. Dietterich 在社交媒体上宣布了一项明确罚则:如果一篇投稿中存在作者未检查大模型输出的「确凿证据」,比如幻觉参考文献、遗留在正文里的聊天机器人对话语句,所有作者将被禁止在 arXiv 投稿一年,此后的投稿必须先被正规同行评审渠道接收才能上架。Dietterich 强调,在论文上署名,就意味着每位作者要对全部内容负责,无论这些内容是怎样生成的。



与此相关的数据同样刺眼。据哥伦比亚大学的一项《柳叶刀》研究,在 PubMed Central 收录的生物医学论文中,含有至少一条虚构引用的论文比例,从 2023 年的约万分之 4,升至 2026 年初的约万分之 57。



https://www.nursing.columbia.edu/news/nearly-3-000-peer-reviewed-medical-papers-have-fake-citations-columbia-nursing-ai-assisted-audit-finds

从「查文本」到「查人」

Shah 在文中坦承,这次试验花掉了他 20 到 25 个小时,只处理了 8 篇论文,面对如今的投稿规模,这种做法很难推广。

他同时提到,自己的团队正在研究可规模化的方案。

而就在前几天,Shah 与 CMU 的 Justin Payan、Bálint Gyevnár、Atoosa Kasirzadeh 发布了一篇论文,提出名为greCAPTCHA的评估方法。名字一半取自美国研究生入学考试 GRE,一半取自区分人与机器的 CAPTCHA 验证码。



https://www.cs.cmu.edu/~nihars/preprints/greCAPTCHA.pdf

它的思路是:不再去检测文本是不是 AI 写的,而是直接考作者。作者提交论文和一份个人贡献说明,系统据此自动生成题目,作者在监考条件下作答,最后生成一份评估报告,供期刊、招聘或招生方参考。研究者把要考察的能力称为「核验能力(capacity to verify)」,即作者是否具备批判性评估自己所贡献内容的知识和推理能力。



题目分为四类:在多个版本中识别论文真实报告的数据(预置错误识别)、解释论文没有写明理由的设计选择、解释论文默认读者已知的背景概念,以及指出方法在什么具体条件下会失效。



团队招募了 31 名研究者进行测试,每人分别就自己的论文和一篇陌生论文作答。结果显示,系统区分「自己的论文」和「陌生论文」的 AUC 达到 0.90,去掉选择题后升至 0.934。选择题本身几乎没有区分度,AUC 只有 0.595,原因很简单,答案可以直接在 PDF 里搜到。另一个值得注意的结果是,受试者面对本领域和跨领域陌生论文时,得分没有统计学上的显著差异,说明这套题考的不只是领域知识。

一位受试者的经历颇能说明问题:他在测试前把陌生论文丢给 AI,让它从头到尾讲解了一遍,但面对深入问题依然答不上来,陌生论文得分 1.3,自己论文得分 51。

但这套系统远未成熟。论文报告的最低误判率约为 20%,也就是说,每五位真正的作者里可能有一位被误判。受试者对评分的抱怨最多:不清楚该答到多细、评分标准过于死板。一位作者面对否定自己答案的评分标准时脱口而出,那个东西明明是我自己设计的。还有受试者指出,合作论文中有些部分由合著者完成,自己本就答不上来;也有人担心,这类考试会在无形中考察英语表达、打字速度,对非英语母语者和残障研究者不公平。

结语

Shah 在文中列出了几点结论,这两点值得一看:

一是credit 分配。在今天的科研生态里,学术贡献主要通过论文署名来认定。如果作者无法解释、无法捍卫自己的论文,一篇发表作为「研究者贡献」的信号价值就大打折扣。

二是审稿体系的循环。许多期刊和会议会邀请投稿作者去审别人的论文。如果作者连自己的论文都看不懂,他们能否胜任审稿,自然要打上问号。在 AI 审稿、AI 写作同时涌入的当下,这个循环一旦断裂,同行评审的根基就会被掏空。

当然,这次试验本身也有明显的局限。10 篇样本数量很小,是 Shah「非正式」抽取的,而且全部来自原本就要被直接拒稿的论文,它能说明的是「被判定为低质量的投稿里有什么」,而不是 TMLR 投稿的整体面貌。这一点 Shah 自己也写了:试验的目的之一,正是检验直接拒稿流程是否靠谱。

但 Shah 的这次试验至少给出了一个底线:一篇论文可以由 AI 帮忙完成,但署名的人必须能说清楚里面写了什么。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
台湾统一后,我国仍有三大领土必须收回,个个都是战略要地!

台湾统一后,我国仍有三大领土必须收回,个个都是战略要地!

优趣纪史记
2026-11-19 17:13:06
APEC会后直奔大湾区,越南领导人喊话:非常欢迎中国高科技赴越

APEC会后直奔大湾区,越南领导人喊话:非常欢迎中国高科技赴越

南宗历史
2026-11-19 01:57:42
国际金银大跌,金价逼近3700美元

国际金银大跌,金价逼近3700美元

每日经济新闻
2026-11-19 09:14:21
这是中国最不要脸的一个群体,无耻之极,世所罕见!

这是中国最不要脸的一个群体,无耻之极,世所罕见!

晓楖科普
2026-11-11 13:09:39
赛义德:特朗普会让人感到意外,因为他不忠于任何政治立场

赛义德:特朗普会让人感到意外,因为他不忠于任何政治立场

风起见你
2026-11-19 17:40:07
难以置信?985大学通报三篇论文作假,网友怀疑这些论文拿虾滑当肿瘤!

难以置信?985大学通报三篇论文作假,网友怀疑这些论文拿虾滑当肿瘤!

黯泉
2026-11-19 17:40:54
逆转守第一!76人121:116魔术,谁是赢球的最大功臣,数据不说谎

逆转守第一!76人121:116魔术,谁是赢球的最大功臣,数据不说谎

无意争春
2026-11-19 10:56:32
现货黄金价格跌破3700美元

现货黄金价格跌破3700美元

澎湃新闻
2026-11-19 11:39:07
故事:赖昌星自白:我风流一生,但心里只住过两个人,她胜过结发妻子

故事:赖昌星自白:我风流一生,但心里只住过两个人,她胜过结发妻子

萧竹轻语
2025-11-03 17:25:34
副教授评了个寂寞!在民办高校呆了6年,去年好不容易评上副高,结果一直不聘,工资只有3500,想跳槽到公办,学校直接不认!

副教授评了个寂寞!在民办高校呆了6年,去年好不容易评上副高,结果一直不聘,工资只有3500,想跳槽到公办,学校直接不认!

学术眺望
2026-11-12 20:10:03
莫言:永远不要期望一个没有血缘关系的人,能真正站在你的角度替你考虑问题——这是成年人最大的清醒

莫言:永远不要期望一个没有血缘关系的人,能真正站在你的角度替你考虑问题——这是成年人最大的清醒

杏花烟雨江南的碧园
2026-09-30 16:15:04
西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

西方人终于发现了,中国人对世界大战的理解,与他们想的不一样

文史道
2024-12-08 06:45:03
女澡堂里不敢看的一幕:脱了衣服,女人的底牌全露了

女澡堂里不敢看的一幕:脱了衣服,女人的底牌全露了

王二哥老搞笑
2026-10-17 00:35:34
别人问你退休金,记住一条铁律:先别报数,先说这 1 句

别人问你退休金,记住一条铁律:先别报数,先说这 1 句

普陀动物世界
2026-11-18 05:34:36
美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

美媒彻底慌了!中国顶尖精英正批量撤离美国,这事儿连华尔街日报都坐不住了,11月16日专门发了篇长文哀叹

扶苏聊历史
2026-11-19 13:37:49
刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

刘畊宏直播间凉了,“老板娘”的身材戳破了多少人的减肥梦?

看尽落尘花q
2026-08-23 19:28:46
孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

孙骁骁挺二胎孕肚带女儿游迪士尼,坐旋转木马时,任重感慨:从2个人到3个人现在到4个人

韩小娱
2026-11-19 15:05:22
风向变了?西方媒体集体改口:中国,或无需再向世界证明什么

风向变了?西方媒体集体改口:中国,或无需再向世界证明什么

混沌录
2026-11-12 23:39:07
俄军战场收尸发现怪现象,阵亡乌军遗体上,有一样东西被拿走了

俄军战场收尸发现怪现象,阵亡乌军遗体上,有一样东西被拿走了

古史青云啊
2026-11-18 14:25:56
剖析项英牺牲真相:为何多次拒绝毛泽东北上命令?因自己两个私心

剖析项英牺牲真相:为何多次拒绝毛泽东北上命令?因自己两个私心

阿胡
2025-04-20 11:05:46
2026-11-19 18:52:49
机器之心Pro incentive-icons
机器之心Pro
专业的人工智能媒体
14515文章数 142761关注度
往期回顾 全部

科技要闻

老黄想回来?英伟达董事会:没门

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

头条要闻

中国女子在希腊失踪半年 保险箱发现10万欧元现金

体育要闻

伪强队?拥4亿豪阵欧国联6连败+世界杯出局

娱乐要闻

陈晓楠对话厉娜和许飞引全网热议

财经要闻

10万人逼宫英伟达,黄仁勋要复职了?

汽车要闻

全新红旗H9最有意思的地方,是它开始有自己的豪华逻辑了

态度原创

房产
时尚
本地
教育
公开课

房产要闻

6.6亿!海口卖地!

秋天衣服别总穿纯色,试试这几件条纹单品,简单时尚又减龄

本地新闻

乌兰察布:以前种土豆,现在种Token

教育要闻

济南市历下区燕山小学教育集团将出席2026第四届课博会,解码“做中学”视域下小学科学教育生态构建

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版