AI会议论文被生成式AI幻觉污染

GPTZero作为一款AI输出检测工具，再次发现科学家们因依赖不可靠的AI助手而损害了自己的可信度。

这家位于纽约的公司在神经信息处理系统会议(NeurIPS)接受的51篇论文中识别出了100个幻觉内容。此前，该公司还在国际学习表征会议(ICLR)的审查论文中发现了50个虚假引用。

GPTZero的高级机器学习工程师Nazar Shmatko、机器学习负责人Alex Adam和学术写作编辑Paul Esau在博客文章中指出，生成式AI工具的普及引发了"AI垃圾内容的海啸"。

他们观察到："在2020年到2025年间，NeurIPS的投稿量从9467篇增长到21575篇，增幅超过220%。为了应对这种情况，组织者不得不招募更多审稿人，导致了监督、专业匹配、疏忽甚至欺诈等问题。"

这些幻觉内容主要包括生成式AI模型虚构的作者和资源，以及所谓的AI生成文本。

法律界也面临类似问题。已有超过800个错误的法律引用被标记为AI模型生成，通常对涉及的律师、法官或原告造成后果。

学者们可能不会面临与法律专业人士相同的不当行为制裁，但草率应用AI的后果不仅仅是诚信丧失。

AI论文提交量激增的同时，学术论文中实质性错误的数量也在增加——如错误公式、计算错误、图表错误等，而不仅仅是引用不存在的资源材料。

Together AI、NEC美国实验室、罗格斯大学和斯坦福大学的研究人员在2025年12月发表的预印本论文中，专门研究了三个主要机器学习组织的AI论文：ICLR(2018-2025)、NeurIPS(2021-2025)和TMLR(机器学习研究期刊)(2022-2025)。

研究者发现："已发表的论文包含相当数量的客观错误，每篇论文的平均错误数量随时间增加——从2021年NeurIPS的3.8个增加到2025年的5.9个(增长55.3%)；从2018年ICLR的4.1个增加到2025年的5.2个；从2022/23年TMLR的5.0个增加到2025年的5.5个。"

虽然相关性不等于因果关系，但当NeurIPS论文的错误率在OpenAI的ChatGPT推出后增长了55.3%时，生成式AI工具的快速采用不容忽视。对科学家来说，不加检查地使用AI的风险不仅仅是声誉受损，还可能使他们的工作失效。

GPTZero认为其幻觉检查软件应该成为出版商AI检测工具的一部分。这可能有助于确定引用是否指向真实研究，但也存在声称能使AI创作更难被检测的对策。例如，一个名为Humanizer的Claude代码技能声称它"移除文本中AI生成写作的痕迹，使其听起来更自然、更人性化"。还有许多其他反取证选项。

国际科学、技术和医学出版商协会(STM)最近的报告试图解决学术界面临的诚信挑战。报告显示，2024年学术交流达到570万篇文章，比五年前的390万篇有所增加。报告认为，出版实践和政策需要适应AI辅助和AI制造研究的现实。

"学术出版商绝对意识到了这个问题，正在采取措施保护自己，"撤稿观察网站的联合创始人Adam Marcus在给The Register的邮件中说道，该网站记录了许多与AI相关的撤稿。"但这些措施是否会成功还有待观察。我们正处于AI军备竞赛中，防守方能否抵御围攻尚不清楚。然而，同样重要的是要认识到，出版商通过采用优先考虑数量而非质量的商业模式，使自己容易受到这些攻击。他们远非无辜受害者。"

Q&A

Q1：GPTZero在学术论文中发现了什么问题？

A：GPTZero在神经信息处理系统会议(NeurIPS)接受的51篇论文中识别出了100个AI幻觉内容，主要包括生成式AI模型虚构的作者和资源，以及所谓的AI生成文本。此前还在国际学习表征会议(ICLR)的审查论文中发现了50个虚假引用。

Q2：学术论文中的错误率有什么变化趋势？

A：研究显示学术论文中的错误数量在增加。NeurIPS论文的平均错误数从2021年的3.8个增加到2025年的5.9个，增长了55.3%。这种增长趋势与ChatGPT等生成式AI工具的普及时间相吻合。

Q3：如何解决学术论文中的AI幻觉问题？

A：GPTZero建议将其幻觉检查软件作为出版商AI检测工具的一部分。同时，学术出版商正在采取措施保护自己，但效果还有待观察。报告认为出版实践和政策需要适应AI辅助研究的现实。