反击AI论文！arXiv每年拒掉2%造假内容，自动化工具加入审核

鹭羽 发自 凹非寺
量子位 | 公众号 QbitAI

AI生成论文泛滥成灾，arXiv平台看不下去了——

紧急升级审核机制，用自动化工具来检测AI生成内容。

Nature最新发现，原来每年竟然都有2%的论文会因为AI使用被拒？！

比如像，bioRxiv和medRxiv每天都要拒绝十多篇公式化AI手稿，每个月就高达7000多份。

本来是方便快速分享成果的预印本平台，现已成为了AI内容的温床。

一方面AI写作泛滥成灾，另一方面又要确保不会误伤到合理的AI英语润色需求。

两难之间，预印本平台也是出手整顿了…….

不过这件事还得从一篇离谱的预印本论文说起。

AI生成内容泛滥

这篇论文题目名为“自我实验报告：梦境中生成式人工智能界面的出现”，7月发表在PsyArXiv上。

乍一看好像没什么问题，直到“不幸”被一名心理学家点开了文档。

嚯好家伙，整篇论文只有短短几页，署名还只有作者Jiazheng Liu一个人，也没有注明隶属机构。

再仔细看看内容呢，所描述的AI实验更是脱离实际，基本可以盖棺定论用了AI。

由于没有明确声明AI的使用情况，PsyArxiv也是立即下架删除了这篇论文。

结果没过多久，由于预印本审核不严，该作者再次在PsyArxiv上传了标题和摘要几乎一模一样的预印本。

另外作者还向Nature附了一封邮件，邮件内容表示AI在该论文生成中发挥作用有限，只用于数学推导、符号计算、组装和应用现有数学工具、公式验证以及另外八项任务。

他称自己是常驻中国的独立研究人员，没有高等教育学位，唯一的工具还是台二手智能手机……当然，现在第二个版本也已被删除。

不过这也只是众多AI生成论文中的其中一篇，据arXiv估计，每年都有约2%的论文，因为涉及AI和专门批量造假学术论文的论文工厂，而被平台拒之门外。

尤其是在ChatGPT推出后，这一比例还出现了大幅度增长的情况，LLM生成了arXiv上22%的计算机科学摘要以及约10%的bioRxiv生物学摘要。

在一些发表在生物医学期刊的摘要中，AI生成也达到了14%。

PsyArXiv也对此发表了声明，明确表示涉及AI生成的论文内容有所增加，对于他们这类降低研究共享门槛的非盈利组织而言，越来越多诸如此类的内容，只会让读者削弱对平台共享内容的信任程度。

筛选低质量的内容需要资源支持，且会降低论文提交后的处理速度，这与预印本平台致力于让科学家们更容易发表工作的初心相悖。

而与此同时，AI幻觉导致的虚假预印本也会带来错误信息，误导从事相关工作的科研人员。

如何能够在保持快速审核的同时，确保质量水平，现已成为预印本平台共同的挑战。

预印本平台没有坐以待毙

要知道，AI论文生成并不能全盘否定，许多研究人员会使用AI工具来提高清晰度或者总结数据，尤其是对于一些英语非母语的作者，他们需要AI协助完成润色工作。

这是相当合理的行为，并不存在论文欺诈，真正值得担心的是那些完全由AI捏造方法、结果的论文内容。

但二者之间其实相当难以区分，一些预印本平台，如PsyArXiv，会直接撤下被标记为内容存疑的论文，但还有一些平台考虑到可能会误伤，所以虽然也会将内容标记为“已撤回”，但在没有明确法律要求的情况下，不会直接进行删除。

不过他们也没有坐以待毙，现在会使用各种自动化工具和人工筛选程序来捕捉此类可疑内容，如Research Square正在使用一款名为Geppetto的工具来检测人工智能生成文本的痕迹。

arXiv也在试图提高综述性论文的发表标准，因为这类论文往往投稿数量巨大，且很多都是AI生成，这样做的目的就是为了丰富个人履历。

一直依赖人工筛选的openRxiv，现在也在寻求自动化工具使用，以进一步识别AI生成内容的特征。

当前预印本平台们都正在加急采取一系列反制措施，包括检查异常用户行为、在投稿流程中增设步骤、调整内容公开可见的方式或时间，以阻止低质量内容进入平台。

但这无异于隔靴搔痒，预印本平台在反击的同时，AI也在不断发展。

更有甚者，一些作者为了规避被自动化工具抓住AI使用痕迹，会在论文里加入提示词，试图欺骗自动评审。

也有专业的编辑表示，这对于预印本平台来说相当可怕，因为预印本其实本质还是未经人工审查的。

所以当未来AI发展到，虚假与真实内容之间已经完全无法区分的时候，预印本平台又将如何应对呢？

参考链接：
[1]https://www.nature.com/articles/d41586-025-02469-y
[2]https://www.cos.io/blog/evaluating-ai-impact-on-open-research-infrastructure