北京
中国社会科学报综合报道近日，学术预印本开放获取平台arXiv发布了一项对250万篇论文、1.11亿条参考文献的系统性审核结果，提出仅2025年，在arXiv、bioRxiv两大预印本发布平台、SSRN开放获取平台和PubMed Central数据库中就存在近15万条由人工智能编造的虚假参考文献。这些虚假参考文献严重威胁科研成果的可靠性和科学知识获取的公平性。
研究人员表示，学术论文引用的资料应当是可靠的，每篇论文的参考文献都应代表经过同行评议的坚实知识锚点。然而，随着生成式人工智能工具在科学论文写作中的普及，越来越多的读者发现，部分论文引用的参考文献可能根本不存在，甚至论文本身、研究数据乃至作者身份都可能是伪造的。他们在此次审核中发现了大量虚假文献。这些虚假文献并非来自少数学者，而是分散在大量不同的论文中，即每篇问题论文通常只包含少量虚假文献条目。这也意味着存在一种更普遍的现象：人们使用人工智能辅助写作时，没有对其输出的内容进行事实核查。
生成式人工智能工具非常擅长生成看起来合情合理、真实可信，但实际上完全虚假或错误的信息。这些生成式人工智能工具利用海量数据集进行训练，学习各种模式，然后利用这些模式预测下一个词并生成新的内容。因此，它们有时会根据模式创造而不是依赖实际事实来生成并输出内容。这些根据模式创造出来的内容被称为“幻觉内容”，它们不只出现在科学文献中，也出现在政府工作报告、法律文件甚至知名媒体发布的新闻中。科学家此前曾研究过人工智能生成的幻觉内容，但大多数研究要么是在实验室条件下进行的，要么仅限于小样本或狭窄领域。幻觉内容（尤其是科学文献中的幻觉内容）的实际规模及其产生的影响并没有被真正系统性评估过。
通过对比生成式人工智能工具大规模普及前后的未匹配引用率，研究人员发现：虚假文献引用在2024年年中之后出现急剧增长，这与人工智能辅助写作的爆发期高度吻合；在处于职业生涯早期的科学家和小型研究团队的论文中，虚假文献引用的比例明显更高。
研究人员还发现，当前的学术质量审查机制具有脆弱性。预印本审核、期刊编辑审稿和同行评议本应是虚假文献审核的第一道防线，但数据显示，他们只能发现极少量的虚假文献引用。以arXiv为例，尽管在审核流程中已发现部分问题，但预计仍有78.8%的虚假引文成功通过审核并最终出现在平台上。研究人员警告称，幻觉内容正在大规模渗透进知识生产体系中。如果不加以干预，其后果将从误导未来的科学发现，逐渐蔓延至影响政策制定和公众对科学的信任等多个方面。
面对这一系统性风险，部分数据平台已采取严厉措施。例如，arXiv规定：若有明确证据能够证明，论文中存在来自生成式人工智能工具的幻觉内容，作者将被禁止投稿一年；期满后重新投稿必须通过同行评议，且首次投稿需有担保人。与此同时，平台也在开发技术应对工具。但研究人员强调，根本的解决方案仍在于确立学者本身的核心责任。人工智能只能是辅助工具，学者对每一条引文的真实性负有审核责任。此外，期刊编辑、同行评议和平台审核人员也需要通过系统性的培训，提升识别虚假文献的能力。在人工智能技术快速发展的背景下，守住知识真实性的底线，需要整个学术界的共同努力。
赵琪/编译
来源：中国社会科学报
责任编辑：姚晓丹
新媒体编辑：程可心
如需交流可联系我们
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
