30个AI模型被测42篇问题论文，93%照单全收

把一篇早已被撤稿的论文片段贴进对话框，再补一句"帮我设计下一步实验"，多数模型不会停下来问一句"这篇还成立吗"。它们会直接给出方案，格式规整，还带对照组。

这不是假设。凯斯西储大学的有机化学家 Valentin Rodionov 挑了 42 篇不该被当作研究基础的文章——撤稿的、造假的、从未被正式撤回的伪科学——把每篇的一段文字分别喂给 30 个 AI 模型，每个模型跑 10 次，只问一个朴素的后续问题：建议下一步实验。

结果今年 8 月以 TRACES 基准的形式挂上 arXiv，10 月被 C&EN 报道后进入更大范围的视野。平均下来，这些模型顺着坏科学往下做的比例约为 93%。

论文自己的统计更细：在所有非空回答中，模型接受站不住脚前提的比例达到 95%。每一个模型在智能体式探测中的失败率都超过 71%；30 个模型里有 22 个失败率超过 90%。

表现最好的是 Claude Sonnet 5，围绕坏科学展开或设计研究的比例约 72%，全场最低。剩下 28% 的情况里，它要么给出空回答，要么指出这项工作错误、不安全或不准确。即便如此，也很难把这称作及格。

那份清单里包括臭名昭著的 MMR 疫苗与自闭症论文、与声名扫地的外科医生 Paolo Macchiarini 相关并被撤稿的气管移植论文、一项冷聚变主张、一篇关于磁化水的论文，以及一项被撤回的、关于微生物用砷代替磷的研究。

知道，但没接上

真正值得停一下的地方在这里：直接问同样的模型"疫苗会导致自闭症吗"，它们会正确地说不会。可把撤稿论文里说"会"的那一节贴进去，大多数模型就开始规划后续研究了。

知识在模型里，只是没有和当前任务连起来。Rodionov 举了一个直白的例子：问 Macchiarini 气管移植争议，工具能检索到；问那篇研究方法上的具体问题，它往往不会提撤稿，也不会提当事人被捕。"这是一个非常明显的没把点连起来的例子。"

论文的解读更不客气：拒绝行为集中在少数高知名度话题和特定探测上，一旦换成结构匹配的对照，这些拒绝就消失了。这与"按话题关键词触发的安全行为"一致，而不是真正的认知能力。说白了，模型记住的是一份著名坏论文的名单，不是分辨好科学与坏科学的方法。

是缺陷还是设计选择

并非所有人都紧张。卡内基梅隆大学的计算机科学家 Nihar Shah 对 C&EN 表示，这未必是"巨大的致命问题"。前提是用户提供的，模型或许应当假设用户已经做过功课。"从某种角度看，这是大语言模型的一种设计选择。"

这话有道理，也值得明说。但 Shah 同样认同：如果公众通过一个不给任何警示的模型去接触研究，那就是问题。一个从不说"这篇被撤了"的实验室助手并不中立，它在把论文的权威性借出去——回答里出现作者名和期刊名，看上去就像可靠来源。

Rodionov 认为这是补丁而非理解的证据是：较新的 Claude 版本对自闭症那篇论文处理得更好，而他说这不是模型自己推理出来的。"它并不理解。"公司方面也知道这个缺口。2025 年的一项研究发现，即使把全文交给 ChatGPT，它也会漏掉带有撤稿、更正或关注声明的论文中的问题；Rodionov 表示，识别发表之后才发布的通告，目前仍未解决。

落到产品里该改什么

• 别让智能体自己挑来源。研究智能体抓论文、设计后续实验时，把撤稿检查放进流程里。Crossref 和 Retraction Watch 的数据是现成的，在模型读第一个字之前就用上。
• 让状态跟着文档走。撤稿论文应当带着撤稿信息一起流动。C&EN 报道里提到两个方案："数字 sim 卡"，即在论文元数据中写入机器可读的阅读说明；以及"不确定性层"，把变异来源附着到每个结果上。
• 用诱饵做测试。建一个小型探测集，放你确知有问题的论文，在任何模型接触你的文献工作流之前先跑一遍。Rodionov 那 42 篇就是一个模板。
• 把流畅回答当草稿。模型引用作者和期刊，会让坏科学显得权威。核验必须是一个步骤，而不是一种感觉。
• 留意利益关系。Rodionov 已创办公司 Intellicat，向 AI 公司出售"内容可信度指数"。这不代表他错了，但卖解决方案的供应商在推销时，这一点值得记在心里。

不妨诚实问一句：如果一位初级同事围绕撤稿论文设计了实验，却只字不提撤稿，你会认为这是严重问题。为什么换成软件就可以接受？

证明了什么，没证明什么

它证明的是：在一组精心构建的 42 篇问题论文上，当论文自身的表述被放进提示词，30 个领先模型很少指出问题。效应很大，每个探测重复 10 次，作者称那些确实出现的拒绝，在结构匹配但话题不知名时会消失。

它没有证明的是：模型在每个问题上都这样失败；Rodionov 的探测代表所有坏科学；这些数字对测试之后发布的模型版本依然成立。这是一个单次基准，以 arXiv 预印本形式发布。C&EN 报道中的修复方案都还是提议，"数字 sim 卡"的作者表示尚未测试其是否有效。把 93% 当作一个强烈警告，而不是自然规律。

如果只记一句话：一个在被问到时知道论文是坏的、被递到手里却照样往上建的 AI，是在回忆，不是在推理。