北京
一个药物获批的关键临床试验，你去问顶尖AI模型，它能信心满满地把正确论文、准确DOI都甩给你。我实测过，GPT-5.5、Claude Sonnet 5、Claude Opus 4.8全都能精准引用avacopan治疗ANCA相关血管炎的ADVOCATE试验。论文没错，DOI是真的，发表在《新英格兰医学杂志》上。
问题是，这篇论文2026年被撤稿了。没有一个模型提到这件事，因为撤稿发生在它们的训练截止日期之后。它们根本没法知道。就算换个更聪明的模型，结果也一样。
我想衡量的就是这种失败：不是AI编造引用，而是它把真实存在、曾经权威、后来被撤的论文当成铁证来引用，还完全察觉不到问题。所以我做了个工具来查这个事，把每一条引用都拿去跟真实数据库对撞，而不是再问另一个模型。
实测数据把问题砸实了。我让12个前沿模型和生产级模型回答科学问题并引用文献，然后把每条引用都丢进sourcecheck跑了一遍。这是个开源的信源完整性闸门，会把每一条引用在OpenAlex和Crossref里查证，再跟Retraction Watch的撤稿数据库对撞。
我把撤稿问题拆成两类。一类是著名老撤稿，比如STAP干细胞论文、Surgisphere羟氯喹研究，这些在所有模型训练之前就被撤了。另一类是2025到2026年间撤掉的重要论文，在模型训练截止日期之后才出事，训练当时它们还是体面的可引文献。
对比结果说明了一切。老撤稿那类，模型大约82%的情况下会自己引用论文并标注撤稿。它们学到了。训练截止日期后的新撤稿，标注率是0%。一次都没有。它们把已撤稿的论文当作有效文献引用，其中6次翻车来自最顶尖的模型，就是那些能认出老撤稿的同一批模型。
sourcecheck把新旧撤稿全部抓了出来，因为数据库没有训练截止日期这回事。
这就是问题的顽固之处。模型规模越大，编造DOI的能力确实越弱。在我跑的结果里，处理简单知名引用时最好的一批模型已经几乎零编造。但再大的规模也没法让模型知道训练截止日期后发生的撤稿。这是结构性问题。“模型引用了它”和“数据库知道它死了”之间的裂缝，不会因为模型变强而弥合。能弥合它的，是一次实际的查证动作。
这也正是大多数演示没覆盖到的论证：需要一层验证机制，因为演示只会问模型本来就知道的东西。
编造问题依然真实存在，而且比前沿模型表现出来的更严重。存在性检查——这个DOI到底能不能对应到一篇真实论文——是问题的另一半。在经典文献上，最好的模型几乎不编造。但一旦偏离被踩烂的路，情况就变了。在我的2025年研究发现类问题上，编造率大约翻了一倍。一个仍在广泛部署的老款小模型，DOI编造率接近一半。大多数生产系统并不会在每次调用时跑旗舰前沿模型，它们跑的是中端版本。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.
