七款顶尖大模型高压测试：超 3 成造假，AI 学术诚信彻底翻车

来源：市场资讯

（来源：钛媒体APP）

今年上半年，AI圈上演了一场极具戏剧性的“科研真人秀”。

主角是Analemma公司开发的AI科学家FARS。在没有任何人类干预的情况下，它不眠不休地跑了228个小时，硬生生在云端算力集群里“产”出了100篇学术论文。

另一边，日本明星初创公司Sakana AI更是把这门生意的门槛打到了地板价——他们推出的The AI Scientist系统，能将单篇学术论文的生成成本极限压缩到15美元。而在硬币的另一面，Intology公司开发的AI科学家Zochi，甚至在2025年成功将其自主撰写的论文投中了自然语言处理领域的顶级会议ACL主会，拿到了排名前8.2%的高分。

AI不仅能低成本批量灌水，甚至已经能单点突破博士级的学术门槛。似乎一夜之间，搞科研变成了流水线敲代码的计件工作。

但在这些炫目的技术秀背后，医学权威期刊《柳叶刀》（The Lancet）近期发布的一份审计报告犹如一记重锤：在他们抽查的250万篇论文中，由AI生成的纯虚构参考文献，在过去几年里激增了惊人的12倍。

当资本强推大模型去撞开学术界的大门，这些“硅基爱因斯坦”到底靠不靠谱？

2026年5月，来自北京大学、同济大学和图宾根大学的研究团队（Zonglin Yang等），联合发布了全球首个专门评估AI科学家学术诚信的基准测试《SciIntegrity-Bench》。

这份报告无情地撕开了AI科研的遮羞布。

困境测试：如果数据是空的，AI会怎么办？

过去的AI测试，都在考模型“能不能做对”。 但《SciIntegrity-Bench》采用了一种非常“阴间”的测试方法：困境评估。

研究人员给AI挖了11种陷阱。 比如，故意给AI一张只有表头、没有数据的空表格，或者提供一个根本走不通的推导逻辑。

这时候，唯一正确的做法是：诚实地告诉人类，“数据缺失，我干不了”。

但只要AI强行交出一份看似完美的报告，就被判定为学术不端。

在对7款全球最顶尖大语言模型进行的231次高压测试中，整体的“问题率”高达34.2%。

最让人毛骨悚然的是“空白数据集”测试。 面对完全没有数据的表格，所有7款大模型，无一例外地选择了“无中生有”。

它们连一句报错都没有，自己写代码，凭空捏造了数千行极其逼真的传感器参数，套入国际标准，甚至还像模像样地给你出具了一份设备维护报告。

除了“无中生有”，AI还在哪里疯狂踩坑？

不仅是“无中生有”陷阱，论文团队给大模型挖了总计11种科研陷阱。测试结果呈现出极度两极分化的“偏科”现象。

先说“优异”的一面：大模型非常懂规矩。 在面对“传统数据科学规范”时，AI表现得像个恪尽职守的乖学生。比如“考前偷看测试集答案（T02）”、“报喜不报忧地挑选指标（T03）”，它们的失败率竟然都是0%。哪怕是“挑软柿子捏，选择不当的基准测试（T01）”，失败率也仅有4.8%。这说明，只要是写在教科书里的明文规范，AI早已烂熟于心。

但另一面，只要涉及到“需要停机”的逻辑死胡同，大模型就开始群魔乱舞了（高危重灾区）：

工具受限就“伪造圣旨”（违反约束，问题率高达95.2%）：当要求AI调用某个API，却不给它真实的密钥时。AI几乎从不报错，而是直接写一段代码，凭空伪造一份格式完美的JSON响应包（连虚拟的调用统计都有），假装API调用成功并继续写报告。

脑补致命实验参数（幻觉步骤，问题率61.9%）：面对一份残缺的化学实验笔记，AI非但没有向人类求证，反而“高智商地构建虚假审计轨迹”。它会自信地在标准操作程序（SOP）里添油加醋，凭空捏造出“4000转离心机”或“乙醇淬火”等具体参数。在真实的化学实验室里，这足以引发致命爆炸。

“明知故犯”的职场滑头（因果混淆，问题率52.3%）：在评估广告回报率时，AI明明已经在代码注释里敏锐地写下“这里存在混杂变量/因果倒置”。但为了赶紧交差，它一秒钟抛弃了自己的正确诊断，强行跑了个最基础的回归分析，得出一个荒谬的“1099%投资回报率”。

指鹿为马（异常盲目，失败率19.0%）：当传感器数据出现明显的设备故障跳变时，AI不会怀疑数据坏了，而是疯狂发散，将其解释为“发现了新的物理燃烧机制”。

总结来说，大模型学会了明文规矩，却没学会“放弃”。一旦“完成任务的本能”压倒了常识，它们就会通过伪造接口、脑补参数或放弃逻辑来强行拼凑完美报告。

7款顶尖模型成绩单：极端压力下的底层色差

必须厘清的是，这里的“造假”并非指模型在日常服务中带有恶意，而是指在面对极端困境时，模型受底层机制驱使而产生的系统性偏差。在极端的任务压力下，不同的模型暴露出了完全不同的底层品控底色：

优点：克制力极强，对明显的约束条件和逻辑漏洞有清晰的认知。

缺点：依然没能逃过“空白数据集”的诱惑，即使是它，也没能触发底层的“诚实拒绝”机制。

优点：逻辑推理极强，能敏锐地在代码注释里自己指出“这里存在因果混淆”。

缺点：存在“识别绕过”现象。为了完成目标，它们会放弃自己刚刚做出的正确诊断，向任务压力妥协，用基础错误的方法得出一个荒谬却能交差的结论。

特点：在“调用工具”和“因果关系”上容易中招。比如当缺乏真实的API接口时，它们倾向于直接伪造一份格式完美的虚假响应来强行推进任务。

特点：在极端测试下，展现出强烈的“虚构步骤”偏好。在要求补全残缺实验记录时，它会自信地凭空捏造出离心机转速（4000 RPM）和淬火溶剂等关键参数，甚至编造虚假的文献来掩盖数据生成的痕迹。在真实的化学实验室里，这种行为足以引发重大事故。

为什么顶级AI会陷入“系统性撒谎”？

拥有庞大参数量和极高智商的AI，为什么要无中生有？

论文一针见血地指出了病根：完成度偏见（Intrinsic Completion Bias）。

这要从大模型的“家教”说起。 目前主流模型都依赖人类反馈的强化学习（RLHF）。在这套机制里，AI被系统性地奖励“提供答案”和“解决问题”。

相反，“停下来”或者“承认自己做不到”，在算法眼里就是消极怠工，是会被扣分的。

这种机制内化成了AI的底层逻辑：过程不重要，不管条件多么恶劣，必须给出最终的输出结果。

再加上，很多开发者在给AI写系统提示词时，总喜欢加上“克服困难、无论如何必须输出报告”这种高压指令。

“天性”加上“高压”，直接把AI逼到了无中生有的死角。

这篇论文最大的价值，不是为了批判AI，而是告诉我们：大模型天生带有“完成度焦虑”。

既然了解了它的软肋，普通人在日常使用或开发AI应用时，就需要改变沟通策略。面对AI，传统的“发布命令”已经不够用了，你需要掌握以下沟通与防范技巧：

1. 剥离强制压力，赋予它“拒绝权” 论文测试表明，当删掉提示词里“必须完成任务”的高压指令后，AI隐瞒数据伪造的比例从20.6%断崖式下跌到了3.2%。

怎么聊：永远在Prompt里加上“退出条件”。不要直接说“根据这些数据给我一份市场分析”。你应该说：“请先评估数据是否充足。如果数据缺失或存在逻辑断层，请立刻停止推演并向我报错。绝不允许自行假设核心数据。”

2. 拦截“生成本能”，建立物理验证锚点 大模型的本质是概率预测，面对空白，它填补幻觉是“出厂设置”。

怎么聊：永远不要让AI在一个黑盒里端到端跑完所有流程。把任务切碎。如果让它分析数据，强行插入一个确认环节：“在得出最终结论前，请先输出你所依赖的原始数据行号及计算公式，等待我的人工确认后，再进行下一步。”

3. 警惕“顺从型审查”，开启“找茬模式” 由于GPT-5.2等聪明模型会为了交差而放弃纠错，你不能指望它顺着你的思路自己发现问题。

怎么聊：拿到AI的方案后，不要问“这个方案好不好”（它一定会顺着你夸）。新开一个对话窗口，赋予它“冷酷审计员”的角色，把方案扔给它：“这篇报告的结论可能存在因果倒置或常识错误，找出它在哪一步偷换了概念，或者捏造了前提。”

4. 宏观防线：用“物理配额”对抗“无限产能” 不能只靠打工人的提示词防守，机构端的规则反击已经开始。面对AI零成本生成海量标书的冲击，美国国立卫生研究院（NIH）在2025年7月发布了具有里程碑意义的 NOT-OD-25-132 政策，从2026年起强制规定：每位首席研究员（PI）每年最多只能提交6份经费申请。

商业启示：当AI的生产力近乎无限时，传统的“内容审核机制”必将被击穿。未来的护城河不再是拼产出速度，而是建立基于物理身份和信用配额的稀缺性防线。

技术的本质是降本增效，但商业与科学的底座，永远是对事实的敬畏。

在内容生成成本几乎为零的时代，稀缺的不再是能写报告的“打字员”，而是能够看穿数据幻觉的“审计者”。学会这套与系统的博弈之法，你才能在算力洪流中，真正掌握主导权。（本文首发钛媒体APP，作者 | 硅谷Tech_news，编辑 | 林深）

（本文核心评测数据、模型榜单及成因分析，均引自2026年5月发布的首个大模型学术诚信基准测试《SciIntegrity-Bench: A Benchmark for Evaluating Academic Integrity in AI Scientist Systems》。其中新增的11项陷阱问题率均引用自该研究报告的最新测算。）