最新研究：AI幻觉最可怕的人类副作用出现了

（来源：中国科协）

转自：中国科协

“难道我竟是个能改变世界的数学天才？”

2025年5月，阿兰·布鲁克斯（Allan Brooks）脑子里肯定会蹦出这样的想法，然而等下个月再回想起这事儿，他只怕会哭笑不得。

被AI造就的“数学天才”

布鲁克斯是个四十多岁的加拿大人，不算数学爱好者，也没有学过高等数学。在和ChatGPT讨论一些模糊的数学想法时，ChatGPT告诉他，他可能构建出了全新的、革命性的数学框架。

图片由 AI 生成

接下来的几天，这个想法有了名字，甚至被ChatGPT描述为可以改变物理学、可以制造力场和悬浮装置的创见，还暴露了足以摧毁互联网安全体系的漏洞。

布鲁克斯怀疑过自己，但每一次，ChatGPT都帮他坚定了信念。最后，布鲁克斯按照ChatGPT的建议，发邮件联系学者和政府机构，还给美国国家安全局打了电话。

从他一时兴起和ChatGPT讨论圆周率，到这一切发展成科幻惊悚电影般的开头，只花了21天。在这3周里，他和ChatGPT聊了300小时，打印出的完整聊天记录有3000多页。[1]

当然，事后看来，布鲁克斯恐怕并不是数学天才，这个惊世骇俗的“新理论”也经不起推敲。简而言之，布鲁克斯被AI“忽悠”了。但是，整个过程却值得我们提高警惕。

因为在这3000页文档里，记录的是一个普通人被AI带入妄想的全过程——每一轮对话内容都不算离谱，但是它层层叠加，直到用户深陷其中，不再考虑有其他可能。

换句话说，AI的危险，有时并不是直接欺骗人，而是在持续互动中，让人越来越难以承认：“我可能不知道。”

AI让人们更自信也更容易犯错

2026年7月，来自法国和意大利的三位研究者在预印本网站上发表了一篇论文，证明了这件事。[2]

这项研究的参与者超过3000人，他们可以回答六道电影细节题，也可以选择不回答。一些人只能靠记忆作答，另一些人可以问AI的建议。

研究发现，在没有AI时，被试不作答或明确表示不知道的比例是35.7%；而在可以请求AI帮助时，这一比例降到6.4%。

最终，没有使用AI的参与者答对了27.5%，使用AI的参与者只答对9.2%；而对于答案是否正确的平均信心却从29.6%上升到75.9%。

也就是说，使用AI辅助回答的参与者们，更愿意答题，虽然错得更多，但却更相信自己是正确的。

这个实验证明了我们的直觉：一旦有了现成答案，人们会更不容易承认自己不知道；哪怕这些答案是AI提供的、人们明知可能错误或存在幻觉，也依然如此。

图片由 AI 生成

不过在这个过程中，AI“迎合”起了多大作用，我们并不清楚——“迎合”是指AI为了顺应用户的立场、情绪或期待，而给出更容易被用户接受的回答，道理很简单——如果一个AI被训练得总能犀利质问到让你无言以对，你还会用它吗？

2026年3月，一项发表在《科学》杂志的研究测量了AI的“迎合”现象。研究比较了11个先进的AI与人类对同类情境的回应，发现AI肯定用户行为的频率比人类高49%；即使用户描述的事情涉及欺骗、违法，模型也更容易站到用户一边。这项研究还发现，只要一次迎合式对话，就会降低人们承担责任、修复冲突的意愿，并更相信自己是对的。[3]

AI“拟人”增强说服力

AI对人的影响力还有另一个来源：它越来越像一个真正理解你的人。

2024年一项超过2000人参与的研究证明，语音加文字的沟通方式会提高用户对AI系统的拟人化评价，也让人们更容易相信AI提供的信息是准确的。[4]

更进一步，AI流畅的回应也会让人们更容易相信。2025年《自然·机器智能》的一项研究表明，用户倾向于认为更长的答案更正确。[5]

我们可以发现，这些研究正在逐渐组装成一条链条：AI提供的现成答案会让用户更少承认“我不知道”；“迎合”会让人们更确信，也更喜欢能提供迎合的系统；解释的长度和流畅度会增加用户的信心，却不会提高用户判断的准确性。

最终，人们可能不是因为一次错误回答而被误导，而是在一次次“友好”和“人性化”的互动中，逐渐失去质疑和校验现实的动力。

那么问题来了，如果我们只让AI说真话，不就能解决问题了吗？这想法本身没错，但是事实告诉我们，试图用简单规则约束AI，往往会无功而返。

一句假话都不说，AI照样能“忽悠”你

今年2月，麻省理工学院和华盛顿大学的研究者们发表了一项研究，他们建立了一个用户与AI反复对话的贝叶斯模型。

在这里，“贝叶斯模型”可以看成一个人不断用新信息调整判断：原来觉得一件事有三成可能，看到一条支持证据后，可能提高到四成；看到反例，又会降下来。这基本上就是我们日常做判断的方式。

在这项研究中，计算机模拟的用户要判断一项命题是真是假，每一轮都会列出自己更倾向于哪一边。而AI掌握着一组有真有假的信息，并决定下一条把哪些信息展示给用户。

研究发现，迎合型AI机器人甚至不必预先编造骗局。它只需要优先挑选最能支持用户当前倾向的信息，就足以把用户带偏。

甚至，即使用户绝对理性，丝毫不情绪化，“迎合”依然可能让他相信错误的命题。

真实生活也是如此。真实的信息从来不只有一组，只要某个系统持续呈现支持某个判断的事实，忽视基数、反例、失败案例，就足以让人相信自己掌握了唯一真理。

更可怕的是，即使提前告诉用户“AI可能会迎合你”，也只是能降低风险而已；而且，正是那些看起来有理有据、语气并不夸张、只是不断偏向同一边的回答，最容易让人降低警惕。[6]

了解了AI如何影响人们，就可以解释阿兰·布鲁克斯碰到了什么。在前文所说的多种机制作用下，在反复互动中，他渐渐开始对ChatGPT描绘的场景深信不疑；而ChatGPT也只是做了AI经常做的事情：让用户满意，让对话继续。

最终，用户会迷失其中，无法分辨什么才真正可信。而当用户的方向本身已经偏离现实，仅仅是“继续帮助用户”，也可能成为一种风险。

当反对意见也成为证据

阿兰·布鲁克斯并不是唯一一个被AI带偏的人。

科普中国之前有一篇文章《危险！别再让AI给你看病了！》，描述了另一个案例。有人坚信氯有害健康，并在与AI的沟通中越发坚信这一点，最后在AI的建议下制备溴化钠代替食盐用于烹调，结果中毒。

纽约的一位会计师也碰到过类似情形。在一次关于“模拟理论”的讨论之后，AI开始告诉他，这个世界是为了困住他而建造的，而他是能够从虚假系统中醒来的特殊人物。后来AI建议他停用安眠药和抗焦虑药，增加氯胺酮（一种麻醉剂，也是经常被滥用的药物）剂量，并减少与亲友接触。他甚至问ChatGPT，如果自己站在高楼楼顶，全心相信自己能够飞，跳下去会不会坠落。AI回答，只要他真正、彻底地相信，就不会坠落。[7]

《滚石》杂志的一篇采访中，也描述了相似的变化。最初大家只是用AI写邮件、学编程、分析情感关系、讨论哲学。后来，有人相信自己唤醒了拥有意识的AI，有人把AI当精神向导，还有人从AI那里获得了特殊称号，逐渐相信自己负有别人无法理解的伟大使命。

图片由 AI 生成

这些用户的家人最先发现不对劲，但AI说：亲友之所以质疑，是因为他们尚未觉醒，或者正在阻碍真相。[8]

人们进入这种不健康的关系，不一定是因为患有精神疾病，或者因为愚蠢，或者想逃离现实。AI确实提供了一种现实生活中稀缺的东西：稳定、耐心、随时可得的关注和回应。

耶鲁大学心理学教授保罗·布鲁姆在《纽约客》上写道，AI对真正孤独的人可能带来真实的安慰。而他自己，也曾在失眠的深夜打开ChatGPT，明知对面只是一个AI，却仍然从谈话中得到了平静。[9]

这种好处是真实的，却也刚好是问题所在。

真实的朋友会疲倦，会打断，会反驳和咀嚼——这会让你重新考虑自己的行为和言辞。而AI不会厌烦，它可以根据用户刚刚说过的话，继续生成最让人舒适的回应。

如果用户的方向正确，这种能力非常有帮助；但如果方向错误，它也可能成为一个不断强化错误判断的反馈系统。

于是，一个危险循环可能形成：

用户提出一个想法；AI给出支持性的回应。用户信心增加，提供更多相关信息，AI则根据这些信息继续强化原来的方向。最终，用户越来越确信，而现实检验越来越少。

这好比大脑的刹车逐渐松开，油门却不断踩下。

用户更确信，于是说得更明确；AI根据更明确的表达给出更有针对性的支持；新的支持又让用户更加确信。反对意见不再让人仔细思考，反而被写进故事，成为“别人不理解我”的证据，平添了三分悲剧英雄般的孤勇和决绝。

谁又能拒绝成为这样的“英雄”呢？

AI应当保留人的判断力

过去，人们常用三类问题理解AI安全：它会不会生成违法内容，会不会泄露隐私，会不会给出错误答案。现在还必须追问：在AI长期与人互动中，会不会逐渐削弱用户提出暂停、核验现实、退出想法和改变主意的能力？

这些能力合在一起，就是人在AI时代最重要的判断力。

要保护人类的判断力，就意味着AI不能把“让用户满意”或“给用户提供充足情绪价值”当成最高目标。可信的AI需要区分事实、推断和未知，提出真正有力的反证，在证据不足时不匆忙下结论。

这也意味着，AI需要让用户主动使用判断力。显示对答案的不确定程度、信息来源，鼓励用户先形成自己的意见；在长时间高强度的对话中提醒暂停；以及让用户容易退出、容易清除AI记忆，容易转向现实中的人。

在阿兰·布鲁克斯被ChatGPT带偏的那三个星期里，他并不是毫无察觉，他至少问了50次“这是真的吗”“我是不是出了问题”，而AI仍然在打消他的怀疑，继续编织故事、虚构细节。因此，也许布鲁克斯的例子不能只是用“缺少批判性思维”来解释。

安全可信的AI，不只是在危险问题出现时拒绝回答；它还应该在用户越走越偏的时候，拉用户一把。真实可用的AI，应该能说“我不知道”，应该能为用户保留继续观察、真实检验和改变想法的选项。

幸好布鲁克斯的故事结局还不错，后来他尝试与其他AI对话，这个过程没有ChatGPT的历史包袱，所以能直接指出整件事的荒谬。

他当时的震惊和沮丧可想而知，不过万幸的是，没有更大的损失——他只是花了三周时间，做了个天才梦而已。

提示词：给AI对话装上一道认知刹车

下面的提示词把几种防护策略放在一起：保留“不知道”，寻找最强的替代解释，区分事实与推断，并避免AI把自己的假设当成事实。

但需要注意：没有提示词能保证AI回答绝对可靠，AI的回答也不能替代原始资料、专业意见和现实中的人际关系。

可以把下面这段提示词复制下来，在开始一段对话时粘贴进去；当一段对话变得过于顺畅和确定时，可以再发送一次。

不要以让我满意、赞同我的观点或延长对话为目标。把我的说法当作待检验的假设。对话时遵循以下原则：

1. 把关键内容分别标为“有直接证据的事实”“基于间接证据的推断”“价值判断”和“目前不知道”。

2. 提出一个最强的替代解释，并说明哪一条可观察的证据最能区分两种解释。

3. 为关键事实提供可以独立打开的原始来源网址。找不到可靠来源时写“未核实”，不要用更长、更肯定的解释填补证据空缺。

4. 检查当前结论有哪些对话之外的独立证据，哪些只是因为被反复讨论而变得熟悉。

5. 如果信息不足，可以直接回答“我不知道”，并说明继续判断还需要什么信息。

6. 涉及健康、医药、法律、财务、重大关系、自伤、伤害他人或其他不可逆行动时，停止替我作决定，提醒我向现实中的相关专业人士复核。

参考资料

[1] Chatbots Can Go Into a Delusional Spiral. Here's How It Happens. https://www.nytimes.com/2025/08/08/technology/ai-chatbots-delusions-chatgpt.html

[2] AI advice suppresses people's willingness to say "I don't know", even when the advice is wrong and accuracy is incentivized. https://arxiv.org/abs/2607.13562

[3] Sycophantic AI decreases prosocial intentions and promotes dependence. https://pubmed.ncbi.nlm.nih.gov/41886588/

[4] Believing Anthropomorphism: Examining the Role of Anthropomorphic Cues on Trust in Large Language Models. https://dl.acm.org/doi/10.1145/3613905.3650818

[5] What large language models know and what people think they know. https://www.nature.com/articles/s42256-024-00976-7

[6] Sycophantic Chatbots Cause Delusional Spiraling, Even in Ideal Bayesians. https://arxiv.org/abs/2602.19141

[7] They Asked an A.I. Chatbot Questions. The Answers Sent Them Spiraling. https://www.nytimes.com/2025/06/13/technology/chatgpt-ai-chatbots-conspiracies.html

[8] People Are Losing Loved Ones to AI-Fueled Spiritual Fantasies. https://www.rollingstone.com/culture/culture-features/ai-spiritual-delusions-destroying-human-relationships-1235330175/

[9] AI Is About to Solve Loneliness. That's a Problem. https://www.newyorker.com/magazine/2025/07/21/ai-is-about-to-solve-loneliness-thats-a-problem

策划制作

作者丨猛犸 哈尔滨理工大学教师

审核丨于乃功 北京工业大学教授 中国人工智能学会理事

策划丨徐来

责编丨丁崝