危险！别再让 AI 给你看病了！

（来源：中国科协）

转自：中国科协

以前大家经常说“不要在网上乱搜医疗建议”，因为网上信息不那么可靠，患者又不可能准确描述自己所有的症状成了而大语言模型 AI 时代，又出现了一种新风险，网上寻医问药禁忌中，恐怕必须再加上一条“不要随便让 AI 提供医疗建议”了。

图片截自论文页面

不久前《内科医学年鉴·临床病例》（Annals of Internal Medicine: Clinical Cases）就报道了一起神奇的病例——有人因为听信 AI，把自己吃成了多年未见的溴中毒。

AI 真敢建议，患者真敢实践

这个病例，只能说从头到脚都写着奇葩二字。

这人一开始去急诊室，是说他邻居在给他下毒，当时没有说自己在吃任何药物。住院之后才得知，他平日有好多食物都不吃，水也是自己在家蒸馏了才喝，在医院虽然一直说口渴但又不信任别人给他的水。住院 24 小时后，他的偏执狂症状越来越严重，出现了幻听幻视，还试图从医院逃跑，结果被强制收押并打了抗精神病药。

等到药物生效，患者冷静下来之后，医生才算问出来真实情况。原来，这位患者特别特别害怕吃到对身体有害的食物，这也不吃那也不吃，已经把自己饿到了多种维生素欠缺的地步了。而就在这时，他又在网上看到了关于食盐的文章，得知食盐对身体很不好。

就在研究食盐危害的过程中，他灵机一动，发现了一个巨大的“华点”：食盐的化学成分是氯化钠，但为什么文献都在关注钠对身体的伤害，没人关注氯呢？超市只能买到低钠盐，为什么买不到低氯盐呢？难道这个氯，对身体竟然没有一点害处吗？能不能不摄入氯呢？

图库版权图片，不授权转载

既然网上没人说，那就得靠自己了，患者询问了 ChatGPT，结果 AI 给出了“非常具有可操作性”的建议：用溴来代替氯。

这位患者真的这么干了，然而这并不是个好主意。

看似六七八分像，其实完全不一样

溴，元素符号 Br，在周期表上位于氯的正下方，是个普通人不太容易接触到的元素。大概一百年前，溴中毒还算是医生经常能遇到的事情，因为当时溴被认为拥有镇静效果，很多非处方药物里含有溴盐，什么治失眠、治焦虑、治歇斯底里，都能用到。当然，要是一不小心吃多了，那就从治焦虑一跃而成致焦虑，引发运动失调和各种幻觉，严重的可以导致昏迷，顺便还附送厌食和便秘之类的症状。

为什么会这样呢？溴和氯都是卤族元素，最外层都是 7 个电子，化学性质很相似，在简单的化学反应里确实可以相互代替。人体摄入溴离子后，它也会“冒充”氯离子去参与各种生化反应。

但是一旦反应真的开始，它就露馅了：生化反应非常精密，哪一步速度稍微跟不上，活性稍微差一点，就会导致大范围脱节。神经系统的正常运行相当依赖于氯离子，所以如果被溴离子冒名顶替，遭到的破坏也尤其严重。

人体可以排出体内的溴离子，但速度算不上很快，大概 9 到 12 天才能排出一半。所以如果持续摄入含溴的食物或者药物，溴可以逐渐积累，造成更大伤害。历史上，溴中毒一度占到了精神病院住院人数的 8%。后来大家都知道了溴的危险性，药物纷纷弃用它，溴中毒也就难得一见了。

没想到如今因为 AI 的建议，溴中毒又迎来了难得的“文艺复兴”。可喜可贺，还好，这位病人在住院三个星期之后，中毒症状逐渐缓解而顺利出院了，两周后的复查也没有问题。希望他能就此放弃对低氯饮食的追求吧。

这种“精神”病

大概已经在路上了

如此说来，虽然这个病例本身是罕见的奇葩，但它却反映了更广泛的现象，那就是所谓的“聊天机器人精神病”（Chatbot psychosis）或者“ AI 精神病”。

这个词语形容的不是 AI 本身犯病了，而是用户在和大语言模型 AI 聊天的过程中产生或者加剧了精神病症状。一个非常典型的场景是，用户相信某种阴谋论，AI 没有否定反而迎合并鼓励用户，并且幻觉出支持这一阴谋论的各类证据，导致用户深陷其中，日常生活和社交濒临崩溃，甚至采取极端行为。

目前这一现象还不是正式认定的诊断，也几乎没有相关科学研究，但已经引起了媒体的重视，积累了数量不少的个案。或许不久之后，我们就能知道这一现象的严重程度究竟如何。

相信奇怪的信念，这本身相当常见。但人终究是社会动物，需要身边同道之人的支持，才能毅然决然地一路走进沟里出不来。历史上要找到这样的同伴往往需要抛家弃子，互联网出现后就可以到小众论坛里寻找同好了。

而生成式 AI 的时代，连人类同道都不需要，管你有什么怪念头，AI 都能给你提供无限的支持和情绪价值。毕竟目前的大语言模型距离真正的通用智能还颇有一段距离，如果不把它设定为“应声虫”，就无法给用户良好的使用体验。但是这种体验是否值得付出幻觉、谣言和 AI 精神病的代价，我们作为普通用户有没有选择权，那就是另一个问题了。

据报道，OpenAI 已于 10 月 29 日更新了 ChatGPT 的使用政策，禁止其在某些原本被认为最具价值的应用领域提供服务 —— 例如解读医学影像、协助医疗诊断，以及提供法律或财务建议。

此举旨在防止 ChatGPT（以及其他任何 OpenAI 模型）输出可能被视作专业性、受托性或具有法律约束力的建议，以符合欧盟《人工智能法案》和美国食品药品监督管理局的相关指导要求。

策划制作

作者丨范岗 科普作者

审核丨于乃功 北京工业大学教授 中国人工智能学会理事