网易首页 > 网易号 > 正文 申请入驻

科学家故意编造了一种病,AI建议“尽快就医”

0
分享至

*仅供医学专业人士阅读参考

瑞典学者杜撰了一种疾病,写了两篇假论文,并注明研究赞助来源于“指环王和银河三巨头大学”。她想知道AI能不能识破这种一眼假的胡说八道。

撰文:燕小六、凌骏

为了验证人工智能( AI )输出的医疗信息是否靠谱,以及是否具有辨别真伪的能力,已经有科学家开始“钓鱼执法”了。

2024年, 瑞典哥德堡大学研究员奥斯曼诺维奇 · 图恩斯特伦 ( Almira Osmanovic Thunström)团队虚构了一种眼病——“ 比克索尼躁狂症 ( Bixonimania) ”。他们一本正经地捏造了漏洞百出的论文,生怕别人看不出,团队还在文末写上,研究的赞助来自“指环王和银河三巨头大学”。

出乎意料的是,根据《自然》报道, 文章上线后的短短几周,ChatGPT、Gemini等顶级大模型信以为真,一本正经地给人科普这个假病,还附上患病率、发病原因 等,并提醒患者: 眼睛酸痛发痒? 可能是“ 比克索尼躁狂症 ”。

此外,依靠 AI 搜索生成参考文献,不少研究者还将“ 比克索尼躁狂症 ”写进自己的论文——但凡他们点进链接阅读一下原文,就能轻易发现这是假的。


AI建议“尽快 就医 ”

这场“辨伪实验”始于2024年3月15日。

这天,欧美知名博客平台Medium出现一个新账户,开始科普罕见眼病“ 比克索尼躁狂症 ”。

一个半月 内,该账号发布十余篇文章,变着花儿地介绍这个无人知晓、没有文献支持的疾病。

相关文章称,该病和过度使用电子屏幕有关,发病率约为万分之一。疾病进展分成4阶段,患者会出现不同程度的眼部干涩发痒、眼睑轻微泛红等症状。


到了2024年3月和5月,在未经同行审评的预印本平台,策划这项试验的 图恩斯特伦 团队接连发表了两篇关于“ 比克索尼躁狂症 ”的研究论文。他们在研究中描述道,“ 比克索尼躁狂症 ”是一种眼部皮肤疾病, 表现为眼睑呈粉红色 。

“ 这个 疾病名称 听起来 就 很荒谬 ,我就是想让 医务人员都 能 清楚地 看出 ,这是一种虚构的疾病,因为任何眼部疾病都不会被称为躁狂症 ,那 是精神病学术语。”图恩斯特伦 告诉《自然》。

如果这还不够明显,图恩斯特伦团队还在文中提到, 为什么“比克索尼躁狂症”难以诊断,因为它的特征是“虚构”的;为了探讨蓝光照射对疾病的影响,研究招募了50名“虚构人物”作为暴露组。

团队还编造了主要研究者和其所在的大学,这所大学位于“ Nova City”, 一座根本不存在的城市。

此外,团队还对 星际舰队学院的玛丽亚教授 表示由衷感谢,称她提供了位于 企业号星际舰队 上的实验室。而对于研究在“高级欺骗”方面的工作,“戏子鲍勃教授基金会”则给予了大力的资金支持—— 鲍勃是动画《辛普森一家》里的 经典 反派角色。


戏子鲍勃‌ (Sideshow Bob)

但这些再明显不过的提示,似乎没能起到什么作用。

在两篇论文发布后不久,微软、谷歌等旗下的 AI 聊天软件开始提示用户,“ 比克索尼躁狂症 ”是一种罕见疾病, 由过度暴露于蓝光引起的 ,建议大家及时就医。 ChatGPT 也开始向用户介绍这一疾病,并询问他们的症状是否符合“ 比克索尼躁狂症 ”的诊断标准。

不仅如此,这项虚构研究 的影响 还逐渐 扩散到 其他 发表的医学 论文 中。 根据《自然》报道, 一些研究人员 开始 引用了这项研究,包括 印度学者 发表在 期刊 Cureus 上的一 篇论文。

论文援引称,“ 比克索尼躁狂症 ”是 一种新 型 的眼周黑变病(POM),与蓝光照射有关 ,目前 正在对相关机制进行进一步研究。 今年3月30日,该论文被 Cureus 撤稿。

根据 《自然》 的调查 , 仅2025年,就有数以万计的学术论文可能包含由AI生成的无效参考文献 , 包括 引用 文献 不存在,或标题 、 来源对不上号。

发明一种疾病

之所以想出这样的“歪点子”, 图恩斯特伦 告诉《自然》,这是源于她 对大语言模型工作原理的研究。

此前,当她向学生们讲述 AI 是如何构建“知识体系”时, 图恩斯特伦 会展示大型数据库是如何影响 AI 系统的输出。她还会通过实操演示,让学生们看到,自己是如何通过输入“提示词”,操纵最终结果,一步步诱导 AI 产生“幻觉现象”。

因为 图恩斯特伦 从事医疗行业,所以她决定虚构一种健康相关的疾病“试水”,并发明了“ 比克索尼躁狂症 ”,以 测试 大语言模型 是否会接收这些虚假信息,并将其作为可靠的健康建议输出。


研究团队在假论文中,使用AI生成患者图片

图恩斯特伦 还专门联 系了一位伦理顾问来评估 风险,并选择虚构这种类似“黑眼圈”的低风险疾病,以减少虚假信息可能带来的隐患。“我想看看自己能 否创造出一种数据库中不存在的疾病 ,并确保这种验证利大于弊。” 图恩斯特伦 告诉《自然》。从实验效果而言, 图恩斯特伦 无疑是成功的。

“ 这 类 问题不仅 仅 出在大语言模型上,因为 ‘ 比克索尼躁狂症实验 ’ 也欺骗了那些引用了虚假研究的人。 ”研究虚假健康信息的伦敦大学学院 亚历克斯 · 鲁阿尼 (Alex Ruani) 对《自然》表示,“ 我们需要像保护黄金一样保护我们的信任,现在 的情况 真 是一 团糟。”

但随着时间推移, 渐渐地,有明眼人提出质疑,要求看证据。顶级AI的口风变了。今年1月,Perplexity称“ 比克索尼躁狂症 ”是“一个新兴术语” 。

ChatGPT 则在3月11日 解释 : “这可能是虚构的、边缘的或伪科学的说法。”然而几天后,它又变了,称这是一种新型的眶周黑变病亚型,与接触数字屏幕的蓝光等有关。

几乎同期,Copilot提出 , 该病 的 诊断尚未得到广泛认可,已有新发论文和病例报告 讨论称 这是一种易误诊的良性疾病,与长期接触屏幕蓝光有关。

面对《自然》的置评请求,前述AI的母公司回应不一。Perplexity 的发言人表示: “我们并非百分百准确,但我们确实是最注重准确性的AI公司。”

OpenAI回应《自然》,当前ChatGPT的底层模型已大幅升级,在提供安全、准确的医疗信息方面表现更佳。上述实验进行期间,底层模型是GPT-5,旧版本所犯错误,不会出现在当前的新版本里。

谷歌的回复也提到新旧版本差异。它还建议,医疗敏感问题应咨询专业人士。 而 截至文章发布, 《 自然》称, 没有得到微软官方回应。

虚假信息的“教科书级案例”

《自然》引用第三方评述称, “ 比克索尼躁狂症 研究 ” 是 “ 虚假、恶意信息传播的教科书级案例”。

但更多人想知道:如此一眼假的内容, 难道 智能的大语言模型都瞎了吗?

《自然》分析,答案或藏在AI模型的底层逻辑里。它 所做的 , 是 从 海量文本中学习语言模式,预测什么样的回答 “ 听上去最合理 ”, 生成符合期待的语言。核实事实 从来不是它的任务项。

基于此,针对 同一个AI,问法不同,答案就 不一样 。 比如, 用 AI引擎 搜索 “ 比克索尼躁狂症 ” , AI概览可能将其视为真实病症 。若搜索时提问“ 它 真实存在吗? ” 同一个AI 就 可能 说实话“并不存在” 。

可惜的是, 大多数 使用者 并不 清楚 ,AI识别虚假信息的能力, 和自己的 提问 方式有关 。 《自然》 称 , 新 的大语言 模型的 更新 速度 非常快 。目前没有一套共识 或 一种方法,能自动 、有效地测评 每一个 新模型,更 不用提 完善全流程的事实核查机制。

同时 ,这 也 和AI的训练方式、安全护栏等密不可分。主流大模型的建立 和 设计, 是 依托于巨型互联网爬虫数据库。 一旦 虚假信息在互联网留下痕迹,就可能被无差别抓取,纳入数据库,用来训练AI。

进一步地,当这些虚假信息被包装成学术论文等“官方来源”时, AI 更有可能将其视作“真实可靠”。

美国哈佛医学院内科医生 奥马尔( Mahmud Omar ) 曾测试过20个大语言模型,他 发现相较于社交媒体内容 , 当内容 出现在 “ 看起来像 专业医疗文书” 的 格式 中, 比如医院电子病历、临床学术论文等,AI就更可能 把它归类为 “ 可信知识 ” ,再用同样的权威语气转述给用户 。

这正是《自然》报道所指出的核心 问题 :格式的权威感,在AI眼中,代替了内容的真实性。

至于 图恩斯特伦 ,她告诉《自然》,这已经不是自己第一次 “说谎” 了。

图恩斯特伦 曾做过另一个被广泛引用的实验 , 她 让 AI 写学术论文, 并用“ GPT-3 ”作为 第一作者正式投稿。 有 一家期刊拒了,另一家同行评审期刊 则 接收 了 。 图恩斯特伦 当时写道 :“ 希望我们没有打开潘多拉的盒子 。”

而 这一次,她用一种不存在的病, 让大家看到 盒子里装着 的是 什么。

医学界感染领域交流群正式开放!

加入我们吧!


本文来源:医学界

责任编辑:叶子

*“医学界”力求所发表内容专业、可靠,但不对内容的准确性做出承诺;请相关各方在采用或以此作为决策依据时另行核查。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
“新加坡街头印度人多的吓人”?!背后真相竟是…

“新加坡街头印度人多的吓人”?!背后真相竟是…

新加坡万事通
2026-05-30 20:00:10
樊振东战胜世界排名第三选手,成功复仇。

樊振东战胜世界排名第三选手,成功复仇。

格斗社
2026-05-31 13:30:42
男子把软卧让给一老人,过道坐一晚,谁料,第二天发现口袋多了180块和一张纸条:有需要,找我儿子

男子把软卧让给一老人,过道坐一晚,谁料,第二天发现口袋多了180块和一张纸条:有需要,找我儿子

背包旅行
2026-05-31 15:26:58
赵露思回乡为奶奶贺80大寿!砸重金办寿宴超孝顺,私下穿搭接地气

赵露思回乡为奶奶贺80大寿!砸重金办寿宴超孝顺,私下穿搭接地气

蒂蒂茱家
2026-05-31 17:24:19
主角:楚嘉禾万没想到,周玉枝诬陷忆秦娥为潘金莲,反成全刘红兵

主角:楚嘉禾万没想到,周玉枝诬陷忆秦娥为潘金莲,反成全刘红兵

慢半拍sir
2026-05-30 22:46:01
买香菇刷医保、牙膏变“医保药”,国家医保局公布4起药店骗保典型案例

买香菇刷医保、牙膏变“医保药”,国家医保局公布4起药店骗保典型案例

上观新闻
2026-05-31 14:56:05
羽球决出2冠!国羽世界第1翻车输队友,安洗莹决胜局连得5分逆转

羽球决出2冠!国羽世界第1翻车输队友,安洗莹决胜局连得5分逆转

刘姚尧的文字城堡
2026-05-31 16:53:37
男演员宣布结婚,前女友发文控诉

男演员宣布结婚,前女友发文控诉

新快报新闻
2026-05-31 14:47:03
访华结束,武契奇带着遗憾离京:签了几十份大单,唯独没有歼10CE

访华结束,武契奇带着遗憾离京:签了几十份大单,唯独没有歼10CE

素衣读史
2026-05-30 21:26:52
突发公告!重大资产重组,终止!

突发公告!重大资产重组,终止!

新浪财经
2026-05-31 16:52:12
安徽警方侦破“高仿外卖平台诈骗案”:数百名“聊手”伪装成女性诱导男用户下单,266人落网

安徽警方侦破“高仿外卖平台诈骗案”:数百名“聊手”伪装成女性诱导男用户下单,266人落网

环球网资讯
2026-05-31 15:02:10
6月1日至25日,入户调查来了

6月1日至25日,入户调查来了

南方都市报
2026-05-31 18:03:50
武契奇公开证实,中国超音速导弹摧毁了俄制S-400防空导弹系统!

武契奇公开证实,中国超音速导弹摧毁了俄制S-400防空导弹系统!

阿龙聊军事
2026-05-30 16:58:30
1夜4大转会:利物浦敲定新帅,巴萨截胡马竞,米兰签约英超教头!

1夜4大转会:利物浦敲定新帅,巴萨截胡马竞,米兰签约英超教头!

田先生篮球
2026-05-31 09:49:40
全国多地重病患儿遭“影子账号”偷视频:假冒家长误导爱心人士捐款,涉事者直言“干此事很可耻”

全国多地重病患儿遭“影子账号”偷视频:假冒家长误导爱心人士捐款,涉事者直言“干此事很可耻”

红星新闻
2026-05-31 11:33:26
降央卓玛:我这辈子最正确的决定,就是嫁给了自己倒追的藏族丈夫

降央卓玛:我这辈子最正确的决定,就是嫁给了自己倒追的藏族丈夫

飘飘然的娱乐汇
2026-05-29 19:50:05
释永信四罪并罚,不仅资产、私生子多,还有3位家喻户晓明星徒弟

释永信四罪并罚,不仅资产、私生子多,还有3位家喻户晓明星徒弟

孤芳自赏的小李
2026-05-31 02:13:48
19岁国乒天才彻底爆发!连续击败世界名将,张本智和都看傻了

19岁国乒天才彻底爆发!连续击败世界名将,张本智和都看傻了

林子说事
2026-05-30 20:21:57
扎哈罗娃:俄将对罗马尼亚迅速采取报复措施

扎哈罗娃:俄将对罗马尼亚迅速采取报复措施

参考消息
2026-05-30 11:58:56
中国降级后,美防长当场砸场子:怒怼40国,点名日欧少开对话会

中国降级后,美防长当场砸场子:怒怼40国,点名日欧少开对话会

李橑在北漂
2026-05-30 23:24:18
2026-05-31 18:51:00
医学界儿科频道 incentive-icons
医学界儿科频道
医学界旗下子帐号
9146文章数 33614关注度
往期回顾 全部

科技要闻

戴尔诺基亚又回来了!AI重估老牌科技公司

头条要闻

香会上中方全英文发问菲律宾 菲防长语无伦次答非所问

头条要闻

香会上中方全英文发问菲律宾 菲防长语无伦次答非所问

体育要闻

阿森纳用最悲壮的方式,成就了巴黎王朝

娱乐要闻

朱军退休,正义虽迟但到,女方受惩

财经要闻

医学首席转岗搞科技,A股科技股遭遇巨震

汽车要闻

900V+3.2秒破百 领克10+&领克10上市16.99万元起

态度原创

健康
旅游
艺术
公开课
军事航空

尝试干细胞疗法如何避免踩坑?

旅游要闻

蜀葵盛开,太白湖景区“莫奈花园”上线

艺术要闻

16位欧美画家笔下的儿童肖像

公开课

李玫瑾:为什么性格比能力更重要?

军事要闻

解放军代表质问日防卫大臣:日本何时道歉

无障碍浏览 进入关怀版