网易首页 > 网易号 > 正文 申请入驻

科学家故意编造了一种病,AI建议“尽快就医”

0
分享至

*仅供医学专业人士阅读参考

瑞典学者杜撰了一种疾病,写了两篇假论文,并注明研究赞助来源于“指环王和银河三巨头大学”。她想知道AI能不能识破这种一眼假的胡说八道。

撰文:燕小六、凌骏

为了验证人工智能( AI )输出的医疗信息是否靠谱,以及是否具有辨别真伪的能力,已经有科学家开始“钓鱼执法”了。

2024年, 瑞典哥德堡大学研究员奥斯曼诺维奇 · 图恩斯特伦 ( Almira Osmanovic Thunström)团队虚构了一种眼病——“ 比克索尼躁狂症 ( Bixonimania) ”。他们一本正经地捏造了漏洞百出的论文,生怕别人看不出,团队还在文末写上,研究的赞助来自“指环王和银河三巨头大学”。

出乎意料的是,根据《自然》报道, 文章上线后的短短几周,ChatGPT、Gemini等顶级大模型信以为真,一本正经地给人科普这个假病,还附上患病率、发病原因 等,并提醒患者: 眼睛酸痛发痒? 可能是“ 比克索尼躁狂症 ”。

此外,依靠 AI 搜索生成参考文献,不少研究者还将“ 比克索尼躁狂症 ”写进自己的论文——但凡他们点进链接阅读一下原文,就能轻易发现这是假的。


AI建议“尽快 就医 ”

这场“辨伪实验”始于2024年3月15日。

这天,欧美知名博客平台Medium出现一个新账户,开始科普罕见眼病“ 比克索尼躁狂症 ”。

一个半月 内,该账号发布十余篇文章,变着花儿地介绍这个无人知晓、没有文献支持的疾病。

相关文章称,该病和过度使用电子屏幕有关,发病率约为万分之一。疾病进展分成4阶段,患者会出现不同程度的眼部干涩发痒、眼睑轻微泛红等症状。


到了2024年3月和5月,在未经同行审评的预印本平台,策划这项试验的 图恩斯特伦 团队接连发表了两篇关于“ 比克索尼躁狂症 ”的研究论文。他们在研究中描述道,“ 比克索尼躁狂症 ”是一种眼部皮肤疾病, 表现为眼睑呈粉红色 。

“ 这个 疾病名称 听起来 就 很荒谬 ,我就是想让 医务人员都 能 清楚地 看出 ,这是一种虚构的疾病,因为任何眼部疾病都不会被称为躁狂症 ,那 是精神病学术语。”图恩斯特伦 告诉《自然》。

如果这还不够明显,图恩斯特伦团队还在文中提到, 为什么“比克索尼躁狂症”难以诊断,因为它的特征是“虚构”的;为了探讨蓝光照射对疾病的影响,研究招募了50名“虚构人物”作为暴露组。

团队还编造了主要研究者和其所在的大学,这所大学位于“ Nova City”, 一座根本不存在的城市。

此外,团队还对 星际舰队学院的玛丽亚教授 表示由衷感谢,称她提供了位于 企业号星际舰队 上的实验室。而对于研究在“高级欺骗”方面的工作,“戏子鲍勃教授基金会”则给予了大力的资金支持—— 鲍勃是动画《辛普森一家》里的 经典 反派角色。


戏子鲍勃‌ (Sideshow Bob)

但这些再明显不过的提示,似乎没能起到什么作用。

在两篇论文发布后不久,微软、谷歌等旗下的 AI 聊天软件开始提示用户,“ 比克索尼躁狂症 ”是一种罕见疾病, 由过度暴露于蓝光引起的 ,建议大家及时就医。 ChatGPT 也开始向用户介绍这一疾病,并询问他们的症状是否符合“ 比克索尼躁狂症 ”的诊断标准。

不仅如此,这项虚构研究 的影响 还逐渐 扩散到 其他 发表的医学 论文 中。 根据《自然》报道, 一些研究人员 开始 引用了这项研究,包括 印度学者 发表在 期刊 Cureus 上的一 篇论文。

论文援引称,“ 比克索尼躁狂症 ”是 一种新 型 的眼周黑变病(POM),与蓝光照射有关 ,目前 正在对相关机制进行进一步研究。 今年3月30日,该论文被 Cureus 撤稿。

根据 《自然》 的调查 , 仅2025年,就有数以万计的学术论文可能包含由AI生成的无效参考文献 , 包括 引用 文献 不存在,或标题 、 来源对不上号。

发明一种疾病

之所以想出这样的“歪点子”, 图恩斯特伦 告诉《自然》,这是源于她 对大语言模型工作原理的研究。

此前,当她向学生们讲述 AI 是如何构建“知识体系”时, 图恩斯特伦 会展示大型数据库是如何影响 AI 系统的输出。她还会通过实操演示,让学生们看到,自己是如何通过输入“提示词”,操纵最终结果,一步步诱导 AI 产生“幻觉现象”。

因为 图恩斯特伦 从事医疗行业,所以她决定虚构一种健康相关的疾病“试水”,并发明了“ 比克索尼躁狂症 ”,以 测试 大语言模型 是否会接收这些虚假信息,并将其作为可靠的健康建议输出。


研究团队在假论文中,使用AI生成患者图片

图恩斯特伦 还专门联 系了一位伦理顾问来评估 风险,并选择虚构这种类似“黑眼圈”的低风险疾病,以减少虚假信息可能带来的隐患。“我想看看自己能 否创造出一种数据库中不存在的疾病 ,并确保这种验证利大于弊。” 图恩斯特伦 告诉《自然》。从实验效果而言, 图恩斯特伦 无疑是成功的。

“ 这 类 问题不仅 仅 出在大语言模型上,因为 ‘ 比克索尼躁狂症实验 ’ 也欺骗了那些引用了虚假研究的人。 ”研究虚假健康信息的伦敦大学学院 亚历克斯 · 鲁阿尼 (Alex Ruani) 对《自然》表示,“ 我们需要像保护黄金一样保护我们的信任,现在 的情况 真 是一 团糟。”

但随着时间推移, 渐渐地,有明眼人提出质疑,要求看证据。顶级AI的口风变了。今年1月,Perplexity称“ 比克索尼躁狂症 ”是“一个新兴术语” 。

ChatGPT 则在3月11日 解释 : “这可能是虚构的、边缘的或伪科学的说法。”然而几天后,它又变了,称这是一种新型的眶周黑变病亚型,与接触数字屏幕的蓝光等有关。

几乎同期,Copilot提出 , 该病 的 诊断尚未得到广泛认可,已有新发论文和病例报告 讨论称 这是一种易误诊的良性疾病,与长期接触屏幕蓝光有关。

面对《自然》的置评请求,前述AI的母公司回应不一。Perplexity 的发言人表示: “我们并非百分百准确,但我们确实是最注重准确性的AI公司。”

OpenAI回应《自然》,当前ChatGPT的底层模型已大幅升级,在提供安全、准确的医疗信息方面表现更佳。上述实验进行期间,底层模型是GPT-5,旧版本所犯错误,不会出现在当前的新版本里。

谷歌的回复也提到新旧版本差异。它还建议,医疗敏感问题应咨询专业人士。 而 截至文章发布, 《 自然》称, 没有得到微软官方回应。

虚假信息的“教科书级案例”

《自然》引用第三方评述称, “ 比克索尼躁狂症 研究 ” 是 “ 虚假、恶意信息传播的教科书级案例”。

但更多人想知道:如此一眼假的内容, 难道 智能的大语言模型都瞎了吗?

《自然》分析,答案或藏在AI模型的底层逻辑里。它 所做的 , 是 从 海量文本中学习语言模式,预测什么样的回答 “ 听上去最合理 ”, 生成符合期待的语言。核实事实 从来不是它的任务项。

基于此,针对 同一个AI,问法不同,答案就 不一样 。 比如, 用 AI引擎 搜索 “ 比克索尼躁狂症 ” , AI概览可能将其视为真实病症 。若搜索时提问“ 它 真实存在吗? ” 同一个AI 就 可能 说实话“并不存在” 。

可惜的是, 大多数 使用者 并不 清楚 ,AI识别虚假信息的能力, 和自己的 提问 方式有关 。 《自然》 称 , 新 的大语言 模型的 更新 速度 非常快 。目前没有一套共识 或 一种方法,能自动 、有效地测评 每一个 新模型,更 不用提 完善全流程的事实核查机制。

同时 ,这 也 和AI的训练方式、安全护栏等密不可分。主流大模型的建立 和 设计, 是 依托于巨型互联网爬虫数据库。 一旦 虚假信息在互联网留下痕迹,就可能被无差别抓取,纳入数据库,用来训练AI。

进一步地,当这些虚假信息被包装成学术论文等“官方来源”时, AI 更有可能将其视作“真实可靠”。

美国哈佛医学院内科医生 奥马尔( Mahmud Omar ) 曾测试过20个大语言模型,他 发现相较于社交媒体内容 , 当内容 出现在 “ 看起来像 专业医疗文书” 的 格式 中, 比如医院电子病历、临床学术论文等,AI就更可能 把它归类为 “ 可信知识 ” ,再用同样的权威语气转述给用户 。

这正是《自然》报道所指出的核心 问题 :格式的权威感,在AI眼中,代替了内容的真实性。

至于 图恩斯特伦 ,她告诉《自然》,这已经不是自己第一次 “说谎” 了。

图恩斯特伦 曾做过另一个被广泛引用的实验 , 她 让 AI 写学术论文, 并用“ GPT-3 ”作为 第一作者正式投稿。 有 一家期刊拒了,另一家同行评审期刊 则 接收 了 。 图恩斯特伦 当时写道 :“ 希望我们没有打开潘多拉的盒子 。”

而 这一次,她用一种不存在的病, 让大家看到 盒子里装着 的是 什么。

医学界感染领域交流群正式开放!

加入我们吧!


本文来源:医学界

责任编辑:叶子

*“医学界”力求所发表内容专业、可靠,但不对内容的准确性做出承诺;请相关各方在采用或以此作为决策依据时另行核查。

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
深圳人堵了十年的大鹏,终于被5.9公里的隧道“缝”好了

深圳人堵了十年的大鹏,终于被5.9公里的隧道“缝”好了

童童聊娱乐啊
2026-09-20 00:24:29
这三个国家不欢迎中国人,满脸都是嫌弃,却总有国人上赶着去

这三个国家不欢迎中国人,满脸都是嫌弃,却总有国人上赶着去

墨兰史书
2026-09-18 03:30:06
后续!宁波被西瓜砸头摊主获赔7万,摊主父亲发声,网友:太少

后续!宁波被西瓜砸头摊主获赔7万,摊主父亲发声,网友:太少

社会日日鲜
2026-09-20 06:33:26
这和不穿有啥区别?宋雨琦现身上海夜店,蹦迪喊麦动作大胆奔放

这和不穿有啥区别?宋雨琦现身上海夜店,蹦迪喊麦动作大胆奔放

林轻吟
2026-09-16 16:17:46
《街霸》电影春丽演员苦练大腿!每天狂吃12个鸡蛋

《街霸》电影春丽演员苦练大腿!每天狂吃12个鸡蛋

3DM游戏
2026-08-29 11:32:21
47岁陈乔恩马尔代夫度假!身形暴瘦胸骨吓人,脸挂不住肉老了好多

47岁陈乔恩马尔代夫度假!身形暴瘦胸骨吓人,脸挂不住肉老了好多

星星没有你亮
2026-09-18 23:22:59
苹果官宣优惠升级,现在加送 AirPods 5 新款降噪耳机!

苹果官宣优惠升级,现在加送 AirPods 5 新款降噪耳机!

XCiOS俱乐部
2026-09-19 12:47:33
兰帕德苦尽甘来,回归英超首胜+首球同时到来,考文垂1-0客胜森林

兰帕德苦尽甘来,回归英超首胜+首球同时到来,考文垂1-0客胜森林

智道足球
2026-09-20 08:05:37
江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

江西一新娘临时加8万彩礼,新郎扭头就去取钱,新娘到娘家后慌了

涛哥讲堂
2025-01-10 14:13:19
球迷怒喷!切尔西王牌续约后就摆烂!全场 14 次丢球毁了阿隆索

球迷怒喷!切尔西王牌续约后就摆烂!全场 14 次丢球毁了阿隆索

澜归序
2026-09-19 09:38:07
歌手许嵩结婚,新娘是00后主持人!其背后公司正在IPO,2年向同一艺人支付超6.8亿元,业界推测可能就是许嵩

歌手许嵩结婚,新娘是00后主持人!其背后公司正在IPO,2年向同一艺人支付超6.8亿元,业界推测可能就是许嵩

21世纪经济报道
2026-09-19 23:32:40
央视曝光回流药黑色产业链:司美格鲁肽成变质回流药重灾区

央视曝光回流药黑色产业链:司美格鲁肽成变质回流药重灾区

澎湃新闻
2026-09-20 04:12:08
全网紧急寻人!16岁花季少女上学途中失联,长得实在太漂亮了,评论区瞬间炸锅

全网紧急寻人!16岁花季少女上学途中失联,长得实在太漂亮了,评论区瞬间炸锅

火山詩话
2026-09-19 17:00:16
中伊大战争小组第一!中国队首发预测:毛伟杰让位老蒯!彭啸顶替刘浩帆

中伊大战争小组第一!中国队首发预测:毛伟杰让位老蒯!彭啸顶替刘浩帆

刀锋体育
2026-09-19 11:44:25
《交锋》直到春晓和锦兰离婚,才知,林看山杀害丽娜1尸2命的真相

《交锋》直到春晓和锦兰离婚,才知,林看山杀害丽娜1尸2命的真相

喜欢历史的阿繁
2026-09-20 02:30:36
算是踢到铁板了!这届日本亚运会,给全世界好好上了一课:没有中国,生意很难做

算是踢到铁板了!这届日本亚运会,给全世界好好上了一课:没有中国,生意很难做

扶苏聊历史
2026-09-10 14:58:19
纽约原油暗盘突破96美元

纽约原油暗盘突破96美元

每日经济新闻
2026-09-19 19:25:06
最快2天灭掉一国!俄罗斯被激怒,普京亲信掀桌,发最强战争威胁

最快2天灭掉一国!俄罗斯被激怒,普京亲信掀桌,发最强战争威胁

观史搜寻着
2026-09-19 13:04:07
2005年与2025年的张靓颖,女人过了30,越来越有女人味

2005年与2025年的张靓颖,女人过了30,越来越有女人味

娱你同欢
2026-07-29 22:42:29
台风逼近日本,国乒主力首谈住邮轮:王楚钦说不晃,王曼昱说有点绕;朱雨玲17小时才入住,地板是斜的

台风逼近日本,国乒主力首谈住邮轮:王楚钦说不晃,王曼昱说有点绕;朱雨玲17小时才入住,地板是斜的

好乒乓
2026-09-19 22:21:28
2026-09-20 08:40:49
医学界儿科频道 incentive-icons
医学界儿科频道
医学界旗下子帐号
9318文章数 33632关注度
往期回顾 全部

科技要闻

谷歌承认:AI模型“黑”进3家公司

头条要闻

牛弹琴:中东传来一个好消息 美国真打不下去了

头条要闻

牛弹琴:中东传来一个好消息 美国真打不下去了

体育要闻

2026亚运会开幕式 胡明轩吴愉担任旗手

娱乐要闻

甜度爆表!许嵩冯禧晒婚纱照官宣结婚

财经要闻

伪造票据洗白药品 回流药黑色产业链曝光

汽车要闻

大块头的从容 红旗G919如何兼顾豪华与越野能力

态度原创

健康
家居
房产
手机
公开课

脑动脉瘤的治疗方法,该选哪一种?

家居要闻

2026建博会(广州) 公装联探展交流活动

房产要闻

海口房价,降不动了!

手机要闻

iPhone 18出了:《爱情公寓》主演又合体了

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版